Forscher der mit der ETH Lausanne assozierten Forschungseinrichtung Idiap in Martigny haben ein Programm entwickelt, das automatisch Bildlegenden zu Fotos verfasst.
Zwei Forscher des Institut Dalle Molle d'intelligence artificielle perceptive (Idiap), das in Martigny im Kanton Wallis angesiedelt und mit der ETH Lausanne assoziiert ist, haben einen Algorithmus entwickelt, der eine Foto beschreiben kann, ohne dabei auf bereits verinnerlichte Bildunterschriften zurückzugreifen. Letzteres ist die Vorgehensweise von vergleichbaren Techniken von Google und Microsoft. Das Verfahren der Martinacher Forscher vergleicht dagegen die Vektoren von Bildern und Wörtern auf Basis einer speziellen Bildunterschriftensyntax. «Wenn wir der Software ein Foto geben, vergleicht sie den Bildvektor mit dem Vektor von möglichen Wörtern. Danach wählt sie jenes Nomen und Verb sowie Bindeglied aus, das am wahrscheinlichsten zur Bildinfo passt», erklärt Doktorant Rémi Lebret, der sich am Idiap auf «Deep Learnig» spezialisiert hat. So findet das System beim Beispielfoto (siehe Grafik) heraus, dass dort ein Mann am Rollbrettfahren ist, auch wenn es nie zuvor ein vergleichbares Bild gesehen hat. Der Computer löst aus der Foto Bildelemente heraus, wie «Rollbrett», «Mann» und «Rampe». Dann sucht er nach Verben, welche die Handlung am besten umschreiben, und vervollständigt die Bildlegende.
Facebook an Technik interessiert
Die Technik der beiden Walliser Forscher ist im Vergleich zu bereits existierenden Verfahren einfacher und funktioniert auch besser. Deshalb soll bereits Facebook Interesse bekundet haben. Die beiden Wissenschaftler hatten während eines sechs-monatigen Praktikums beim Social-Media-Riesen für Aufsehen gesorgt. Nun will man die Technik adaptieren, in erster Linie, um Facebook für sehbehinderte Menschen zugänglich zu machen.
