Smart Multicodal Graphics Search

Im Laufe der letzten Jahre lässt sich, getrieben durch höhere Netzwerkbandbreiten und die Verbreitung leistungsstarker mobiler Endgeräte, ein rasantes Wachstum weltweiter Bild- und Videobestände verzeichnen. Im Zuge dieser Entwicklungen ist u.a. das Forschungsfeld der inhaltsbasierten Bild- und Videosuche entstanden, mit der Zielsetzung, ähnlichkeitsbasiert Bilder bzw. Videos in großen Datenbanken zu lokalisieren. Anwendungsfelder dieser Technologie reichen von der mobilen Suche nach Produkten und der Verwertung umfangreicher Bildarchive bis hin zur Aufspürung von Urheberrechtsverletzungen oder von illegalem Bildmaterial.

Gleichzeitig erfahren 3D-Modellierung/ Rekonstruktion sowie Echtzeitdarstellung von 3D-Objekten mit neuen APIs wie WebGL und Anwendungsbereichen wie 3D-Druck immer weitere Verbreitung und haben nun, neben klassischen Anwendungsfeldern in Computeranimation und CAD, auch den Consumer-Bereich erreicht. Ähnlich wie bei der Bildsuche ist hier das Retrieval von geeigneten 3D-Modellen und deren Austausch und Integration über verschiedene Anwendungsplattformen hinweg von großem Interesse.

Eine offene Fragestellung besteht dabei jedoch vor allem in der Verknüpfung der beiden Modalitäten “Bild” und “3D-Modell”:

  • Kann zu einem gegebenen Foto oder Screenshot aus einer Menge von 3D-Modellen automatisiert jenes gefunden werden, das dem Anfragebild zugrunde liegt?
  • Und lassen sich umgekehrt Bilddatenbanken oder das Internet mit einem 3D-Anfragemodell nach jenen Bildern durchsuchen, die aus dem Modell entstanden sind?

Eine solche multicodale Suche, also eine Suche per Bild / 3D-Modell nach 3D-Modell / Bild, ist daher Gegenstand des Vorhabens SMULGRAS. Sie bietet gegenüber einer rein bildbasierten Suche (deren Bilder sich etwa aufgrund unterschiedlicher Perspektiven, Texturierung  und/oder Beleuchtung z.T. deutlich unterscheiden) u.a. das Potential einer höheren Genauigkeit. Darüber hinaus eröffnet sich über das Thema eine Reihe innovativer Anwendungsmöglichkeiten im Kontext des Trend-Themas Industrie 4.0, von der passgenauen, bildbasierten Suche in Produktkatalogen bis hin zur Aufspürung von Produkt-Piraterie.

Projektteam

Kontakt

Prof. Dr.

Yvonne Jung

Medieninformatik und Computergraphik

Projektinformation

Schlagworte:
multicodale Suche, inhaltsbasierte 2D-Beschreibung, 3D-Deskriptoren, Community-based 3D-Repositories

Förderung: 
Forschung für die Praxis 2016

Projektlaufzeit: 
Mai 2016 - 30.09.2017