180 likes | 314 Views
MMQL – Multimedia Query Language. Eine Anfragesprache für Multimedia-Ähnlichkeitsanfragen 29.11.2001 Christian Mantei. Gliederung. Multimedia Datenmodell MMQL - Anfragen MMQL – Syntax / Beispiele Zusammenfassung Ausblick. Multimedia Datenmodell I. Multimedia Description Model (MDM):
E N D
MMQL – Multimedia Query Language Eine Anfragesprache für Multimedia-Ähnlichkeitsanfragen 29.11.2001 Christian Mantei
Gliederung • Multimedia Datenmodell • MMQL - Anfragen • MMQL – Syntax / Beispiele • Zusammenfassung • Ausblick Christian Mantei - MMQL
Multimedia Datenmodell I • Multimedia Description Model (MDM): • Strukturelle Beschreibung • Multimedia Interpretation Model (MIM): • Semantische Interpretation • Multimedia Presentation Model (MPM): • Zeitliche und räumliche Beschreibung Christian Mantei - MMQL
Multimedia Datenmodell II • MDM • Unterstützt Mechanismen zur Definition und Manipulation struktureller Beschreibungen in „Raw Objects“ (RO) • Unterteilung des Dokuments in relevante Teile, sog. „Media Objects“ (MO): Bildausschnitte, strukturelle Bestandteile eines RO (Bild aus einem Video) • Komposition von MOs zu komplexen Objekten (CXO) Christian Mantei - MMQL
Description Model Christian Mantei - MMQL
Multimedia Datenmodell III • MIM • Präsentation der Objekte aus dem MDM in zwei Stufen: „Feature Level“ und „Concept Level“ • „Feature Level“: Interpretation über physische Eigenschaften (Farbverteilung, Formen, Texturen, Bewegungsvektoren...) • „Concept Level“: Konzept: Kombination verschiedener Features von Objekten, Membership-Funktionen Christian Mantei - MMQL
Concept Level Christian Mantei - MMQL
Multimedia Datenmodell IV • MPM • Definition zeitlicher und räumlicher Beziehungen zwischen Objekten des MDM • Möglichkeiten zur Erstellung von Multimedia Präsentationen Christian Mantei - MMQL
Multimedia Query Language • Anfrage-Kriterien: • Features: Farbe, räumliche Anordnung, Bewegung • Konzepte: suche nach definierten Konzepten in Dokumenten • Objekt-Struktur: z.B. Bilder eines Videos • Raum-Zeit Aspekte: wann liegt die Kugel rechts vom Quader • unsichere Anfragen: Wichtungsgrad der Teilanfragen • unpräzise Anfragen: Erkennungsgrad der Ergebnisse Christian Mantei - MMQL
Anfrage-Formulierung I Query ::= select <select-stmnt> from <from-stmnt> where <condition> select-stmnt ::= [n-hits] <select-list> from-stmnt ::= CLASS, DCLASS, U, I, X condition ::= einfach vs. komplex Christian Mantei - MMQL
Anfrage-Formulierung II • Operatoren: • sim: Ähnlichkeitsbestimmung zwischen Feature-Werten • match: Erkennungsgrad Objekt – Konzept • in: an welcher Stelle einer geordneten Liste der Wert eingereiht ist/wird • and: beide Erkennungsgrade sollten hoch sein • or: einer der Erkennungsgrade muss hoch sein • not: übliche Negation Christian Mantei - MMQL
Anfrage-Formulierung III • Selektoren: • o.feature(fid): Feature-Wert eines Objektes • v.rec-degree: Erkennungsgrad eines Wertes • mo.part-of: originales Objekt von dem Media-Objekt • v.attribute: Feld eines strukturierten Wertes • o.method(args): methodische Einschätzung eines Objektes Christian Mantei - MMQL
Beispiele I select 10 R.oid from REGIONS as R where R.feature(color) sim red, 0.7 and R.feature(shape) sim circle, 0.3; Christian Mantei - MMQL
Beispiele II select S.oid from SHOTS where S.oid in ( select F.part-of from FRAMES as F where F.oid match CHURCHES) and S.rec-degree > 0.7; Christian Mantei - MMQL
Weitere Möglichkeiten • Definition von Funktionen für räumliche Beziehungen zwischen Objekten (left_to, right_to, position...) • Finden von mehreren Regionen in Bildern und Vergleich ihrer räumlichen Position zueinander • Bsp.: Finde alle Bilder in denen ein Kreis rechts neben einem Viereck ist Christian Mantei - MMQL
Zusammenfassung • Anfrageergebnisse mit Ähnlichkeitsmaß • Berücksichtigung von Konzepten und strukturierten Objekten • Bearbeitung von unpräzisen und unsicheren Anfragen möglich • Ergebnis: geordnetes Paar (Objekt, Ähnlichkeitsmaß) • Ähnlichkeitsmaß = Grad der Übereinstimmung zwischen Anfrage und Objekt Christian Mantei - MMQL
Ausblick • Entwicklung von Konzepten zur Datenhaltung • Daten verwalten und Strategien der Speicherung • Effektive und effiziente Anfrage-Bearbeitungsalgorithmen entwickeln • Weitere Implementierungen des Systems, um das beschriebene Modell zu unterstützen Christian Mantei - MMQL