Klassifikation von (Lippen-)Bewegungen durch Differenzenbetrachtungen

Julian Schmidt, Leibniz Universität Hannover, diploma thesis
05/1999

Diese Diplomarbeit dient der Untersuchung und Implementation von Methoden zum Erkennen von Lippenbewegungen. Dabei werden Lippenbildsequenzen bearbeitet und anhand einer Bibliothek eingeordnet, so daß jeder Sequenz eine Bedeutung (z.B. eine Silbe) zugeordnet werden kann. Um die Lippensequenzen einzuordnen, wird zuerst eine Vektorisierung der Lippenbilder vorgenommen. Diese Vorgehensweise hat eine Reduzierung der zu bearbeitenden Datenmengen zur Folge und ermöglicht eine Vielzahl von Korrekturen, die sonst nur schwierig oder gar nicht zu verwirklichen wären. So kann zum Beispiel die Bewegung des Kopfes während des Sprechens erkannt und korrigiert werden. Dabei werden in einer Ebene veschobene Lippen ebenso korrigiert wie ein schräg gestellter Kopf. Die Einordnung der vektorisierten und korrigierten Lippenbildsequenzen wird dann im Vergleich mit verschiedenen Methoden vorgenommen: einer einfachen Euklidischen Abstandsberechnung und der sogenannten "Principal Component Analysis" (PCA), auch "Karhun-Loeve Entwicklung" genannt. Letztere ist ein statistisches Verfahren, das Anfang des 20. Jahrhunderts zur Reduzierung der Dimensionierung von Problemen entwickelt wurde, die eine Einordnung anhand einer Bibliothek betreffen. Die PCA wurde schon erfolgreich für die Erkennung von Gesichtern angewandt. Auch hat Stefan Nölle in einer Studienarbeit die Anwendung der PCA auf einzelne Lippenbilder untersucht. Hier hat sich gezeigt, daß diese zu wenig Informationen enthalten, um eine vernünftige Zuordnung zu ermöglichen. Auch ein routinierter Lippenleser wird mit einer einzelnen Lippenstellung wenig anfangen können. Die Bewegung der Lippen ist das, was ihm das Lippenlesen ermöglicht. Daher werden in dieser Arbeit Sequenzen von Lippenbildern untersucht.

Kontakt: Franz-Erich Wolter