ulm-news.de

Tentschert quer
Sie sind hier: ulm-news Startseite  Nachrichten

Ulm News, 14.11.2018 18:00

14. November 2018 von Ralf Grimminger
0 Kommentare

Automatische Aufmerksamkeitserkennung: Wie erkennt der Computer, wenn der Mensch innerlich abschaltet? -


 Der Mensch hat ein untrügliches Gespür dafür, ob sein Gegenüber ihm aufmerksam zuhört oder nicht.  Denn die menschliche Mimik, Gestik und Körpersprache ist ziemlich aufschlussreich, zumindest für den Menschen. Forscher aus Ulm und Moskau haben untersucht, mit welchen Merkmalen ein Computer die Aufmerksamkeit von Menschen in Gesprächssituationen am besten erfassen kann. 

Trainiert wurde das System mit mehr als 26 000 Videofragmenten. Das Ergebnis: der Zuhörer verrät mit seinem Sprechen am meisten über sein „Engagement“, so der Fachbegriff dafür. Die automatische Gefühlserkennung, im Englischen spricht man hier von Affective Computing, ist ein gleichermaßen innovatives und lukratives Tätigkeitsfeld der Informatik. Ob beim hochautomatisierten Fahren, in der Werbewirtschaft, der virtuellen Medizin – oder bei vielen anderen Anwendungen aus dem Bereich Mensch-Technik-Interaktion – werden bereits Programme eingesetzt, die mehr oder weniger gut in Lage sind, das menschliche Gefühlsleben zu analysieren.
Dazu gehören nicht nur die Parameter der emotionalen Befindlichkeit, sondern auch die der Aufmerksamkeit und Anteilnahme. „Wir haben nun untersucht, welche Merkmale und Methoden für den Computer am aufschlussreichsten sind, um herauszufinden, ob Menschen in einer Zuhörersituation aktiv involviert sind oder nicht“, erklärt Dmitrii Fedotov. Der studierte Systemanalytiker promoviert bei Professor Wolfgang Minker am Institut für Communications Engineering der Universität Ulm.
Der 25-jährige ist in Krasnojarsk (Sibirien) geboren und aufgewachsen, und er hat dort an der Reshetnev Siberian State University of Science and Technology studiert. Vor zwei Jahren kam Fedotov dann von dieser hochrenommierten russischen Universität, die zu den fünf strategischen Partnerhochschulen (U5) der Universität Ulm gehört, nach Ulm. Für dieses Forschungsprojekt kooperierte Dmitrii Fedotov eng mit drei Moskauer Wissenschaftlerinnen der Firma Neurodata Lab. Das junge Unternehmen, mit Firmensitzen in Italien, der Schweiz, Russland und der USA – ist spezialisiert auf Fragen der Künstlichen Intelligenzforschung, des Affective Computing und Data Mining. Für das Forschungsprojekt hat das Neurodata Lab einen riesigen Datenkorpus aus Videomaterial auf einer sogenannten EmotionMiner Plattform zusammengestellt. Szene für Szene wurde dafür systematisch „von Hand“ gesichtet und nach bestimmten Kriterien charakterisiert. Welche Emotionen zeigen Sprecher und Zuhörer? Ist der Zuhörer aufmerksam oder unkonzentriert?
Insgesamt wurden dabei mehr als 26 000 Filmfragmente aus 981 Videos verarbeitet. Die kurzen Filmsequenzen, die rund vier Sekunden lang sind, zeigen menschliche Kommunikationssituationen und stammen aus öffentlich zugänglichen Tonfilmaufnahmen von Gesprächen, Interviews, Debatten und Talkshow, die in englischer Sprache geführt wurden. Jede Videosequenz wurde dabei von zehn menschlichen Analysten untersucht. Rund 1500 Menschen waren an der Analyse beteiligt.
Und wozu der ganze Aufwand? „Man braucht diese von Menschen erhobenen Daten als Referenzdaten, um später herauszufinden, wie genau der Computer in der Lage ist, menschliche Gefühle und mentale Zustände zu erfassen“, erklärt Olga Perepelkina.
Die Psychologin ist Chief Research Officer bei Neurodata Lab und war gemeinsam mit Evdokia Kazimirova und Maria Konstantinova an diesem deutsch-russischen Gemeinschaftsprojekt beteiligt. Alle drei Wissenschaftlerinnen promovieren zudem an der Lomonosov Moscow State University (MSU) im Bereich Psychologie. Die eigentliche Herausforderung besteht in der technischen Umsetzung für die automatische Emotions- bzw. Aufmerksamkeitserfassung selbst. Wie bekommt man den Computer dazu, sich anhand des Videomaterials ein Bild davon zu machen, ob ein dort gezeigter Mensch ein aktiver Zuhörer oder eher unbeteiligt ist? Die Wissenschaftler benutzen hierfür das Begriffspaar Engagement - Disengageme nt, um das Ausmaß der mentalen Involvierung zu erfassen. Für die automatische Aufmerksamkeitserkennung haben sich in den letzten Jahren mehrere Verfahren etabliert, um mimische und gestische Hinweise sowie Körperhaltungen zu erfassen.
Vereinfacht ausgedrückt werden hier Lippen- oder Augenbewegungen untersucht sowie Gesichtsausdrücke oder die emotionale Färbung gesprochener Sprache („Audio“-Faktor). Präziser gesagt geht es hier um den Einsatz von Software-Werkzeugen, die beispielsweise in der Lage sind, in Videosequenzen die Emotionen von Sprecher und Hörer automatisch zu analysieren. Oder es handelt sich um Algorithmen, die in der Lage sind, aus der Bewegung der Lippen die Wahrscheinlichkeit zu berechnen, mit der im nächsten Moment jemand zu sprechen beginnt. Allein für die Gesichtserkennung haben die Forscher ein neuronales Netzwerk mit den Bilddaten von mehr als 10 000 Gesichtern gefüttert. „Wir wollten nun herausfinden, welche Kombination an Modalitäten bei der automatischen Aufmerksamkeitserfassung am effektivsten ist“, so Fedotov. Der Ulmer Wissenschaftler hat dafür alle möglichen Zwei- und Dreifachkombinationen von fünf verschiedenen Erkennungsweisen (Augen, Lippen, Gesicht, Körper und Audio) statistisch kombiniert. Das Ergebnis: Am effektivsten im Verhältnis zum Aufwand erwies sich dabei die Zweierkombination aus „Lippen“ und „Audio“. Gut 70 Prozent aller Fälle lassen sich damit richtig zuordnen; ein Ergebnis, das für die automatisierte Aufmerksamkeitserkennung richtig gut ist. „Beide Merkmale sind direkt mit dem Akt des Sprechens verbunden. Dabei war die Erklärungskraft des „Audio“-Faktors alleine bereits beträchtlich. Für die Praxis heißt dies, dass eine automatische Aufmerksamkeitserkennung, die sich auf die auditiven Merkmale der gesprochenen Sprache konzentriert – Stimmqualität, Tonspektrum, Stimmenergie, Sprachfluss und Tonhöhe – ausreicht, um zuverlässig zu sagen, ob der Zuhörer aufmerksam ist. Wenn der Zuhörer schweigt, helfen andere Merkmale wie Gesichts- und Körperbewegungen dabei, „Engagement“ oder „Disengagement“ zu erkennen. Vorgestellt wurde die Studie im Herbst auf einer großen internationalen Konferenz (ICMI 2018) in Boulder, Colorado.



Ulmer Pressedienst Grüne

Termine & Kino

weitere Termine

Highlight

Weitere Topevents

Zur Zeit gibt es keine weiteren Top-Events.

Tentschert quer
Apr 12

Zu viele Infektionen: Ausgangsbeschränkungen in Ulm ab Mittwoch
7-Tage-Inzidenzwert in Ulm übersteigt seit Tagen 150 je 100 000 Einwohner. Am Sonntag lag der Wert laut...weiterlesen


Apr 09

Ulmer Gastronom in U-Haft: Zoll ermittelt wegen Schwarzarbeit, Kurzarbeitergeld- und Subventionsbetrugs
Ein Ulmer Gastronom ist am Donnerstag festgenommen worden. Ihm werden unter anderem Subventionsbetrug,...weiterlesen


Apr 11

Ausgangsbeschränkung im Landkreis Neu-Ulm ab Montag
Der Landkreis Neu-Ulm hat am Sonntag, 11. April, den dritten Tag infolge den Inzidenzwert von 100...weiterlesen


Apr 19

Stadt Ulm und Landkreis Neu-Ulm nah an der Inzidenz von 200
Die Stadt Ulm und Landkreis Neu-Ulm sind nah an der 7-Tage-Inzidenz von 200.  weiterlesen


Apr 12

Motorradfahrer stirbt nach Frontalzusammenstoß
Tödlich verletzt hat sich ein 55-jähriger Motorradfahrer bei einem Verkehrsunfall am Sonntagabend. weiterlesen


Apr 15

Rasanter Anstieg der Corona-Infektionen in der Region - Ulm mit Inzidenzwert bei über 200
In der Region steigt die Zahl der Corona-Infektionen rasant an. Ulm ist seit Donnerstag über der Grenze...weiterlesen


Apr 12

Nächtliche Ausgangsbeschränkungen in Ulm ab Mittwoch
Jetzt ist es offiziell: Das Gesundheitsamt im Landratsamt Alb-Donau-Kreis hat am Montag wegen anhaltend...weiterlesen


Apr 11

Hotelzimmer für Party gebucht: 30 Jugendliche feiern mit viel Alkohol und ohne Mundschutz und Abstand
Rund 30 Jugendliche haben in der Nacht zum Sonntag in einem Hotel in Neu-Ulm eine Party gefeiert.  weiterlesen



Tentschert quer

 
© ulm-news.de, Nachrichten für Ulm und Umgebung   KONTAKT | FAQ | IMPRESSUM | DATENSCHUTZ nach oben