Darstellung von mentale Zustände und Emotionen mittels Gehirnströmen (EEG) und anderer Vitaldaten, Mittels Musifizierung und Visualisierung werden Emotionen während einer Kommunikation von zwei Menschen dargestellt. Mit diesem System sollen mentaler Zustände zwischen zwei Personen vermittelt werden, die eine räumliche Distanz haben. Durch die Wiedergabe soll emotionale Nähe zwischen den Interakteuren erzeigt werden.
In Kooperation mit dem KIZMO (Klinisches Innovationszentrum für Medizintechnik Oldenburg), der Hochschule für Musik und Theater Hamburg (HfMTH) und der Medienhochschule MDH Berlin.
Ziele des Projektes ist das Geschehen während einer zwischenmensvhlichen Beziehung zu untersuchen und zu fördern. Ohne Technologie waren Menschen bisher den direkten Austausch mittels Stimme, Gestik und Mimik gewohnt. Tatsache ist, dass leider in einer digitalen Übertragungsform Teile der menschlichen Kommunikationsformen verloren gehen, d.h. die Tiefe geht verloren. Ohne den großen Teil der nonverbalen Kommunikation sind soziale Kompetenz und die Empathie der Kommunikationspartner herausgefordert. Die Idee ist es, diesen Mangel auszugleichen, indem wir durch die Musik eine zusätzliche Ausdrucksmöglichkeit schaffen.
Mit aktuellen Kommunikationstechnologien ist grundsätzlich eine ständige Verfügbarkeit von Kommunikationsmöglichkeiten mit anderen Menschen ohne räumliche Begrenzung erreichbar. Allerdings fallen selbst bei der Videotelefonie viele Ebenen der Kommunikation weg, die für enge zwischenmenschliche Beziehungen und Empathie wesentlich sind. Menschliche Nähe und Empathie wiederum sind von unschätzbarer Wichtigkeit, gerade im Gesundungsprozess erkrankter Personen: Besuche im Krankenhaus, Beistand am Krankenbett und selbst das Hände Halten bei Koma-Patienten sind menschlich gewünscht und können sich positiv auf den weiteren Krankheitsverlauf auswirken. Die Besuchsbeschränkungen in Krankenhäusern aufgrund der Corona-Pandemie haben diese positiven Effekte von Besuchen im Vergleich zu früher deutlich reduziert. Aber auch ganz unabhängig von Covid19 fallen Krankenbesuche oft aus Zeitmangel oder zu großer Entfernung weg. Ein Telefonat oder auch ein Videoanruf kann bisher einen richtigen Besuch nur unzureichend ersetzen.
Mit einem neuem Vertonungssystem werden vegetative Daten wie Hirnaktivität, Herzschlag und Atmung anschaulch widerspiegelt. Durch eine Erfahrbarmachung dieser vegetativen Daten für andere Menschen verfolgt das Projekt das Ziel, eine neuartige Kommunikationsebene einzuführen, die insbesondere dazu geeignet sein könnte, Empathie zu vermitteln.
Eines der am besten geeigneten Sinnesorgane, um aus komplexen Daten sinnvolle Informationen zu extrahieren, ist das menschliche Gehör. Daher soll im Projekt das Ziel verfolgt werden, vegetative Daten (insbes. EEG) zu sonifizieren und musifizieren und so zur Vermittlung von emotionalen Zuständen nutzbar zu machen.
Das grundlegende Szenario, an dem im Projekt geforscht werden soll, ist ein Videotelefonat zwischen zwei Personen, bei dem zugleich die EEG-Daten beider Personen erfasst werden und nach einer geeigneten Analyse der jeweils anderen Person klanglich wiedergegeben werden. Dies soll zusätzlich durch visuelle Methoden unterstützt werden, die unaufdringlich in die Videotelefonie-Anzeige integriert oder parallel dazu angezeigt werden können.
