Artikel aus DLRmagazin 171: Eine künstliche Intelligenz komponiert die Reaktionen des Publikums live in ein Orchesterstück
KI bringt Gefühl in die Musik
Ein Musiker und DLR-Forschende haben eine künstliche Intelligenz entwickelt, die die Reaktionen des Publikums live in ein Orchesterstück hineinkomponiert.
Die KI nimmt die Gefühlsregungen und den Pulsschlag des Publikums, dazu Angaben aus Fragebögen, die die Zuhörerinnen und Zuhörer vorab augefüllt haben. Dann schreibt sie das Stück um.
Ein fröhlicher Gassenhauer ist aus dem Stück nicht geworden. So viel sei schon verraten. Aber dennoch klingt das Orchesterwerk „The Unanswered Question“ von Charles Ives nach der Bearbeitung deutlich anders als davor. Das liegt am Publikum. Und an einer künstlichen Intelligenz (KI), die die Reaktionen der Zuhörerinnen und Zuhörer auf die Originalmusik bewertet hat. Mit den Ergebnissen hat die KI dann das Stück umgeschrieben.
Kunst in der Wissenschaft. Wissenschaft in der Kunst. Der Saarbrücker Musiker Martin Hennecke hatte die Idee zu dem Projekt „The (Un)Answered Question – Eine musikalische Data Science Versuchsanordnung“. Über ein interdisziplinäres Forschungsstipendium der Helmholtz Information & Data Science Academy (HIDA) kam er zum DLR-Institut für Softwaretechnologie. Drei Monate lang hat er dort mit den Forschenden an einer Software gearbeitet, Cluster entwickelt und Daten gesammelt. Die wichtigste Frage lautete: Kann man eine KI dazu bringen, einen Live-Orchesterremix zu komponieren? Man kann. Das hat eine Probeaufführung im Mai in Dortmund bewiesen. Im November soll es ein Konzert im Saarländischen Staatstheater geben. Vor und mit großem Publikum.
In Dortmund läuft es noch etwas kleiner. Werkstattatmosphäre in der Akademie für Theater und Digitalität, die das Projekt gemeinsam mit HIDA fördert: Drei DLR-Mitarbeiterinnen und ein -Mitarbeiter haben ihre Laptops aufgeklappt und passen die Software ein letztes Mal an. Zehn Stühle für das Publikum, zwei Kameras für die Gesichtserkennung, neun Notenpulte für die Musikerinnen und Musiker und eines für den Dirigenten stehen bereit. Die Probeaufführung beginnt mit einem Vorspiel, dem ersten Teil des Projekts. Ein Schauspieler rezitiert das Gedicht „The Sphinx“ von Ralph Waldo Emerson (1803–1882). Dazu wird eine riesige MRT-Aufnahme vom schlagenden Herzen des Schauspielers auf einer Leinwand gezeigt, aufgezeichnet in Berlin im Max-Delbrück-Centrum für Molekulare Medizin, einem weiteren Partner. Das Thema „Großherzigkeit“ zieht sich wie ein roter Faden durch das Projekt. Das Gedicht selbst dreht sich um eine Geschichte aus der griechischen Mythologie: Eine Sphinx belagert die Stadt Theben und tötet jeden, der ihr Rätsel nicht lösen kann. Diese Geschichte war die Grundlage für das Stück „The Unanswered Question“ von Charles Ives (1874–1954). Der US-amerikanische Komponist hat einem Streichquartett lange Töne zugeschrieben. Eine Trompete wiederholt einige Male ein Motiv, das wie eine Frage klingt. Vier Holzbläser spielen ganz andere, unterschiedliche Tonfolgen. Charles Ives galt zu seiner Zeit als experimentierfreudig. Das Stück hat Dissonanzen. Das heißt, es ist bisweilen ziemlich „schräg“.
Sechs Minuten lauscht das Testpublikum den Klängen. Zwar sind die Notenpulte real aufgebaut, aber bei der Probeaufführung wird nicht live gespielt. Es läuft ein Video von einem Sinfonieorchester. Die Zuhörerinnen und Zuhörer in Dortmund tragen Armbänder, die ihren Puls aufzeichnen. Wenn die Flöten einsetzen, steigt bei manchen der Puls. Alle haben vorher einen Online-Fragebogen anonym ausgefüllt: „Ich bin einfühlsam, warmherzig“, „Ich habe mit anderen wenig Mitgefühl“, „Ich bin hilfsbereit und selbstlos“, „Andere sind mir eher gleichgültig, egal“. Fünf Antworten zwischen „Stimme überhaupt nicht zu“ und „Stimme voll und ganz zu“ sind möglich. Die KI kann so das Publikum besser einschätzen. Die Gesichtserkennung unterscheidet zwischen Freude, Traurigkeit, Wut, Neutralität, Ekel, Überraschung, Angst. Die Gefühle bilden die Basis für die Bearbeitungen der KI. Wie empfinden die Leute das Stück? Das ist wenig später auf dem Bildschirm zu sehen: Viele kleine Punkte springen meistens zwischen neutral, wütend, traurig und glücklich hin und her, während in der Mitte das abgebildete Herz weiter pocht.
„Sogar wenn das Publikum keine Erfahrung mit Data Science hat, können wir vermitteln, was mit den Daten und durch die Daten passiert.“
Carina Haupt, Mitarbeiter im DLR-Institut für Softwaretechnologie
Dann legt die KI los. Sie nimmt die Gefühlsregungen und den Pulsschlag des Publikums, dazu die Angaben aus den Fragebögen – und schreibt das Stück um. Wie genau, ist nicht vorhersehbar. „Ich bin gespannt, wie es sich gleich anhört“, sagt Martin Hennecke. Die KI arbeitet nicht linear. „Wenn jemand traurig ist, wird das Stück nicht automatisch fröhlicher.“ Der Algorithmus, den die Forschenden im DLR gemeinsam mit Martin Hennecke entwickelt haben, fasst die Daten in Clustern zusammen, bewertet sie und löst damit Änderungen im Remix aus.
Das neue Stück wird sofort aufgeführt. Beim Probedurchgang in Dortmund läuft das rein elektronisch. Der Rhythmus hat sich verändert. Aus sehr langen Tönen sind kürzere geworden. Die Harmonien klingen gefälliger und folgen anderen Abläufen. In Saarbrücken werden die Musikerinnen und Musiker den Remix im Saal direkt von einem Tablet ablesen. Dann wird aus „The Unanswered Question“ wieder ein ganz anderes Stück. „Das Zusammenspiel von Orchester und Publikum ist ein besonderes künstlerisches Erlebnis“, sagt Martin Hennecke. „Mit digitalen Mitteln und Techniken aus dem Bereich der Data Science wird dieses Erlebnis lebendiger und menschlicher – kurioserweise durch den Einsatz von Technik und Computern.“
Visualisierungen zeigen dem Publikum, wie die Forschenden arbeiten
In dem Gesamtprojekt mit Gedichtvortrag, Originalstück samt Datenerhebung und Remix steckt auch für die Forschenden am DLR-Institut für Softwaretechnologie etwas Besonderes. „Sogar wenn das Publikum keine Erfahrung mit Data Science hat, können wir über die Musik und die Visualisierungen vermitteln, was mit den Daten und durch die Daten passiert“, sagt Carina Haupt vom Institut für Softwaretechnologie. Sie leitet gemeinsam mit Andreas Schreiber das Projekt beim DLR. In der Abteilung Intelligente und Verteilte Systeme werden sonst unter anderem komplizierte Softwarearchitekturen über Visualisierungen dargestellt. „Hier haben wir einen ähnlichen Ansatz. Wir arbeiten mit Bildern und Metaphern, um Herzfrequenz und Emotionen zu kombinieren und darzustellen“, ergänzt Andreas Schreiber.
Für Martin Hennecke geht es nach der Novemberaufführung im Saarländischen Staatstheater, wo er auch Paukist und Schlagzeuger ist, direkt weiter. Sein nächstes Projekt wird etwas mit Ballett zu tun haben. Martin Hennecke schreibt dazu eine live veränderbare Partitur über die Verarbeitung persönlicher Daten im Internet. Die Daten sollen von den Mitgliedern des Saarländischen Staatsballetts stammen – und natürlich vom Publikum.
