Autor: Oliver Gries

[Trigger-Warnung: Die eingebetteten Inhalte (Trailer) enthalten Darstellungen physischer Gewalt! Minderjährige oder Personen, für die derlei explizite Darstellungen emotional belastend sein könnten, bitten wir von der Ansicht der Videos Abstand zu nehmen.]

Improvisierte Musik im bewegten Bild

Die Gattung Jazz ist in seiner gesamten Laufbahn des Öfteren mit anderen medialen Formen in Kontakt getreten. Dabei ist gerade die Beziehung zwischen Jazz und Film über die Jahre recht intim geworden; sowohl bei Klassikern wie „Anatomie eines Mordes“ (1959), als auch bei moderneren Produktionen wie „Midnight in Paris“ (2011) scheint der Jazz regelrecht in der DNA verbaut zu sein. Kein Wunder: Das immense Potential des Jazz, in seiner Komplexität und improvisatorischen Vielfalt, klimatische Spannung und emotionale Höhepunkte zu erzeugen, bietet in vielerlei Hinsicht eine ideale Passform für das Medium des Films. In manchen Fällen rücken zwar musikalische Kernaspekte wie eben diese Spontanität, Improvisation, Liveness etc. zwangsläufig in den Hintergrund und entfalten sich wenn überhaupt nur begrenzt, sofern die Handlung des Films es ihnen abverlangt.

Auf der anderen Seite gibt es aber auch Beispiele für den vordergründigen Einsatz von improvisatorischer Musik im Film, beispielsweise in der Gattung Stummfilm oder bei Produktionen wie Louis Malles „Fahrstuhl zum Schafott“ (1958), für welchen Miles Davis in nur einer Nacht den kompletten Soundtrack improvisierte und aufnahm, oder Alejandro G. Iñárritus „Birdman“ (2014), bei dem der Schlagzeuger Antonio Sánchez ganze Szenen in seinen Improvisationen adaptierte. Dazu kommentierte er: „The movie fed on the drums and the drums fed on the imagery.“

Vertonungen im Videospiel

Doch welchen Stellenwert findet der Jazz denn nun im Medium des Videospiels? Eigentlich könnte man ja meinen, dass sich besagtes Medium, mit seinem de-facto inhärenten Augenmerk auf Interaktivität und Spontanität, für eine Fusion mit dieser Gattung Musik regelrecht anbieten würde. Doch – wie es im diskursiven Rahmen des Videospiel-Journalismus bereits diskutiert wurde – waren Jazz-Soundtracks in Spielen bis vor relativ kurzer Zeit noch eine relative Seltenheit. Die potentiellen Gründe reichen dabei von der vergleichsweise jungen Existenz des Mediums bis hin zu den dominanten kulturellen Strömungen während seiner Entwicklung.

Inzwischen gibt es glücklicherweise eine Vielzahl nennenswerter Spiele, die teilweise oder maßgeblich Jazz-basierte Soundtracks aufweisen, von großen AAA-Produktionen wie „Super Mario Odyssey“ (2017) bis zu originellen Indie-Spielen wie „Cuphead“ (2017). Die Art und Weise der Implementation des Jazz variiert dabei in beträchtlichem Ausmaß von Spiel zu Spiel, mit unterschiedlichem Fokus auf Genre, Stil, (historischer) Repräsentation usw. Allerdings unterscheiden sich hier die Arten der Implementation des Jazz im Vergleich zu jenen im Film in vielen Fällen recht geringfügig. Dies mag wenig verwunderlich sein, wenn man bedenkt, wie prägend der Einfluss des Films auf den Werdegang des Videospiels war und weiterhin ist; aber existiert da nicht Potential, welches geradezu darum bettelt, ausgeschöpft zu werden? Videospiele haben über die Jahre eine Unzahl an technologisch beeindruckenden Innovationen präsentiert, darunter Systeme prozeduraler Generierung von Animationen, Figuren und sogar ganzen Spielwelten. Warum nicht auch von Musik? Ist es überhaupt möglich, ein Spiel seinen Soundtrack in Echtzeit generieren bzw. „improvisieren“ zu lassen?

Improvisierte Musik im Videospiel APE OUT

Im Lichte dieser Problematik möchte ich an dieser Stelle ein denkwürdiges, interaktives Kunstwerk in den Vordergrund rücken: Das 2019 von Devolver Digital veröffentlichte Videospiel APE OUT.

Wie es vom obigen Trailer wahrscheinlich bereits zu erahnen ist, ist APE OUT in konzeptueller Hinsicht recht simpel: Der/die Spielende versetzt sich in die Position eines Gorillas, welcher wiederholt von Menschen gefangen und eingesperrt wird und sich daraufhin immer wieder mit Gewalt befreien muss. In diesem kurzen und bündigen Handlungsspielraum hat der Protagonist nur eine begrenzte Anzahl an Möglichkeiten, mit der virtuellen Welt zu kommunizieren: Laufen,  Greifen und Werfen. Trotz dieser mechanischen Simplizität bietet APE OUT durch diverse Techniken prozeduraler Level-Generierung und Gegner-Positionierung eine große Vielfalt an möglichen Szenarien und Abläufen, welche dem/der Spielenden immerzu unterschiedliche Herausforderungen in den Weg stellen.

Und hierin liegt auch auf der Ebene des Soundtracks das Kernelement, durch welches APE OUT sich von dem Großteil seiner medialen Artgenossen abhebt: Ein immenses Ausmaß an adaptiver Interaktivität. Nicht nur nimmt jeder erzielte Kill seitens des/der Spielenden durch einen plötzlich ertönenden Beckenschlag einen unmittelbaren Einfluss auf den Soundtrack; der Soundtrack passt sich in seiner Struktur und Intensität von Moment zu Moment an eine Vielzahl unvorhersehbarer Variablen an – sei es eine große Anzahl an Gegnern, die in kurzer Zeit getötet wurden, oder so etwas subtiles wie das Material des Bodens, auf welchem der Gorilla sich bewegt. Um diese Funktionalität zu ermöglichen, nutzte der Komponist Matt Boch eine Machine-learning – Technologie namens variational autoencoder neural network, welche aus Bochs vorher komponiertem und gesampletem Tonmaterial dynamisch neue Tonspuren generiert. Dadurch wird garantiert, dass jeder individuelle Playthrough von APE OUT von einem individualisierten Soundtrack begleitet wird. Hierbei kann durchaus – wie es Forscher*innen und Komponist*innen experimenteller Computermusik wie Joel Chadabe und George E. Lewis in vergleichbaren Fällen bereits getan haben[1] – von einem Beispiel „interaktiver Komposition“ gesprochen werden. Lewis spricht im Bezug auf etwaige Interaktivitäten zwischen Mensch und Computer auch mitunter von einer „dialogischen“ Improvisation zwischen den zwei Entitäten und wirft interessante Fragen im Bezug auf die Hierarchie zwischen menschlicher Intention und maschineller Programmation auf.[2]

Doch ist das, was APE OUT uns bietet, bereits „richtige“ Improvisation? Die Frage zieht direkte Parellelen zur Debatte um „Künstliche Intelligenz“, und ob von ihr erzeugte Produkte in ihrem Stellenwert verglichen werden können mit menschlicher Intention, menschlicher Arbeit, menschlicher Kunst usw. Das neuronale Netzwerk, welches den Soundtrack von APE OUT generiert – so eindrucksvoll dieser Prozess auch sein mag – bezieht sich schließlich ebenfalls auf bereits komponiertes Material; ist das folglich nicht mehr Imitation und Variation als Improvisation? Spätestens an dieser Stelle der Diskussion kommt meistens jemand daher, der die ganze Prämisse „originaler Improvisation“ in Frage stellt und entgegnet, dass alle menschengemachte Kunst in irgendeiner Form iterativ sei; dass „richtige“ Improvisation nur ein Ideal, aber keine Wirklichkeit sein kann. Diese Debatte, so spannend sie auch ist, sprengt leider nicht nur den Rahmen dieses Beitrags, sondern scheint für jetzt (und, seien wir ehrlich, in absehbarer Zukunft) keinen konkreten Schlussstrich zu erlangen.

Aber einen Soundtrack lupenreiner, wahrhaftiger Improvisation zu erzeugen war von vorneherein nie APE OUT’s ausdrücklicher Anspruch; nach eigenen Angaben des Entwicklers Gabe Cuzzillo[3] war das gesamte Konzept seines Spiels maßgeblich von Pharoah Sanders’ Stück „You’ve Got to Have Freedom“ – welches auch in der Endszene des Spiels ertönt – inspiriert. Geradezu „besessen“ von der entfesselten, schieren Unberechenbarkeit des Stücks wollte er ein Spiel kreieren, welches es schafft, die von ihm wahrgenommene „wilde, tierhafte“ Katharsis des Stücks zu verkörpern.[4] Dieser Zielsatz inspirierte sämtliche stilistischen Eigenschaften des Spiels – vom abstrakten, Saul Bass-esken[5] Kunststil bis hin zum hochoktanigen Schlagzeug-Soundtrack.

Auch im Launch-Trailer des Spiels kommt Sanders’ Stück recht prominent zur Geltung

Kritische Betrachtung der Wahl des Protagonisten von APE OUT (oder: „Warum ein Gorilla?“)

Es ist auch eben dieses Konzept des „Tierhaften“, welches APE OUT in den Augen einiger problematisieren dürfte: Die Tatsache, dass der Hauptcharakter dieses dediziert auf Jazz (und damit auf „schwarzer Musik“) basierenden Spiels ein Gorilla ist, weckt für einige sicherlich unangenehme Erinnerungen an den rassistischen Stereotyp des Vergleichs von schwarzen Menschen mit Affen. Selbst wenn die Message des Spiels eine prinzipiell emanzipatorische sein mag, ist dies dennoch eine potentiell strittige artistic choice, welche zwar nicht in böswilliger Absicht erfolgt sein mag, aber sich dennoch in eine lange Tradition rassifizierter Stereotypisierung einfügt. Dies soll jetzt nicht die besprochenen Errungenschaften von APE OUT klein reden, sondern ist schlichtweg eine Anerkennung der Existenz des Kunstwerks im weiteren Kontext der strukturell rassistischen Gesellschaft, in welcher es entstanden ist.

Impro or no Impro? Abschließende Gedanken

Aber – um noch einmal auf die Problematik vom Anfang des Beitrags zurückzukommen – schafft es APE OUT, sich den Jazz nicht lediglich als Begleitmusik nutzbar zu machen, sondern ihn gleichberechtigt in den Vordergrund zu rücken? Die Antwort auf diese Frage ist – man verzeihe mir die formelhafte Bemerkung – natürlich erst einmal Ansichtssache. Sie hängt davon ab, welche Facetten des Jazz man als besonders wichtig wahrnimmt, sei es die Unmittelbarkeit, die Spontanität, die Improvisation und weitere Faktoren. Es kann APE OUT diesbezüglich zumindest eines angerechnet werden: Dass es besagten Aspekten und Idealen in solch einem Ausmaß entgegenkommt, dass es in seinem Medium als definitive Besonderheit hervorsticht. Die adaptive Echtzeit-Generation eines Spiele-Soundtracks auf solch einem Level an Qualität und Variabilität, wie APE OUT sie erzielt, birgt meines Erachtens immenses Potential für die Zukunft der Komposition interaktiver Musik – und vielleicht, mit etwas Glück, auch endlich einen künstlerisch tatsächlich wertvollen Verwendungszweck für KI.

[1]Born_Georgina_2017_Improvisation_and_Social_Aesthetics_p91-109

[2]Born_Georgina_2017_Improvisation_and_Social_Aesthetics_p105

[3]https://www.gamedeveloper.com/design/road-to-the-student-igf-gabe-cuzzillo-s-i-ape-out-i-; https://www.gamereactor.de/video/309103/Ape+Out+-+Gabe+Cuzzillo+Interview/

[4]Vgl. https://www.gamereactor.de/video/309103/Ape+Out+-+Gabe+Cuzzillo+Interview/ & https://www.gamedeveloper.com/design/road-to-the-student-igf-gabe-cuzzillo-s-i-ape-out-i-

[5]Aus dem Interview von Gabe Cuzzillo auf der Webseite Game Developer: „The soundtrack is a series of jazz drum solos. I hope the music emphasizes the improvisational, animal feeling of the game, as well as fits aesthetically with the Saul Bass-inspired art. The song “You’ve Got To Have Freedom“ by Pharoah Sanders inspired lot of the feel of the game.“ URL: https://www.gamedeveloper.com/design/road-to-the-student-igf-gabe-cuzzillo-s-i-ape-out-i-

Der Autor, Oliver Gries, ist Student der Musikwissenschaft und Amerikanistik an der Johann Wolfgang Goethe-Universität in Frankfurt am Main. Er hat im September und Oktober 2024 ein studentisches Praktikum im Jazzinstitut Darmstadt absolviert. Der Text verbindet Olivers persönliche Leidenschaften für Games und Jazzmusik – und er war das Resultat spannender Diskussionen, die wir im Jazzinstitut mit ihm über die Möglichkeiten und Beschränkungen der Verwendung improvisierter Musik im Kontext intuitiver Visualisierung wie sie bei Computerspielen eingesetzt wird, geführt haben.