Interaktive Kunst - Performance ParaScape

Künstlerische Konzeption

Die Idee entstand bei den Vorbereitungen zum Abschlußkonzert des Klangsynthesekurses des Schweizerischen Zentrums für Computermusik unter der Leitung von Gerald Bennett am Konservatorium Zürich, Sommer 1996. Es war geplant, daß die Kursteilnehmer eine ca. 20minütige Improvisation durchführen, bei der auch Mittel der Computermusik eingesetzt würden. Die Improvisation sollte nur grob geleitet sein, also mit genügend Freiräumen. Die Idee war nun, daß die Partitur für die Improvisation live entstehen oder zumindest live gesteuert/verändert würde. Die Steuerung würde durch die Improvisation selber geschehen. Dies würde einen kybernetischen Regelkreis entstehen lassen, dessen Wirkung uns interessierte.

Zunächst mußte die Sprache gefunden werden, in welcher die Partitur geschrieben wurde. Verschiedene Möglichkeiten der visuellen Gestaltung wurden diskutiert und prototypisch implementiert. Zunächst wurden nur 3D-Primitiva (Kegel, Zylinder, Ebene, Kugel) direkt durch MIDI-Daten gesteuert: Position im Raum, Streckung unabhängig in x-, y-, und z-Richtung. Es wurde schnell klar, daß synthetische Landschaften eine wesentlich stärkere suggestive Wirkung haben, als simple 3D-Objekte. Deshalb wurde der Entwurf einer parametrisierbaren Landschaft in Angriff genommen. Drei Forderungen an dieses Objekt wurden deutlich:

Form der Landschaft und deren Einfärbung sollte möglichst als Einheit steuerbar sein, z.B. sollte nicht jede einzelne Bergspitze explizit gesteuert werden müssen,
1. wegen der zu hohen Anzahl Freiheitsgrade und
2. um die Landschaft als Gesamtheit modellieren/deformieren zu können.
Veränderungen der Landschaft sollte fließend vor sich gehen, um die Geschwindigkeit der Änderungen als weiteres gestalterisches Mittel verfügbar zu haben.
Einfluß einströmender MIDI-Daten auf die Animation sollte für die Improvisierenden nicht nachvollziehbar sein. Die Improvisierenden sollen spüren, daß ihr Spiel einen Einfluß auf die Animation hat, nicht aber welchen Einfluß.

Technische Umsetzung

Prior Art

Die Verfügbarkeit des objektorientierten Multimedia Framework MET++ erlaubte ein schnelles Prototyping. MET++ unterstützt die Integration verschiedener Medien und deren Kontrolle über eine einheitliche Programmierschnittstelle [Ackermann96]. Die Erweiterung/Anpassung auf eigene Bedürfnisse ist durch den objektorientierten Framework-Ansatz strukturiert möglich.

Aufbauend auf diesem Framework wurde eine visuelle Programmierumgebung entwickelt, die es erlaubt, zur Laufzeit Medien datenflußartig zu komponieren [Wagner96]. Diese Umgebung erlaubte es, früh zu erkennen, welche Arten von visueller Gestaltung der Partitur in Frage kommen.

Parametrische Landschaft

Der Forderung, die Landschaft als Gesamtheit steuerbar zu machen, um die Anzahl Freiheitsgrade zu beschränken konnte mit dem Konzept parametrischer Funktionen begegnet werden.

Die Landschaft oder Mesh ist als rechteckige, triangulierte Menge von Punkten (Vertices) aufgebaut (sh. Fig.1). Jede Vertex besitzt die Eigenschaften: räumliche x-, y- , z- Koordinaten, rot-, grün-, blau- Anteil der Farbe, sowie Durchsichtigkeit (a). Die gesamte Mesh, bestehend aus

Um diese große Anzahl einzuschränken und eine griffigere Kontrolle über das Gesamtobjekt zu erhalten, wurden parametrische Funktionen eingeführt. Somit sind nicht mehr die Eigenschaften der einzelnen Vertex im Zugriff, sondern pro Eigenschaft (x-, y-, z- Koordinate, r-, g-, b- Farbanteil, a) eine Funktion, welche den jeweiligen Aspekt aller Vertices steuert. Diese parametrischen Funktionen liefern als Funktionswert das Ausmaß des jeweiligen Merkmals in Abhängigkeit der Indizes u und v einer Vertex in der rechteckigen Menge.

Fig.1: Parameter der gesamten Mesh versus Parameter der einzelnen Vertex

Steuerung

Zur Steuerung wurde der Live-Input der verschiedenen MIDI-Instrumente in einem Max-Programm [Zica95a,b] verarbeitet, um anschließend über ein eigenes Protokoll auf MIDI an die SGI-Maschine mit unserer Software geleitet. Die Verarbeitung im Max- Programm beinhaltet

eine Anpassung der Wertebereiche der einkommenden MIDI-Daten,
"Wrapper" für die einzelnen steuerbaren Einheiten der ParaScape:
- Kamera,
- Mesh und
- Lichtquelle,
sowie ein Modul zur Rollenverteilung der einzelnen MIDI-Kanäle.

Diese Rollenverteilung bewirkte, daß die Auswirkung des Spiels der beteiligten Musiker in festen Zeitabständen rotiert wurde, d.h. in der ersten halben Minute beeinflußt der Synthesizeroutput die Wahl der x-Parameterfunktion, der Pitch-2-MIDI- Konverter die Wahl der y-Parameterfunktion, etc., in der nächsten halben Minute hat der Synthesizer die Kontrolle über die y-Funktion, der Pitch-2-MIDI-Konverter diejenige über die z-Paramterfunktion.

Dies wurde so bewerkstelligt, um der dritten Forderung zu genügen, also daß es für die Improvisierenden nicht längerfristig nachvollziehbar sein soll, was genau ihr Einfluß auf die Animation ist.

In diesem Beitrag gehe ich jedoch einen etwas anderen Weg. Hier interessiert mich zusätzlich die synthetische Generierung der Musik, sowie der Einsatz von Sensoren anstelle von Musikinstrumenten.

Das Setup (sh. Fig.2) beinhaltet in diesem Beitrag das I-Cube-System, dessen Output symbolisch interpretiert wird, sowohl von AUTOBUSK, als auch von ParaScape. Der Output von AUTOBUSK steuert den Synthesizer an und wird ebenso wie der Output des I-Cube, vom Max- Patch auf das eigene Protokoll abgebildet und via MIDI an ParaScape geleitet.

Fig.2: konzeptuelle Sicht auf die beteiligten HW-Komponenten

Infrastruktur

Die Projektion der Animation sollte auf eine Leinwand gelangen, welche vom Publikum und von den AkteurInnen gut sichtbar ist.
Infrastruktur, welche bereitgestellt werden müsste:

1 x SGI Impact mit R10000 Prozessor
1 x SGI Indigo oder Indigo2 oder Indy für MIDI
Beide Maschinen mit Betriebssystem IRIX 5.3 evtl. 6.x
Anschlussmöglichkeit für die 1. Maschine (Impact) an einen Video-Beamer.
Mischpult (16-Kanal)
PA (Verstärkeranlage, dem Raum angepasst)
Lautsprecher
4 Mikrofone
I-Cube System
Beamer, Leinwand

Da sich die MIDI-Schnittstelle an den SGIs als tückisch erwiesen hat, müsste genügend Zeit eingeplant werden, um die funktionierende Konfiguration der SGIs finden und vornehmen zu können.

Beispielanimation

Nutzung durch Dritte

1997 Christian Waldvogel Echtzeit, Musik/Grafik-Installation.

Referenzen

[Ackermann96]	Philipp Ackermann: Developing Object-Oriented Multimedia Software , dpunkt-Verlag, 1996.
[Barlow90]	Klarenz Barlow: Autobusk An Algorithmic Real-Time Pitch & Rhythm Improvisation Programme, Proc. ICMC 1990,p.166-168
[Mulder95]	Alex Mulder: The I-Cube System: moving towards sensor technology for artists , School of Kinesiology, Simon Fraser University, Burnaby B.C., V5A 1S6 Canada. Online verfügbar: https://fas.sfu.ca/cs/people/ResearchStaff/amulder/personal/infusion/ISEA95.html
[Wagner96]	Bernhard Wagner et al.: Black-Box Reuse within Frameworks based on Visual Programming, Proc. ICMC 1990,p.166-168, Proc. of the 1st Component User's Conference, Munich, 1996. Online verfügbar: VisProgComponent.pdf
[Wagner97]	Bernhard Wagner: A Visual Programming Environment for Composing Interactive Performance Systems , Proc. ICMC 1997, Online verfügbar: ICMC97.pdf
[Zica95a]	David Zicarelli and Miller Puckette: Getting Started with MAX, Opcode Systems Inc., Palo Alto, California, 1995.
[Zica95a]	David Zicarelli and Miller Puckette: MAX Reference, Opcode Systems Inc., Palo Alto, California, 1995.