Sonifikation
Sonifikation ist das Übersetzen von Information für das Hören, mit Ausnahme der Sprache selbst. Das einfachste Beispiel ist der Geigerzähler. Seit 1992 werden Sonifikationsmethoden systematisch erforscht (www.icad.org) und seit 2004 gab es auch in IEM-Projekten Neues zu hören: von Wahlergebnissen über Epilepsie-EEGs (www.sonenvir.at) bis zu komplexen Daten der Quantenchromodynamik oder CERN’schen Teilchenbahnen (www.qcd-audio.at).
Sonifikation ist als akustisches Analogon der Visualisierung ein innovativer Ansatz der Datenrepräsentation. Die Menge an Daten, die heute produziert werden, steigt ständig. Daher brauchen sowohl Wissenschaft als auch Gesellschaft neue Methoden, um damit umzugehen.
Die weltweite Sonifikations-Community hält jährlich eine große Konferenz zum Thema Sonifikation ab, die International Conference on Auditory Display (ICAD). Zu den aktuellen Forschungsthemen gehören Parameter-Mapping, Audifikation, Modell-basierte Sonifikation und ikonografische Darstellungen wie z.B. auditory icons (letztere kennt man vom Computer, wie z.B. der Klang einer „neuen Nachricht“ im Mailprogramm). Verschiedene Kombinationen dieser Methoden nutzen auf vielfältige Weise das Potential der menschlichen Wahrnehmungsfähigkeit und kognitiven Leistung. Wie ein Mechaniker den Motorklang analysiert, und eine Ärztin an den Lungengeräuschen auf Krankheiten schließt, könnten viele Disziplinen von den Fähigkeiten unseres Gehörs profitieren. Sonifikation erweist sich in der Wissenschaft als besonders geeignet für die Erstanalyse komplexer, dynamischer und mehrdimensionaler Daten.
Im Projekt SonEnvir – Sonification Environment arbeiteten unter der Führung des IEM erstmals WissenschafterInnen aller Grazer Universitäten zusammen, um Beispiele von Sonifikationen aus verschiedensten Wissenschaftsdomänen interdisziplinär zu erarbeiten. Daten aus der Soziologie, der Neurologie, der Physik und der Signalerarbeitung wurden sonifiziert, um damit der Hypothesenbildung in der jeweiligen Fachdisziplin neue Anreize zu liefern.
Im Fortsetzungsprojekt QCD-Audio stand die Computerphysik im Fokus. Aus Computermodellen entstehen komplexe, oft 4-dimensionalen Datensets, die nicht vollständig visualisierbar sind, aber von PhysikerInnen analysiert werden müssen. Die Sonifikation der Daten ermöglicht einen neuen Zugang – auch der interessierten Öffentlichkeit (z.B. in einer interaktiven Klanginstallation im Mumuth im November 2010). Weitere sonifizierte Daten der Physik stammten von Computermodellen des CERN, mit denen Bahnen von Elementarteilchen in einem Detektor im Nachhinein hörbar gemacht wurden.
Ein weiterer Schwerpunkt am IEM liegt in der Bewegungssonifikation. Mithilfe des Infrarot-Motion-Tracking Systems am Institut können Bewegungen in Echtzeit in Klänge übertragen werden. Das System wurde in Zusammenarbeit mit einem Privatkrankenhaus für RehabilitationspatientInnen verwendet. Sie bekamen direktes akustisches Feedback darüber, ob sie ihre Bewegung richtig ausführten, und erreichten damit in Pilotversuchen signifikant bessere Trainingsergebnisse, als die (stille) Kontrollgruppe. Sogar Jongliermuster wurden auf diese Weise am IEM schon verklanglicht. Hier gab die Sonifikation neben der multi-medialen Performance dem Jongleur Feedback über Regelmäßigkeit der Jonglierkeulen.
Gesammelte Erkenntnisse und erarbeitete Techniken fließen in laufende Forschungs- und Kunstprojekte ein.
