Incom ist die Kommunikations-Plattform der Fachhochschule Potsdam

In seiner Funktionalität auf die Lehre in gestalterischen Studiengängen zugeschnitten... Schnittstelle für die moderne Lehre

Incom ist die Kommunikations-Plattform der Fachhochschule Potsdam mehr erfahren

Artificial Synesthesia

Artificial Synesthesia – Ein partizipativer Ansatz für visuelle Systeme mit generativem Design und multimedialem Input in Echtzeit zur Visualisierung von Live-Performances.

Getrieben von der Frage, wie kann externer multimedialer Input in Form von Daten, menschlicher Interaktion, Algorithmen und Storytelling die Wirkung von Kommunikationsdesign verändern, begibt sich die Arbeit auf eine Suche nach einem zeitgenössischen Designansatz, der auf das narrative potenzial von abstrahierten Bildern setzt. Im Kern dieser Design Praktik steht die Möglichkeit, externen multimedialen Input zu integrieren, um bestimmte Prozessaspekte hervorzuheben und dies zu nutzen, um neue Möglichkeiten zur Schaffung tiefgründiger Designkonzepte zu erproben. Der aufbereitete Input wird durch ein dynamisches visuelles System in TouchDesigner übersetzt. TouchDesigner ist eine Node basierte visuelle Programmiersoftware für Multimedia-Inhalte in Echtzeit. Anhand eines konkreten Use Cases werden die Bewegungen einer Tanz-Performance konzeptionell und gestalterisch in den Designprozess integriert, was die Schaffung sowohl statischer als auch bewegter visueller Erscheinungsbilder ermöglicht.

Abstract English

Driven by the question of how external multimedia input in the form of data, human interaction, algorithms and storytelling can change the impact of communication design, the thesis embarks on a search for a contemporary design approach that focuses on the narrative potential of abstract images. At the core of this design practice is the ability to integrate external multimedia input to highlight certain aspects of the process and use this to explore new ways of creating profound design concepts. The prepared input is translated by a dynamic visual system in TouchDesigner. TouchDesigner is a node-based visual programming software for multimedia content in real time. Based on a use case, the movements of a dance performance are conceptually and creatively integrated into the design process, which enables the creation of both static and moving visual appearances.

Artefakt_1.jpgArtefakt_1.jpg

Artefakt_2.jpgArtefakt_2.jpg

Live-Performance_1.jpgLive-Performance_1.jpg

BTS_Touchdesigner_Echtzeit_Network.gifBTS_Touchdesigner_Echtzeit_Network.gif

Proximity_FVS.jpgProximity_FVS.jpg

Mockup_1.jpgMockup_1.jpg

Mockup_2.jpgMockup_2.jpg

Mockup_3.jpgMockup_3.jpg

Fazit

Diese Masterarbeit hat sich zum Ziel gesetzt, die performative Essenz einer Live-Tanzperformance visuell zu interpretieren. Hierzu wurden bestimmte Aspekte der Performance in Echtzeit gemessen und dieser multimediale Input durch ein individuell konzipiertes visuelles System übersetzt und interpretiert. Dadurch können in Echtzeit interaktive und einzigartige visuelle Artefakte generiert werden, die sich von Performance zu Performance unterscheiden. Durch die Untersuchung und Anwendung Flexibler Visueller Systeme nach Dr. Martin Lorenz und deren Erweiterung um eine interaktive Dimension mit der Software TouchDesigner, konnte ein innovativer Ansatz für dynamische visuelle Systeme in Echtzeit erprobt werden.

Die theoretische Grundlage dieser Arbeit umfasste eine umfassende Literaturrecherche zur Entwicklung visueller Systeme sowie die Analyse relevanter Anwendungsfälle. Die Ergebnisse dieser Arbeit beleuchten das Potenzial generativer visueller Systeme, dynamische und komplexe visuelle Artefakte in Echtzeit zu liefern. Dies kann dazu beitragen, die Hürden für die Implementierung solcher Systeme zu senken und sie zugänglicher zu machen.

Jedoch gibt es auch Herausforderungen. Die wirtschaftlichen Aspekte und die Notwendigkeit, den langfristigen Mehrwert solcher systematischen Ansätze zu kommunizieren, sind bedeutende Hürden. Ebenso stellt der Umgang mit den Daten und die Notwendigkeit, diese zu filtern und zu kalibrieren, um sie sinnvoll in visuelle Systeme zu integrieren, eine weitere Schwierigkeit dar.

Die Bedeutung der Ergebnisse zeigt sich in der Diskussion um die Automatisierung durch Künstliche Intelligenz. Während diese die Designprozesse beschleunigen kann, besteht die Gefahr, dass die tiefgehende Auseinandersetzung mit den Details verloren geht. Es ist daher entscheidend, die neuen Tools dafür zu nutzen, um tiefere Designkonzepte zu entwickeln und nicht nur schnelle Lösungen zu liefern. Der hier erprobte Ansatz liefert, eine Möglichkeit Design Konzepte zu erarbeiten bei der Menschen und Künstliche Intelligenz sich gegenseitig ergänzen und tiefgreifende und komplexere visuelle Konzepte realisierbar werden, bei denen der Prozess ebenso spannend ist wie das Endergebnis.

Zukünftig sollte man sich darauf konzentrieren, die Hürden dieses Ansatzes weiter zu verringern und ihn attraktiver und zugänglicher zu machen. Es gilt, Wege zu finden, um die interaktive und performative Dimension visueller Systeme noch weiter zu optimieren und ihre Einsatzmöglichkeiten zu erweitern.

Abschließend möchte ich anmerken, dass die Kompetenz, die richtigen Fragen zu stellen und qualitativ zu bewerten, immer wichtiger wird, insbesondere im Vergleich zu oberflächlichen handwerklichen Fähigkeiten, da sich digitale Tools immer rasanter weiterentwickeln und verändern. Dies wird auch entscheidend sein für die Weiterentwicklung und Umsetzung komplexer visueller Systeme in Echtzeit.