In seiner Funktionalität auf die Lehre in gestalterischen Studiengängen zugeschnitten... Schnittstelle für die moderne Lehre
There Is No Instrument In This Room
“There Is No Instrument In This Room” ist eine Projektarbeit, die innerhalb von drei Wochen im Rahmen des Soundscapes Kurses entstanden ist. Der Fokus liegt dabei darauf, verschiedene Objekte direkt mit den Controllern der Oculus Quest 2 interagierbar zu machen, mit dem Ziel, Musik oder Töne zu erzeugen. Es ist dabei nicht auf den ersten Blick ersichtlich, wie die verschiedenen Modelle auf die Interaktion reagieren, sodass die Nutzer*innen dazu angeregt sind, auszuprobieren und zu experimentieren.
Die Teamfindung erfolgte vollständig im Rahmen des Kurses über die freiwillige Möglichkeit, sich in zuvor kurz gepitchte Ideenslots eintragen zu lassen, bis die Maximalzahl an Teilnehmer*innen erreicht war.
Wir entschieden uns dazu, unser Projekt über Discord zu organisieren und darüber in Kontakt zu bleiben, um uns abzusprechen. Das Einfügen von Kommentaren in das Projekt half ebenfalls auf Kommunikationsbasis. Ansonsten erfolgten größere organisatorische Entscheidungen, Diskussionen, Aufteilungen und Ideenfindungen im Rahmen des Kurses selbst, der regelmäßig am Montag stattfand. Diese waren in der Regel auch produktiver und es war einfacher in einen Dialog zu kommen, um Lösungen und Schwierigkeiten in Person und vor Ort zu besprechen.
Die Arbeitsteilung erfolgte auf Basis dessen, was sich die einzelnen Teilnehmer*innen zutrauten und wo sie ihre persönlichen Stärken sahen. Modeling und Animation wurden beispielsweise von Scripting mit JavaScript getrennt verteilt. Dies wiederum führte zwar dazu, dass keiner überfordert werden konnte mit Arbeiten, die er sich nicht imstande sah zu erledigen, leider aber auch zu ungleicher Arbeitsverteilung.
Am folgenden Montag nach der Teamzusammenstellung trafen wir uns im Rahmen des Kurses erstmalig zur gemeinsamen Ideenfindung im Gruppenformat. Leider waren zu dem Zeitpunkt einige Mitglieder verhindert, die allerdings über das Geschehen über Discord informiert wurden. Wir erstellten ein Board auf miro mit dem Ziel, ungefiltert Ideen zu sammeln für ein spielerisches Projekt, in dem die Nutzer*innen mit einigen Frucht- oder Gemüseobjekten herumspielen könnten im VR-Raum und aus der Interaktion heraus Musik oder Töne erzeugten. Bei der Ideenfindung spielten auch bereits technische Restriktionen und Herausforderungen eine Rolle, so entschieden wir uns dazu, erst einmal low zu scopen und zwar viele Ideen niederzuschreiben, aber wenig Objekte im Endeffekt auszuwählen für das Projekt.
In einer folgenden Besprechung am nächsten Montag konnten wir noch einmal genauer festlegen, welche der vielen Ideen beim Brainstorming technisch so umsetzbar wären, dass sie auch nicht zu viel Zeit beanspruchen würden. Dabei wurde auch geklärt, wie viel Aufwand für Modeling und Animation betrieben werden müsste.
Wir legten uns anfangs auf drei Objekte aus dem Brainstorming fest:
- Kokosnusshälften, die aneinandergeführt Sounds erzeugen (ursprünglich wie bei einem Becken, das zusammengeschlagen wird)
- Blume, deren Blätter bei „Pusten“ (= in einer bestimmten Lage vor dem Viewport) begleitet von einem Trompetensound hinweggeblasen werden sollten über eine Animation
- Karotte, die quergelegt vor dem Viewport der Nutzer*in wie eine Flöte fungieren sollte
Der Hintergrund der Szene sollte über ein geladenes preset realisiert werden, wobei wir später aus Performancegründen auf ein 360°-Bild eines Waldes auswichen.
©Louis Edgar Tartz
(Screenshot aus unserem Miro-Board, gezeigt sind Brainstormingprozesse und -ideen sowie Gedanken zu technischen Limitierungen und Umsetzungsmöglichkeiten)
Zu Beginn bereiteten wir in A-Frame eine Szene vor, in der erstmal nur einige behelfsmäßige Modelle (sketchfab) von Gemüse und Obst als Prototypen geladen wurden, um zusammen mit einem preset die FPS zu testen. Dabei wurde uns schnell klaren, dass wir für eine bessere Performance sehr simple, low-poly Modelle benutzen müssten. Diese wollten wir selbst in Blender umsetzen, damit wir auch freien Animationsspielraum hätten.
Um die Objekte interagierbar zu machen (aufheben, werfen, bewegen mithilfe der Oculus Quest 2 Controller), recherchierten wir bezüglich einiger Lösungsvorschläge. Mehrere externe Scripte erschienen dabei als geeignet, um den Modellen Collision zu geben…
Letztendlich entschieden wir uns für die A-Frame Physics Extras Library. Diese bot eine Reihe an Physik Simulationen, die wir auf die Objekte in der Szene anwenden konnten.
Die eigentliche Funktionalität, mit verschiedenen Objekten Töne zu erzeugen, realisierten wir mithilfe der „sphere-collider“. Jedes Objekt, welches dazu vorgesehen war, Noten abzuspielen, erhielt einen Collider der auf die Kollision mit bestimmten Klassen achtete. Sobald ein Objekt mit der angegebenen Klasse den Collider schnitt, wurde ein Event abgefeuert.
Das Event nutzten wir, um eine Audiodatei abzuspielen. Dieser Prozess fand in einer separaten Funktion statt, die wir jedem Objekte, welche auch eine bestimmte Klasse zugewiesen bekam, als Attribute angehängt haben. Bei dem Aufruf des Attributs konnten wir eine Audiodatei als Parameter übergeben. So war es uns möglich, schnell unterschiedliche „Musikinstrumente“ erzeugen.
©Louis Edgar Tartz
Arbeiten von Louis:
Erste Gehversuche mit a-frame und Soundeinbettung. Das Hereinkommen in a-frame gestaltete sich relativ intuitiv, leider war mein Handy ein wenig schwach, was die Bildqualität der 360° Aufnahme anging, doch habe ich das Herumspielen noch ein wenig weitergetrieben und eine zweite Version gemacht, in der ich einen animierten Dinosaurier aus Sketchfab um den Viewport laufen ließ.
Arbeit von Maria
Für diese Aufgabe habe ich einige Bilder ausprobiert, die ich in der Gegend gemacht habe, um am Ende den Spielplatz auszuwählen, da ich da den für das 360° Format sehr geeignet fand.
Arbeit von Dimitri
Für die Erstellung einer 360°-Szene fotografierte ich die Plattform des Bahnhofs Ostkreuz in Berlin. Anhand des erstellten Fotos nahm ich verschiedene Geräuschquellen auf und ordnete diese in A-Frame der Szene zu.
Arbeit von Melvin
Für meine 360°-Szene befand ich mich auf einem Hügel in der Nähe der Klippen in Howth Dublin. Meine Geräuschquellen nahm ich anhand meiner Fotos, auch in der unmittelbaren Nähe der Szene auf.
Arbeiten von Louis:
Übung aus dem Unterricht (02.05.)
Der Einführungskurs zu JavaScript hat mir gut gefallen. Besonders nachvollziehbar war es dann, wenn die Studierenden selbst Code schreiben sollten, aufgrund dessen fand ich die Hausaufgabe zwar schwierig und herausfordernd, konnte dadurch aber durch „hands on“ Erfahrung wesentlich mehr mitnehmen und lernen. Mehr Unterrichtseinheiten und Übungen wie diese hätten mir gut gefallen mit darauf folgender, gemeinsamer Fehlerquellenanalyse im Code.
Arbeiten von Maria:
Übung aus dem Unterricht 02.05
Am 02.05 hatten wir einen Workshop zur „Random Skalierung“ und „Erstellung weiterer Entities“.
Entsprechend müssten wir eine Hausaufgabe dadurch vorbereiten, dass bei Berührung mit Gaze (Mouseenter - Event) die Position auf der Fläche (X- und Z-Achse) mit Zufallswert neu definiert wird. Die Y-Achse sollte allerdings einen statischen Wert erhalten.
Da meine Programmierkenntnisse nicht so fortgeschritten sind, habe ich mich an der Stelle mit Javascript Grundkenntnisse auseinandergesetzt, um darüber hinaus die Components von A-Frame und Parent/Child Transforms verstehen zu können. Dafür habe ich einnige Tutorials von dem Youtuber Danilo Pasquariello angeschaut, die ich generell für A-Frame ganz hilfreich fand.
Arbeiten von Dimitri:
In dieser Übung sollten sich die Studierenden mit den Grundlagen von JavaScript befassen. Dafür sollte anhand eines Mouse-Events ein „Cube-“ Objekt zufällig im Raum positioniert werden. Der Bereich, in dem das Objekt neu positioniert werden sollte, war begrenzt und die Y-Position sollte nicht verändert werden.
Da ich bereits fortgeschrittene Erfahrung in JavaScript besaß, stellte die Aufgabe keine größere Herausforderung dar.
Arbeiten von Melvin
Den Einführungskurs in Javascript fand ich persönlich sehr interessant und spannend. Ich konnte auch bisheriges Wissen durch den Kurs erweitern. Dadurch wurde mein Interesse am Programmieren wieder geweckt.
Die Hausaufgabe vom 09.05 bestand darin, durch ein Mouse-Event ein Cube Objekt random im Raum positionieren. Jedoch war die neue Positionierung begrenzt, da die y-Achse unverändert blieben sollte.
Ich fand die Hausaufgabe nicht allzu schwer, aber trotzdem interessant.
Arbeit von Louis:
In Figma erstelltes Mini-Referat zur Thematik der ersten Instrumente der Menschheit. Fünf interessante Objekte mit unterhaltsamer Trivia wurden dabei gewählt. Quellen sind in der PDF selbst gegeben.
Arbeit von Maria:
Für die Sound Prinzipien habe ich mir das Thema Sound Editing ausgewählt, wo ich hauptsächlich während meiner Recherche ganz viel über die Geschichte der Tonaufnahme mit Film bis zur Digitalisierung des Tons gefunden habe.
Arbeit von Dimitri:
Für den Vortrag beschäftigte ich mich mit den physikalischen Grundlagen für 3D-Audio und den technischen Herausforderungen in der Simulation von räumlichem Sound bei zwei naheliegenden Geräuschquellen (z.B. Kopfhörer)
Arbeit von Melvin:
Für den Vortrag beschäftigte ich mich Rhythmus. Dabei habe ich unter anderem über die rhythmische Gestaltung geredet, und zwar über die Grundlagen und Besonderheiten dabei. Ebenso darüber, was einen Rhythmus eigentlich ausmacht und beinhaltet.
Arbeit von Louis, Dimitri, Melvin und Andreas:
Bei der „atmosphärischen Loop Machine“ handelt es sich um das erste- und andere Gruppenprojekt (etwa 2 Wochen Arbeitszeit) aus dem Kurs. Das Projekt entstand auf Basis eines fortwährenden Sequenzers, der von den Dozenten vorgegeben- aber anpassbar war. Die Grundidee war dabei, über obskure Objekte wie Pilze, Sterne und Kristalle atmosphärische Klänge herzustellen. Ursprünglich sollten die Objekte selbst auch interagierbar sein, das sprengte allerdings den Rahmen.
Synth Arp Arbeit von Milan, Luka, Melina, Maria
Bei dieser Aufgabe müssten wir in einem Team einen Sound Sequenzer machen. Nachdem verschiedene Ideen gepitcht wurden war es für uns der Synth Arp. Fürs Endprojekt wurde ein Sequenzer erstellt, der beim Klicken jeder Fläche einen anderen Klang erzeugt.
Fachgruppe
WerkstattpraxisArt des Projekts
Studienarbeit im ersten Studienabschnitt
Zugehöriger Workspace
Soundscapes: Making Noise in WebXR!Entstehungszeitraum
Sommersemester 2022