Incom ist die Kommunikations-Plattform der Fachhochschule Potsdam

In seiner Funktionalität auf die Lehre in gestalterischen Studiengängen zugeschnitten... Schnittstelle für die moderne Lehre

Incom ist die Kommunikations-Plattform der Fachhochschule Potsdam mehr erfahren

Machine Learning and the Future of Interface Design

Machine Learning and the Future of Interface Design

Die hier dokumentierten Arbeiten sind im Fachorientierungskurs „Machine Learning and the Future of Interface Design“ bei Prof. Reto Wettach entstanden.

– Motivation und Erwartungen – Die Themensetzung des Kurses fand ich inhaltlich außerordentlich ansprechend. Ich selbst hatte erst im Rahmen der Information+ 2018 einige wenige konkrete Beispiele für ML kennengelernt – das Team von Google hat vorgeführt, wie ein Computer lernt, eine Acht zu lesen und Frösche von Flugzeugen zu unterscheiden – und wollte gerne mehr darüber erfahren.

storyboards: zukünftsentwürfe

Gleich mehrere Aufgaben im Kurs hatten das Abgabeformat eines Storyboards. Für mich persönlich war es das erste Mal, dass ich bewusst ein Storyboard entwickelt habe.

Spieglein, Spieglein

Reto hatte uns am Anfang eine Seite (https://editor.p5js.org/AndreasRef/sketches/BynhuHsqX)) genannt, auf der man mithilfe von kurzen Codes z.B. die Fotokamera seines Macs trainieren konnte, Bilder in bestimmten Situationen aufzunehmen und in anderen Situationen nicht zu fotografieren. Faszinierend simpel. Die Aufgabe war ein Anwendungsbeispiel in Form eines Storyboards zu entwickeln.

Meine Lösung bestand in einem smart mirror, der sich trotzig ausschaltet, wenn man umweltschädliche Produkte benutzt. Die Arbeit an diesem Mini-Projekt hat mir sehr viel Freude bereitet. Rückblickend kann ich sagen, dass es für mich die beste Aufgabe des gesamten Kursverlaufs gewesen ist.

machine_learning_incom_doku.jpgmachine_learning_incom_doku.jpg

ml_0.jpgml_0.jpg
ml_2.jpgml_2.jpg
ml_3.jpgml_3.jpg
ml_4.jpgml_4.jpg
ml_5.jpgml_5.jpg

Digitaler Supermarkt

Beim Digitalen Supermarkt ging es darum, ein Szenario für die Einkaufsmöglichkeiten in einer zukünftigen smart city zu entwickeln. Es ging darum Antworten zu finden auf Fragen wie: Wie kaufen wir in Zukunft Lebensmittel ein? Gehen wir in den Supermarkt oder kommt der Supermarkt zu uns?

Mein Lösungsansatz sah eine VR-Abbildung des lokalen Supermarkts vor, in den man entweder real einkaufen gehen kann oder in der VR-Version mit anschließender Lieferung in den Wohnkomplex. 

Darüber hinaus entwickelte ich die Idee eines ganzheitlichen KI-gestützten Systems, das über die Zahnbürste Gesundheitsdaten in konkrete Kaufempfehlungen umwandelte (z.B. mit dem Ziel der Gewichtsreduzierung).

machine_learning_incom_doku2.jpgmachine_learning_incom_doku2.jpg

knn-algorithmus

Im Kurs besprachen wir kurz Algorithmen als die Grundlage des ML. Reto erwähnte den sogenannten KNN-Algorithmus als einen der grundlegenden Algorithmen in diesem Fachgebiet. Da es im Kurs keine Mehrheit dafür gab, sich Algorithmen und deren konkrete Funktionsweise anzuschauen, programmierte ich gemeinsam mit einem befreundeten Programmierer einen KNN-Algorithmus in meiner Freizeit.

Die Arbeit an der Erstellung des Codes war für mich eine Offenbarung. Zu sehen und zu begreifen, wie menschliche Gedanken (Logik) in mathematische Formeln überführt werden, damit die Maschine sie auslesen kann, hat mich viel über die Funktionsweise einer künstlichen Intelligenz verstehen lassen. Die Maschine „sieht“ nicht die naheliegenden Punkte in der Fläche, sie berechnet sie, indem sie alle Punkte aufschreibt, speichert und der Größe nach sortiert. Es ist ein philosophischer Genuss in dieser Keimzelle der Intelligenz nach Impulsen zum Bewusstsein zu suchen.

machine_learning_incom_doku3.jpgmachine_learning_incom_doku3.jpg

referat: androiden

Unsere Referatsthemen konnten wir uns selbst geben. Von pragmatisch-angewandten über analytische bis zu philosophischen Themen war alles erlaubt.

Ich nutzte diese Freiheit einer Frage nachzugehen, die mich schon lange beschäftigt hat: Warum gestalten die Menschen Roboter sich selbst ähnlich? Der Mensch ist in keiner Weise perfekt außer vielleicht in der fatal-meschlichen Fehlbarkeit und der Fähigkeit zur Vergebung, doch das funktioniert in Literatur, jedoch nicht im Altenheim oder in Fukushima, wo Roboter vor schwere, repetitive Aufgaben gestellt sind. In Julia fand ich für das Thema eine tolle Mitstreiterin.

Die gefundene Antwort verblüffte mich in ihrer Schlichtheit, beinahe Banalität: Der Mensch ist für uns Menschen das perfekte Interface. Die Welt, in der wir leben haben wir für uns, um uns herum erschaffen. Und da wir uns darin am besten zurechtfinden, wollen wir das auch auf unsere Maschinen übertragen.

androiden_referat2.jpgandroiden_referat2.jpg
androiden_referat.jpgandroiden_referat.jpg

workshop: extended intelligence

Für unser gemeinsames Workshop-Thema haben sich Vanessa und ich die sogenannte extended intelligence (E.I.) herausgesucht, die Joi Ito vom MIT Media Lab der artificial intelligence (A.I.) als für die Menschen leichter anzunehmen gegenüberstellt. Knapp zusammengefasst soll die E.I. den Menschen befähigen anstatt ihn, wie es oft bei der A.I. den Anschein macht, ganz zu ersetzen.

Wir arbeiteten einzelne, aktuelle Projekte des MIT Lab in Kartenform auf und verteilten diese im Kurs. Anhand der Beispiele sollten sich die Kommilitonen überlegen, wie sie das Prinzip der E.I. auf ihr konkretes Produkt, Service, etc. anwenden können. Die Ergebnisse sollten sie in einer Vorher-Nachher-Zeichnung festhalten und präsentieren.

Für mein eigenes Projekt, den futuristischen Handwerker-Service werkmobil, entwickelte sich daraus eine Augmented Reality (AR) Brille, die dem Handwerker hilft, das Problem schneller zu analysieren.

machine_learning_incom_doku4.jpgmachine_learning_incom_doku4.jpg

critical design: werkmobil

Die abschließende Aufgabe des Kurses, war es, sich einen Service zu überlegen, der in einer nahen Zukunft spielt. Man sollte sich auch unbedingt die Datenquellen überlegen, aus denen sich der – heute noch futuristische – Service speisen könnte. Methodisch wurde die Ideenfindung und -umsetzung durch das double diamond Modell sowie das idea napkin begleitet.

Ich entwickelte das werkmobil System, ein KI-gestütztes Organisationssystem, das Freelance-Handwerkern hilft an Aufträge zu kommen und das Arbeitspensum, sowie die Einnahmen zu organisieren. Dabei war das Ziel den cognitive load des Users (hier: eines Handwerkers) so gering wie möglich zu halten, ganz den Ideen von Aaron Shapiro folgend („The Next Big Thing In Design? Less Choice“). Darüber hinaus fanden auch Ideen des Anticipatory Design von Joel van Bodegraven Eingang ins Konzept. Das Arbeiten mit theoretischen Texten im Kurs fand ich sehr bereichernd. Das Entwickeln des Konzepts eines futuristischen Service war lehrreich und hat Spaß gemacht. 

Weniger gut zurechtgekommen bin ich mit der Aufgabe die Idee zum Ende hin zu „radikalisieren“. Ganz im Sinne von Critical Design ging es darum den Service dystopisch zu überzeichnen und durch Provokation eine gesellschaftliche Debatte z.B. auf der Werkschau '19 zu initiieren. Diesen Schritt fand ich zu wenig begleitet und moderiert. Mir persönlich fehlten auch anschauliche Beispiele und Vorbildarbeiten, an denen ich mich hätte orientieren können bzw. woran ich hätte besser verstehen können, welchem Zweck die „Radikalität“ dienen soll. Zuspitzung und Überzeichnung sind grundsätzlich keine gestalterischen Mittel, zu denen ich greife, sodass dieser letzte Arbeitsschritt für mich eine negative Erfahrung war.

werkmobil_storyboard6.jpgwerkmobil_storyboard6.jpg
werkmobil_storyboard.jpgwerkmobil_storyboard.jpg
werkmobil_storyboard2.jpgwerkmobil_storyboard2.jpg
werkmobil_storyboard3.jpgwerkmobil_storyboard3.jpg
werkmobil_storyboard5.jpgwerkmobil_storyboard5.jpg
werkmobil_storyboard4.jpgwerkmobil_storyboard4.jpg

persönliches fazit

Wie anfangs erwähnt, fand ich die Themensetzung des Kurses außerordentlich gut. Das Außeinandersetzen mit theoretischen Texten und Design Methoden haben mir ebenfalls gut gefallen, zumal sie allesamt neu für mich waren und ich viel lernen konnte.

Rückblickend muss ich aber auch sagen, dass ich denk Kurs für mich persönlich zu wenig praktisch angewandt fand. Festzustellen, dass ML bereits heute „überall“ viel eingesetzt wird und „man“ karsse Sachen damit anstellen kann, ist ein Wert in sich, keine Frage, ich hätte gerne einige wenige Beispiele eingehend betrachten wollen. Wie genau funktioniert ein Algorithmus? Wer schreibt ihn nach welchen Vorgaben? Was sind die realen sozialen Konsequenzen, die daraus entstehen?

Optimistisch eingestellt, glaube ich aber, dass es an der FHP b estimmt weitere Interface-Kurse geben wird, in denen sich, die hier gelegten Grundlagen vertiefen lassen.

Ein Projekt von

Fachgruppe

Interfacedesign

Art des Projekts

Studienarbeit im ersten Studienabschnitt

Zugehöriger Workspace

Machine Learning and the future of Interface Design

Entstehungszeitraum

Sommersemester 2019

Keywords