KI im UX-Research · Recap des UX Meetup Bern

Vergangenen Dienstag fand das von UX Schweiz organisierte Meetup zum Thema „UX Research today: Will AI kill the human test users?“ statt.

Wir waren sehr froh, in unserem neuen Berner Büro Host für diesen tollen Event sein zu dürfen und geben euch einen kurzen Recap auf die Veranstaltung und die Insights.

Wie funktioniert User Research mit KI?

Mit OpenAI (der Firma hinter ChatGPT) hat künstliche Intelligenz längst auch im UX- und Research-Bereich Einzug gehalten.

SyntheticUsers.com bietet eine umfangreich und recht bequeme Lösung, um User Research komplett ohne Menschen durchzuführen. Dabei werden “synthetische” Interviewkandidaten auf Basis der eigenen Vorgaben erstellt.

Das Programm übernimmt nicht nur das Erstellen der Antworten der Interviewpersonen, sondern in einer vollautomatischen Version auch grad noch das Erstellen des Interviewleitfadens und der Fragen.

Was im althergebrachten UX-Research Tage dauert, braucht mit der Hilfe von AI nur noch Sekunden, kommt aber auch zu einem recht stolzen Preis. Ab $950 pro Jahr (für 20 Interviews pro Monat) geht der Preis für grössere Volumen auf bis zu $9,590 pro Jahr für 1000 Interviews pro Monat hoch. Dabei limitiert das Tool von SyntheticUsers.com das Interview Skript auf maximal fünf Fragen pro Interview.

Der Vergleich: KI vs. Menschen

In seinem sympathischen Talk präsentierte Reto eine Fallstudie, bei der die gleiche Interviewreihe einmal klassisch mit menschlichen Testpersonen von TestingTime und vergleichbar mit der rein AI-gestützen Variante von SyntheticUsers.com durchgeführt hat.

Die anschliessende Analyse und der Vergleich der beiden Ansätze und der daraus resultierenden Ergebnisse war eindeutig.

Stärken und Schwächen von KI-basiertem User-Research:

• Jedes synthetische Interview sagt das Gleiche mit anderen Worten. Menschliche Interviews bieten mehr Abwechslung.

• Menschliche Teilnehmer bieten viele kontextbezogene Einblicke (Familie, Freunde, Ehepartner, Kinder, usw.). Synthetische Benutzer sprechen nur über sich selbst.

• Synthetische Nutzer liefern interessante Beiträge, die wir von menschlichen Befragungen nicht gehört haben.

• Die Durchführung menschlicher Interviews dauert Tage, während synthetische Interviews nur Stunden dauern.

Während die klassische Interviewreihe mit echten Menschen zu den gewohnt teils diversen Antworten geführt hat, lieferten die Interviews mit der KI zu sehr kongruenten Resultaten – die Antworten glichen sich stark und wirkten mehr wie eine Kopie der Kopie (ein bekanntes AI-Problem).

Viele der durch die User Interviews generierten Insights glichen sich in beiden Methoden – hier ist KI also scheinbar bereits sehr akkurat. Einzelne Antworten fehlten jeweils in der einen oder der anderen Durchführung.

Insgesamt lieferten die Interviews mit den “synthetischen Usern” aber durchaus Insights, die die menschlichen Interviewpartner nicht nannten.

Wo kann KI im UX Research sinnvoll sein?

Reto's Fazit aus seinem Vergleich von AI-gestütztem und klassischem User Research und lautet, dass AI Tools wie SyntheticUsers.com klassischen User Research zwar nicht ersetzen, aber wertvolle Inputs liefern und uns extrem effizient machen können.

So kann künstliche Intelligenz Researcher*innen beispielsweise dabei unterstützen schnell und mit wenig Aufwand weitere Insights zu generieren und mittels Reverse-Engineering neue Fragestellungen zu entdecken.

KI stellt also (zumindest zum aktuellen Zeitpunkt) noch lange keine Bedrohung des klassischen Researchs dar.

Reto ermunterte aber dazu, KI-Tools als Inspiration zu nutzen, sie auszuprobieren, von ihnen zu lernen und ständig zu prüfen, wo sie uns unterstützen können und insbesondere deren Effizienz in unsere alltägliche Arbeit wo immer sinnvoll zu integrieren.

Über das Meetup

Insgesamt kamen über 50 interessierte Zuhörer*innen zum Talk in unserem neuen Berner Büro und blieben danach noch lange zur anschliessenden Diskussion und zum Networking bei Apéro und Bier. Der Austausch – nicht nur zum Thema des Talks oder UX Research – war sehr bereichernd.

Danke an Karolina und Natasha von UX Meetup Bern und an UX Schweiz für die Organisation und die tollen Stickers :)

UX meetup Bern veranstaltet regelmässig Talks wie diesen. Auf ihrer Meetup-Seite erfährst du alles weitere und kannst dich mit den über 800 Mitgliedern austauschen.