Von Robin Setzer und Florian Tress, Norstat
Seit einigen Jahren lässt sich ein Paradigmenwechsel bei der Gestaltung digitaler Interfaces beobachten. Etwas pointiert formuliert, müssen heute nicht mehr Menschen lernen, wie man einen Computer bedient, sondern Computer haben angefangen, unsere Sprache zu sprechen. Siri, Alexa und Co. sind erste kommerzielle Beispiele für die Umkehrung der Bringschuld bei der Mensch-Maschine-Interaktion.
Es wäre zwar verfrüht, bereits das Ende herkömmlicher Onlinefragebögen heraufzubeschwören, aber man tut sicherlich trotzdem gut daran, diesen wichtigen Trend im Auge zu behalten. Schließlich haben sich die Erhebungsmethoden der Marktforschung immer entlang der Medien entwickelt, die von den Zielgruppen genutzt werden. Steht nach Telefon-, Online- und Mobile- nun Chatbot-Forschung bevor?
Tatsächlich sind die technischen Barrieren für den Einsatz von Chatbots in der Forschung bereits denkbar gering. Bei der Forschungsmethode und ihrer Nutzbarmachung für den kommerziellen Einsatz steht die Marktforschung allerdings noch ziemlich am Anfang. Und obwohl die Technik mit Machine-Learning und Natural-Language-Processing bereits sehr weit ist, hat Norstat bislang nur mit regelbasierten Chatbots experimentiert, um kontrollierte Bedingungen für Methodentests zu bekommen.
Stark vereinfacht ausgedrückt identifizieren regelbasierte Chatbots Schlüsselwörter in der Eingabe des Nutzers und antworten dann nach einer festen Regel. Es ist möglich, mit unterschiedlichen Fragetechniken zu experimentieren, ohne die Kontrolle über das Gespräch vollends an einen Algorithmus abgeben zu müssen. Der Einsatz künstlicher Intelligenz erscheint auch erst dann sinnvoll, wenn man das Verhalten des Chatbots mit den Erkenntnissen aus der Grundlagenforschung seriös kalibrieren kann.
Kein Smalltalk, keine Witze
Die größte Herausforderung bei Chatbots in der Marktforschung besteht in der aktiven Gesprächsführung. Während die meisten Chatbots bislang nur auf Suchanfragen reagieren können, erfordert die Rolle eines digitalen Interviewers auch aktive Fähigkeiten. Er muss etwa entscheiden, ob er sich mit der Antwort des Nutzers zufrieden gibt, und die richtigen Folgefragen stellen.
In Studien haben die Teilnehmer zum Beispiel immer wieder versucht, die Gesprächsführung zu übernehmen – sei es als einfacher Small Talk, etwa mit der Frage “Wie geht es Dir?” oder mit der Suche nach versteckten Funktionen, beispielsweise der Aufforderung “Erzähl mir einen Witz!”. In diesen Fällen muss der Chatbot es irgendwie schaffen, den Fokus wieder auf das Interview zu lenken und den Teilnehmer charmant dazu zu bewegen, beim Thema zu bleiben. Es ist nicht hilfreich, wenn der Chatbot tatsächlich irrelevante Themen beherrscht. Daher sollte der Fokus der Konversation möglichst begrenzt sein.
Doch auch innerhalb der definierten Themen stoßen Chatbots immer wieder an ihre Grenzen und verstehen die Eingabe des Nutzers gar nicht oder falsch. Es ist der Komplexität von Kommunikation geschuldet, dass dieses Problem selbst zwischen Menschen nicht grundsätzlich gelöst werden kann. Umso wichtiger ist deshalb, dass das Scheitern von virtuellen Dialogen auf eine Art gelöst wird, die den Nutzer nicht demotiviert oder gar einen Gesprächsabbruch provoziert. Offensichtliche Probleme sollten direkt behoben werden, denn viele Nutzer stolpern an den gleichen Stellen. Das hat auch Konsequenzen für die Feldarbeit: Insbesondere zu Beginn einer Studie muss man die Konversationen kontinuierlich beobachten, um die Reaktionen des Chatbots immer weiter zu verfeinern.
Welche Persönlichkeit sollte ein Chatbot haben, um die Auskunftsbereitschaft des Befragten zu erhöhen? Hier hat sich gezeigt, dass ein neutraler, aber freundlicher Chatbot grundsätzlich die beste Wahl ist. Stark ausgeprägte Persönlichkeitszüge wie etwa kritisch oder lustig werden von vielen Teilnehmern schnell als unnatürlich empfunden. Allerdings konnten solche Chatbots bei einigen Teilgruppen auch genau das Gegenteil erreichen und mit der individuell richtigen Tonalität mehr Feedback erzielen.
Chatbots sorgen für Abwechslung
Wenn man diese einfachen Prinzipien beherzigt, kann das Feedback bei Chatbots um ein Vielfaches größer sein als in offenen Textfeldern und inhaltlich wesentlich mehr Aspekte eines Themas abdecken. Vor allem als abwechslungsreicher Bestandteil von Onlinefragebögen können Chatbots deshalb bereits heute ein guter Anwendungsfall sein.
Besonders geeignet sind Fragestellungen, die viele unterschiedliche Aspekte beinhalten, auf die der Chatbot mit weiteren Fragen reagieren kann, etwa “Was macht für Sie einen gelungenen Urlaub aus?”. Je nachdem, wie der Befragte antwortet, kann der Chatbot dann tiefer auf Hotel, Flug, Essen oder Sehenswürdigkeiten eingehen. Insofern besteht auch der erste Schritt im Design des Dialogbaums darin, mögliche Schlüsselwörter und dazu passende Vertiefungsfragen zu finden, etwa beim Thema Hotel: “Sie haben die Unterkunft genannt. Wie zufrieden waren Sie mit der Sauberkeit Ihres Hotels?”
Mit Chatbots können Forscher Themen wesentlich tiefer explorieren als mit offenen Textfeldern. Insofern ist auch die Datenqualität bei Chatbot-Befragungen häufig besser. Die Kehrseite ist eine kompliziertere Auswertung, da die Gespräche weniger linear verlaufen und schlecht vorhersehbar sind. Außerdem verwenden die Befragten häufig Slang, Dialekt oder chattypischen Abkürzungen. Und schließlich ergibt sich der Sinn mancher Aussagen erst aus dem Gesprächskontext, was die Codierung der Gespräche zusätzlich erschweren kann. Hier muss man sicherlich noch bessere Routinen finden.
Chatbots bieten ein wesentlich informelleres Interviewerlebnis für die Studienteilnehmer als klassische Onlinebefragungen. Die Befragten scheinen sich stärker zu öffnen und geben auch zwischen den Zeilen bereitwillig viel über sich und ihre Einstellungen preis. Unterm Strich sind die ersten Ergebnisse also sehr vielversprechend.
Regelbasierte Chatbots sind eine Brückentechnologie in die Zukunft. Am Ende dieser Entwicklung könnten sprachbasierte, digitale Interviewer stehen, die mit künstlicher Intelligenz selbständig eine optimale Gesprächssituation herbeiführen. Bis dahin ist es sicherlich noch ein langer Weg.
In einem nächsten Schritt versuchen wir von Norstat uns deshalb stärker an einer Kombination aus regelbasierten Chatbots und so genannten Quick-Reply-Chatbots, bei denen im Chatfenster geschlossene Antwortoptionen vorgegeben werden. So können quantitative Interviews irgendwann vollständig in einem Chat-Interface abgebildet werden. Die Kombination mit Text-to-Speech- und Speech-to-Text-Engines ist dann nur noch ein kleiner Schritt, ebenso eine mögliche Verwendung von Messenger-Diensten wie Facebook oder WhatsApp. Und vermutlich lohnt es sich dann auch irgendwann, über den Einsatz von Machine Learning und künstlicher Intelligenz nachzudenken.
Gegenwärtig gibt es aber noch viele andere Aufgaben, vor allem in der methodologischen Forschung. Wie funktionieren digitale Interviewer? Wie designt man die optimale Gesprächsführung? Welche Best Practices gibt es zu beachten? Und wie steht es mit der Datenqualität bei Chatbot-Interviews? Es sind solche Fragen, die uns bei Norstat interessieren und antreiben.
Dieser Artikel ist zuerst auf planung&analyse erschienen.