Es lässt sich mit einigem Recht behaupten, dass unsere Branche ihre Datenqualität wie einen Fetisch verehrt. Wie bei allen Kulten haben sich jedoch auch hier im Laufe der Zeit die Symbole von ihrer ursprünglichen Bedeutung entfernt und führen ein merkwürdiges Eigenleben. So beschwören wir mit den immer gleichen Phrasen und Schlagwörtern formelhaft die Geister der Datenqualität: “Garbage in, garbage out!”, “Den schwarzen Schafen muss das Handwerk gelegt werden!” oder “Wir brauchen die Qualitätsdiskussion!”.
Wohl deshalb stößt man auch beim Durchstöbern von Institutswebseiten immer nur auf dieselben Gemeinplätze; echte Differenzierung über Datenqualität ist dagegen schwer bis unmöglich. Vielleicht kann man Datenqualität ja gerade noch ex post am konkreten Datensatz bemessen (zum Beispiel: “Wie hoch ist die Varianz bei der Matrix Q5?”), bei der Planung einer Studie ist dieses leere Gerede aber ein echtes Problem: Wer kann schon stichhaltig von sich selbst behaupten, gute Qualität zu liefern? Und wer in unserer Branche ist neutral genug, um glaubhaft für die Qualität seiner Kunden, Wettbewerber oder Lieferanten zu bürgen? Wer es mit Qualität wirklich ernst meint, wird hier wohl eher skeptisch bleiben.
Auch die Forderung nach einer strikten Einhaltung von Qualitätsstandards führt in eine Sackgasse, wenn damit Forschung nur auf einen gleichförmigen Prozess reduziert wird, in dem Studiendesigns vorgefertigt und Ergebnisse hochgradig erwartbar werden. Gute Forschung zeichnet sich nämlich immer von einem kleinen Element der Überraschung aus. “Da schau her, das hatte ich so nicht vermutet!” Insights, so könnte man im Anschluss definieren, sind eben jene strukturverändernden Elemente, die in der Business Intelligence einen Unterschied machen. Forschung dagegen, die nicht wenigstens ein bisschen überrascht, hätte man sich ebenso gut sparen können.
Vor diesem Hintergrund ist es spannend, einmal kurz über die Qualität von DIY-Forschung nachzudenken, denn allen Vorurteilen zum Trotz wird man wohl zwei Punkte anerkennen müssen: Erstens ist DIY-Forschung in Bezug auf die Einhaltung von Methodenstandards bei weitem nicht so schlecht wie ihr Ruf: Die meisten Survey Engines räumen Laien durch entsprechende Vorlagen typische Hindernisse aus dem Weg. Und bei Website- oder Kundenbefragungen ist nicht einmal mehr das Sample ein großes Problem. Zweitens findet gerade bei Laien Überraschung statt; selbst triviale Ergebnisse können hier verblüffen und zum Umdenken anregen. Insofern, aber auch nur insofern, ist DIY-Forschung tatsächlich häufig recht erfolgreich.
Denn gleichzeitig unterlaufen Laien Fehler, über die man als professioneller Forscher nur müde lächeln kann. Das betrifft erst einmal einfach nur den Grad an Erfahrung durch “learning by doing” – je mehr Routine man hat, desto weniger handwerkliche Fehler passieren noch. Immerhin, selbst als Profi lernt man nie aus! Jenseits dieses banalen Steigerungsverhältnis von praxiserprobtem Fachwissen haben Forscher jedoch eine Fähigkeit, die sich Laien nur schwer durch ausreichend Übung aneignen können. Mehr noch, ohne diese Fähigkeit ist die gesamte Praxiserfahrung vielleicht vom ersten Moment an fehlgeleitet, fragwürdig und damit wertlos. Man hält Dinge für wahr, die eigentlich falsch sind – und umgekehrt!
Die Rede ist vom kritischen Urteilsvermögen, genauer der Fähigkeit Überraschungen in den Daten richtig zuzurechnen. Spricht dieses merkwürdige Ergebnis nun wirklich für eine Tatsache in der Realität oder habe ich es hier nicht einfach nur mit einem Artefakt zu tun? Erfahrungsgemäß scheitern Hobbyumfragen eben nicht an Fragebogenerstellung oder Datenerhebung, sondern beim souveränen Umgang mit Überraschungen. Entweder werden Umfrageergebnisse leichtgläubig überschätzt (“Offenbar sind 100% unserer Kunden mit uns sehr zufrieden. Es gibt also keinen Handlungsbedarf!”), oder aber man begegnet ihnen mit übermäßigem Misstrauen (“Wir haben weniger als eintausend Interviews. Wir sollten den Ergebnissen keine Beachtung schenken”). Wissenschaftstheoretisch formuliert liegt die Wahrheit wohl irgendwo auf halbem Wege zwischen naivem Realismus und der radikalen Dekonstruktion unseres Erkenntnisvermögens. Nur, für das rechte Maß zwischen den beiden Extremen gibt es keine schnelle Anleitung auf YouTube, auf die man als Laie zurückgreifen könnte. Dafür muss man sein Urteilsvermögen fortlaufend und über viele Jahre am wissenschaftlichen Diskurs schärfen.
Und damit wieder zurück zum Thema. Eine makellose Datenqualität ist natürlich erstrebenswert, aber bei Licht betrachtet nicht besonders realistisch. Dafür sind all die Anforderungen und Kontexte unserer Projekte viel zu verschieden, denn jede Studie unterscheidet sich in ihren Fragestellungen, ihren Zielgruppen und ihrer Umsetzbarkeit. Übrigens können davon alle Kollegen aus dem qualitativen Bereich ein Lied singen, wo sich Forschung naturgemäß weniger standardisieren lässt. Wir sollten also langsam beginnen, uns von der fast schon fetischistischen Fixierung auf Datenqualität zu lösen.
Das ist dann freilich trotzdem kein Plädoyer für handwerkliche Schlamperei und es kann hier natürlich auch nicht darum gehen, unseren Begriff von Qualität zu verwässern oder dem persönlichen Gusto anheimzustellen. Ganz im Gegenteil! Vielmehr soll hier das kritische Urteilsvermögen des Forschers stark gemacht werden, um es der Datenqualität an die Seite zu stellen. Methodologische Standards und deren Bezweiflung sind nämlich zwei Seiten derselben Medaille: Ohne das Wissen darum, welchen Kriterien gute Forschung prinzipiell genügen muss, machen wissenschaftliche Zweifel gar keinen Sinn. Und ohne deren fortlaufende kritische Überprüfung verkommen unsere Maßstäbe für Qualität schnell zu einer leeren Formel, zum Gegenteil von Qualität selbst.
Und so bleibt am Ende ein Paradox stehen: Wer sich unkritisch und selbstgefällig auf Qualitätsstandards ausruht, wird echte Qualität nie erreichen können. Echte Qualität steckt nämlich nicht in den Daten, sondern in den Köpfen der Forscher, die damit arbeiten.
Dieser Artikel ist zuerst auf marktforschung.de erschienen.