Zahlensalat (V): Allzweckwaffe Online-Umfragen
«Traue keiner Statistik, die du nicht selber gefälscht hast», lautet ein Bonmot, das – fälschlicherweise – Winston Churchill zugeschrieben wird. Fälschen ist heute gar nicht mehr nötig. Mit einer Online-Umfrage kann sich jeder das gewünschte Ergebnis gleich selbst zusammenstellen. Trotz struktureller Mängel sind Online-Umfragen nicht in jedem Fall nutzlos.
Wenn im Frühling der jährliche Global Drug Survey GDS veröffentlicht wird, stürzen sich die Medien aus aller Welt darauf. «Sex sells», heisst es in der Werbebranche. «Drugs do too», könnte man anfügen. Der britische «Guardian» tritt als Medienpartner des GDS auf, «Zeit Online» widmet der Studie eine ganze Artikelserie und das Schweizer Online-Newsportal «Watson» illustriert die Ergebnisse des GDS mit einer aufwändig gestalteten Kaskade von Infografiken. Und so wissen wissen wir nun, dass Magic Mushrooms die sicherste Droge sind, die Australier am häufigsten am Bong saugen und Schweizer Kiffer pro Tag vier Stunden high sind, wie das «20 Minuten» herausstrich.
In der Statistik kommt es nicht auf die Grösse, sondern auf die Repräsentativität an.
Die Erkenntnisse des Global Drug Surveys basieren auf einer Online-Umfrage in zwanzig vorwiegend westlichen Ländern. Teilnehmer werden über Social Media und Newsportale rekrutiert. Mitmachen kann, wer will. Rund 120’000 Personen waren es beim letzten Survey – eine beeindruckende Stichprobe. Doch in der Statistik kommt es nicht auf die Grösse, sondern auf die Repräsentativität an. Wenn ganz viele junge Kiffer an der Umfrage mitmachen, ist die drogenabstinente Oma deswegen nicht besser in der Stichprobe vertreten. Um seriöse Rückschlüsse auf die Gesamtbevölkerung ziehen zu können, müsste aber jede und jeder dieselbe Chance haben, an der Studie teilzunehmen. Ansonsten ist sie nicht repräsentativ.
Auch wenn sich der Global Drug Survey einen wissenschaftlichen Anstrich gibt, deklarieren die Autoren ihren Bericht als klar nicht-repräsentativ. Doch das hindert Redaktionen rund um den Globus nicht daran, die Ergebnisse so zu interpretieren. «Es ist problematisch, wenn Medien auf Grundlage des Berichts gewagte Aussagen zum Drogenkonsum machen», kommentiert Markus Meury von «Sucht Schweiz» den Umgang der Medien mit dem Survey. Für die Stiftung, die in der Suchtprävention tätig ist, hat die Umfrage nur einen limitierten Nutzen: «Für uns bietet vor allem die Möglichkeit, neue Trends im Partymilieu zu beobachten», sagt Meury. Rückschlüsse auf den Drogenkonsum der Gesamtbevölkerung oder Ländervergleiche seien aber nicht zulässig.
Wie alle Online-Umfragen krankt der Global Drug Survey an einer verzerrten Stichprobe. Solcher Mangel kann zu völlig falschen Schlüssen führen. Anderes Beispiel: Im US-Bundesstaat North Carolina wurde die Bevölkerung online gefragt, ob sie die Einführung der Sonntagsjagd befürworte. 55% der Umfrage-Teilnehmer bejahten. In der repräsentativen Telefonumfrage im gleichen Gebiet zur selben Zeit waren dann aber plötzlich 65% gegen die Sonntagsjagd. Offenbar mobilisierte die Online-Umfrage die Jäger in der Bevölkerung überdurchschnittlich.
Trotz struktureller Defizite sind Online-Umfragen nicht in jedem Fall nutzlos. Oft lässt sich damit der Puls fühlen oder ein Trend ausmachen. So setzt Tamedia das Instrument für Abstimmungs- und Wahlumfragen ein. Zwar sind auch so nicht alle Bevölkerungsgruppen gleichmässig vertreten, doch mittels Gewichtung wird die Stichprobe einem für die Schweizer Bevölkerung repräsentativen Sample angenähert. Kommt hinzu, dass das Medienunternehmen dank der grossen Reichweite seiner Titel die Möglichkeit hat, Umfrageteilnehmer aus allen Sprachregionen, Altersschichten und Bildungsniveaus zu erreichen. Auch wenn sie in einzelnen Fällen bis zu 16% danebenliegen, können es die Online-Umfragen von Tamedia mit den repräsentativen Telefonumfragen des Meinungsforschungsinstituts GFS Bern aufnehmen.
Es handelt sich hierbei allerdings um die berühmte Ausnahme der Regel: Online-Umfragen ohne breite Rekrutierung und ohne aufwändige Korrektur der Stichprobenverzerrung sind unwissenschaftlich. Doch aus Sicht der Urheber ist gerade die Schwäche von Online-Umfragen ihre grösste Stärke. Sie liefern nämlich zuverlässig jene Resultate, die sich die Autoren erhoffen. So fand die EU-freundliche «Neue Europäische Bewegung» Nebs diesen Frühling per Online-Umfrage heraus, «dass klare Mehrheiten eine offene Schweiz und eine Vertiefung der erfolgreichen Zusammenarbeit mit den europäischen Partnern wünschen.» In einer Online-Umfrage des St. Galler Tagblatts gab eine Mehrheit an, Zürich nicht so toll zu finden. Und die Rheumaliga Schweiz ihrerseits kam nach einer Internetbefragung zum Schluss, dass Rheuma zu spät behandelt werde.
In seiner Abschiedsrede von letztem Januar kritisierte US-Präsident Barack Obama, dass die Menschen in Blasen lebten nur noch Informationen konsumierten, die ihre eigene Meinung bestätigen. Er spielte damit natürlich auf Trump an. Für Leute, die nach Selbstbestätigung lechzen, sind Social Media und Online-Umfragen ein Segen. Für alle anderen gilt: «Traue keiner Online-Umfrage, die du nicht selbst durchgeführt hast.»
