Für wie glaubwürdig hält das Publikum algorithmischen Journalismus? Ein Experiment.
Immer öfter schreiben Softwareprogramme ganze Artikel. Noch weiss man wenig darüber, wie das Publikum solche Texte wahrnimmt. Eine Studie der Universität Zürich gibt erste Hinweise, wie es in der Schweiz um die Glaubwürdigkeit von algorithmisch generiertem Journalismus steht.
Am vergangenen Wochenende hatten Lena und Tobi wieder einmal viel zu tun. Die so benannte Textsoftware von Keystone-SDA, respektive Tamedia, produzierte Meldungen zu den nationalen Abstimmungen. Und das in einem Ausmass, wie es die grösste Redaktion mit den flinksten Mitarbeitenden nicht hätte leisten können.
Der Journalist aus Fleisch und Blut verfasst Textbausteine und die Software setzt die Komponenten zu einer Meldung zusammen.
So verfasste etwa Tamedia-Tobi Nachrichten, die auf das Abstimmungsergebnis jeder einzelnen Schweizer Gemeinde zugeschnitten waren. Unterzeichnet wurden die Texte mit dem Namen eines Redaktors, ergänzt um den Zusatz «mit Unterstützung von Automated Insights» – eine Firma, die sich unter anderem auf die Programmierung von Software für algorithmischen Journalismus spezialisiert hat. Der Journalist aus Fleisch und Blut verfasst Textbausteine und die Software setzt die Komponenten zu einer Meldung zusammen.
Wichtig für Medienunternehmen ist, dass Leser ihre Marke und ihre Publikationen als glaubwürdig wahrnehmen. Somit stellt sich die Frage: Was halten die Leserinnen und Leser von dieser neuen Art der automatischen Textproduktion?
Eine Studie, welche die Autoren dieses Beitrags an der Universität Zürich durchgeführt haben, hat untersucht, wie glaubwürdig das Publikum computergenerierte Artikel zu politischen Themen wahrnimmt. Untersucht haben sie ausserdem die Frage, welchen Einfluss die persönliche Wahrnehmung von Computern hat (Studien zeigen, dass der Computer eine bestimmte Heuristik bewusst oder unbewusst auslösen kann, wodurch der Computer objektiver und verzerrungsfreier als Menschen wahrgenommen wird, beispielsweise in der Auswahl von Nachrichten). Ebenfalls untersucht wurde mit der Studie, ob die politische Orientierung sowie die individuelle Technikaffinität einen Einfluss darauf hat, wie glaubwürdig Leser einen Autoren und Inhalt wahrnehmen.
Die Ergebnisse der Untersuchung zeigen, dass Leserinnen und Leser menschliche Autoren generell als glaubwürdiger wahrnehmen als Computer.
In der experimentellen Untersuchung haben die Autoren jedem der 221 Studienteilnehmern, mehrheitlich Studentinnen und Studenten der Universität Zürich, einen Artikel zu entweder einem polarisierenden Thema (Klimawandel) oder einem nicht-polarisierenden Thema (die Volksinitiative «Energie- statt Mehrwertsteuer» aus dem Jahr 2015) vorgelegt.
Im Experiment haben die Probanden nur den Text gesehen, ohne Hinweise auf die ursprüngliche Publikation. Um Unterschiede zwischen Mensch und Computer testen zu können, wurde die Autorenangabe am Artikel manipuliert, d.h. es stand jeweils entweder der Name der Journalistin (wie in den Originalartikeln) oder «Computergenerierter Artikel» als Autorenangabe. So entstanden vier Experimentalgruppen: zwei verschiedene Artikel mit jeweils unterschiedlichen Autoren.
Beide Artikel beinhalten Prognosen basierend auf vorliegenden Daten: Beim einen sind es Daten über den weiteren Verlauf des Klimawandels, beim anderen die Ergebnisse einer SRF-Befragung im Vorfeld der Abstimmung der Volksinitiative «Energie- statt Mehrwertsteuer». Die beiden Artikel wurden gewählt, weil für algorithmischen Journalismus Daten notwendig sind, aus welchen der Algorithmus die Informationen holt und den Text produziert.
Die Ergebnisse der Untersuchung zeigen, dass Leserinnen und Leser menschliche Autoren generell als glaubwürdiger wahrnehmen als Computer. Handelt es sich allerdings um ein polarisierendes Thema, gilt offenbar die Textsoftware als glaubwürdiger. Die Resultate zeigen, dass die Leser den als computergeneriert bezeichneten Artikel zum Klimawandel als glaubwürdiger, korrekter, fakten-basierter und objektiver wahrgenommen haben als denselben Artikel mit der Journalistin als Autorin. Leser scheinen demnach eine Verzerrung durch Journalisten zu befürchten, die bei Computern nicht vorliegt. Unterschiede finden sich auch zwischen Nutzern verschiedener Medienmarken. Leser der «Neuen Zürcher Zeitung» bevorzugen Journalisten als Autoren, während «Blick»- und «20 Minuten»-Leser Computer für die glaubwürdigeren Autoren halten.
Technikaffine sowie politisch rechts orientierte Personen halten Computer für glaubwürdiger als technikaverse oder links orientierte Personen.
Welche möglichen Auswirkungen könnten diese Resultate auf die journalistische Praxis in der Schweiz haben? Gerade bei kontroverseren und emotionaleren Themen könnte sich der Einsatz von algorithmischem Journalismus lohnen, da Leser computergenerierte Artikel als weniger meinungsverzerrt wahrnehmen. Zudem hat sich gezeigt, dass technikaffine sowie politisch rechts orientierte Personen Computer für glaubwürdiger halten als technikaverse oder links orientierte Personen. Medienunternehmen mit einem Publikum, das diese Eigenschaften teilt, könnten also mit dieser Form des Journalismus experimentieren, ohne grosse Glaubwürdigkeitsverluste zu fürchten. Sein Publikum gut zu kennen, bleibt eine wichtige Voraussetzung – auch für den Einsatz von algorithmischem Journalismus.
Unsere Studie gliedert sich in ein noch junges Forschungsfeld ein. Die erste vergleichbare Studie wurde 2014 durchgeführt. Es folgten in den letzten Jahren fünf weitere Studien, etwa in Deutschland und den USA an. Sie verwendeten jeweils unterschiedliche experimentelle Forschungsdesigns, um die Glaubwürdigkeit von und das Vertrauen in automatisierte Textproduktion zu testen.
Insgesamt zeigen alle Studien, dass es Unterschiede zwischen computergenerierten Artikeln und Artikeln von Journalisten im Hinblick auf ihre Glaubwürdigkeit gibt, sehr oft sind diese aber eher klein. Wie auch unsere Studie zeigen die Vorgängerstudien, dass Leserinnen und Leser Journalisten als Autoren tendenziell als glaubwürdiger wahrnehmen. Während die Vorgängerstudien jedoch primär die Sport- und Finanzberichterstattung analysiert hatten, haben die Autoren erstmals die Glaubwürdigkeit von algorithmischem Journalismus in der politischen Berichterstattung untersucht.
