KI prognostiziert Ergebnisse sozialwissenschaftlicher Experimente

„Dies ist die bislang sorgfältigste Studie ihrer Art, mit einem großen Archiv präregistrierter, repräsentativer Experimente und menschlicher Vergleichsprognosen. Die zentrale Korrelation von 0,85 zwischen den Vorhersagen des Sprachmodells und den Ergebnissen der Experimente entsteht jedoch im Vergleich sehr unterschiedlicher Studien. Sie zeigt vor allem, dass das Modell große von kleinen Effekten unterscheiden kann. Dort, wo Vorhersagen besonders wertvoll wären, fällt die Genauigkeit auf Korrelationen von 0,25 bis 0,4 ab – etwa bei der Auswahl von Interventionen. Außerdem werden die Effektstärken deutlich überschätzt. Die Studie benennt viele Einschränkungen selbst. Der Titel verspricht trotzdem mehr, als die Daten hergeben.“

„Es gilt zu berücksichtigen, dass der Durchschnitt von knapp 2700 Laien, die lediglich die Studientexte lasen, praktisch genauso treffsicher war wie GPT-4. Die Ergebnisse sagen damit womöglich weniger über künstliche Intelligenz als über die Vorhersagbarkeit vieler sozialwissenschaftlicher Umfrageexperimente.“

„Die Ergebnisse zeigen, dass sich die relative Größe von Behandlungseffekten überraschend gut aus den Studienmaterialien vorhersagen lässt. Sie zeigen nicht, dass das Modell einzelne Menschen oder Bevölkerungsgruppen abbildet: Aussagekräftig validiert sind nur Mittelwertsunterschiede über die Gesamtbevölkerung. Vorhersagen von Gruppenunterschieden, die im Preprint zur Studie standen, hatten eine Korrelation von nahe null mit den tatsächlichen Studienergebnissen.“

„Offen bleibt auch, ob wirklich neue Ergebnisse vorhergesagt wurden: Spricht die Studie von zum Zeitpunkt des KI-Trainings ‚unveröffentlichten‘ Studien, so bedeutet dies hier nur, dass kein Fachartikel und kein Preprint vorlagen. Designs, Hypothesen und teils erwartete Effektgrößen waren größtenteils über die öffentliche TESS-Webseite zugänglich. Vor allem kann die Studie nicht unterscheiden, ob das Modell menschliches Antwortverhalten simuliert oder wie ein extrem belesener Kollege aus Tausenden ähnlichen Studien interpoliert.“

„Möglich sind Vorhersagen, weil diese Modelle mit riesigen Mengen menschlicher Texte trainiert wurden. Darunter befanden sich unzählige Umfragen, Studien und Diskussionen darüber, wie Menschen auf Botschaften reagieren. Das Modell spielt auf dieser Basis einzelne hypothetische Befragte durch: Es erhält ein kurzes demografisches Profil, den Text einer Versuchsbedingung und die Frage und antwortet mit einer Zahl.“

„In der Studie stieg die Genauigkeit von Modellgeneration zu Modellgeneration deutlich an. Mit wachsenden Trainingsdaten dürften neuere Modelle weiter zulegen. Genau das verschärft allerdings das Kontaminationsproblem, denn immer mehr Studien landen samt ihrer Ergebnisse in eben diesen Trainingsdaten.“

„Die Autorinnen und Autoren betonen selbst, dass ihre Methode menschliche Studien ergänzen, nicht ersetzen soll. Geeignet ist der Ansatz damit als günstiges Screening-Werkzeug, um zum Beispiel vielversprechende Textbotschaften vorzusortieren oder Studien zu pilotieren. Nach aktueller Evidenz ist der Ansatz weniger geeignet für absolute Effektgrößen und damit weitestgehend für Poweranalysen (Analyse, wie groß eine Stichprobe sein muss, um die zu untersuchenden Effekte mit ausreichender Wahrscheinlichkeit nachweisen zu können; Anm.d.Red.), für Vorhersagen einzelner Bevölkerungsgruppen sowie für Feldexperimente und nicht textbasierte Interventionen. Bislang gelten die Ergebnisse zudem nur für US-amerikanische Umfrageexperimente mit Textstimuli, zumal die Modelle selbst Studien zufolge eher wie US-amerikanische Befragte antworten.“

„Die Chancen sind real: Solche Vorhersagen sind deutlich günstiger als die Erhebung menschlicher Daten. Richtig eingesetzt kann das die Forschung effizienter machen und den Fortschritt beschleunigen. Denn es lassen sich mehr Ideen vorab prüfen und knappe Mittel können in die vielversprechendsten Studien fließen. Zu den Risiken zählt, dass rein KI-generierte Befunde in die Literatur einsickern könnten, ohne je an Menschen geprüft worden zu sein.“

„Das größte Risiko ist aber begrifflich: die Verwechslung von ‚sagt Mittelwertsunterschiede vorher‘ mit ‚simuliert Menschen‘, denn für Letzteres liefert die Studie keinen Beleg.“

„Wie gelangt ein Sprachmodell (LLM) zu der Vorhersage eines Ergebniswertes für ein demografisches Profil? Ein LLM ist gut darin, die bisher in seinen Trainingsdaten vorliegenden Forschungsergebnisse zu synthetisieren. Zum Beispiel weiß es, dass eine 30-jährige Frau eher hohe Werte bei einer bestimmten Variable hat, ein 60-jähriger Mann eher niedrige. Auf Basis der bisherigen, dem Sprachmodell bekannten Forschung wird es entsprechend die synthetischen Daten erzeugen.“

„Damit ist klar: Von Sprachmodellen erzeugte synthetische Daten werden nur das bisher Bekannte reproduzieren. Üblicherweise will man aber mit Experimenten neues Wissen generieren. Das ist mit von Sprachmodellen generierten synthetischen Daten nicht möglich. Deshalb halte ich den Ansatz dieser Studie für nicht fruchtbar: neue Erkenntnisse können nur auf Basis ‚echter‘ Daten erzielt werden.“

„Sollten solche Ansätze in Zukunft häufiger eingesetzt werden, befürchte ich einen degenerativen Prozess: Mit synthetischen Daten werden Ergebnisse produziert, die dann wiederum in die Generation synthetischer Daten eingehen, die dann wieder Ergebnisse produzieren und so weiter.“

„Dies ist eine sehr wichtige Arbeit. Viele Forschende, darunter auch ich, haben sich seit der Veröffentlichung des Preprints darauf gefreut, die endgültige Fassung zu lesen. Sie liefert eine überzeugende Untersuchung darüber, wie große Sprachmodelle (LLMs) kausale Mechanismen von Menschen auf individueller Ebene nachbilden können. Die Ergebnisse werden die Grundlage für nützliche Anwendungen in der sozialwissenschaftlichen Forschung bilden, beispielsweise für die Wirkungsanalyse oder die Konzeption von Interventionen. Zudem sind sie ein wichtiger Beleg dafür, dass LLMs kausale Effekte im menschlichen Verhalten simulieren können. Dies wird neue Simulationen des menschlichen Verhaltens und der sozialen Interaktion ermöglichen, beispielsweise in sozialen Medien.“

„Die Methodik ist sehr überzeugend und es fällt schwer, sich Verbesserungen vorzustellen. Die Studie begann mit einer sehr umfassenden Reihe von Experimenten. In der neuesten Version sehen wir eine Erweiterung auf 15 Makrostudien, die die Ergebnisse noch überzeugender macht. In diesen Makrostudien ist die Korrelation zwischen den von den LLMs vorhergesagten Effekten und denen aus den tatsächlichen Experimenten geringer. Doch dies gilt auch für die Vorhersagen der Effekte durch Menschen, was zeigt, dass diese neue Versuchsreihe schwieriger vorherzusagen war.“

„Die Studie wandelt ein Experiment in eine Eingabe um, die an ein LLM übermittelt werden kann. Sie tut dies insbesondere für textbasierte Behandlungsvarianten wie Umfrageexperimente. Diese Eingabe enthält einige Informationen über den Teilnehmer, darunter demografische Daten und die Parteizugehörigkeit. Das LLM antwortet in einem Format, das ausgewertet werden kann, um den Effekt der Behandlungs- gegenüber den Kontrollbedingungen zu messen. Man kann nicht sagen, dass das LLM das Experiment simuliert. Vielmehr sind es die Wissenschaftler, die die Simulation aufsetzen und das LLM in den Mittelpunkt der Verhaltensänderung der Teilnehmer stellen. Dies ist sehr vielversprechend für die Simulation von Umfragen, insbesondere in Kombination mit weiteren Datenquellen. Ein Beispiel dafür ist Roberto Cerinas PoSSUm-Projekt, das Twitter- beziehunsgweise X-Daten nutzt, um Meinungsumfragen mit LLMs zu verbessern [1].“

„Die Studie zeigt, dass das, was wir von Menschen unter verschiedenen Versuchsbedingungen erwarten, den Ausgaben von LLMs ziemlich ähnlich ist. LLMs reagieren stärker auf die Versuchsbedingungen als Menschen, tun dies jedoch auf vorhersehbare Weise. Wenn man dies berücksichtigt, sind sie als Mittel zur Vorhersage des menschlichen Verhaltens nützlich.“

„Da LLMs während ihres Trainings keinen Zugang zu vielen der Versuchsergebnisse hatten, kann man mit Sicherheit davon ausgehen, dass sie die Effekte in zukünftigen Experimenten vorhersagen können. Ich denke, dies geht über die bloße Reproduktion bekannter Muster hinaus. Doch das Ausmaß der ‚Überraschung‘, die sie mit ihren Vorhersagen erzeugen können, muss noch getestet werden.“

„Eine weitere Einschränkung der Ergebnisse besteht darin, dass die Studien keine Heterogenität der Effekte aufzeigen konnten. Denn die Hauptstudien wiesen von vornherein keine signifikant unterschiedlichen Effekte in Bezug auf Geschlecht, ethnische Zugehörigkeit oder politische Einstellung auf. Somit ließ sich nicht untersuchen, ob die Sprachmodelle auch Unterschiede in den Effekten für Untergruppen reproduziert hätte.“

„Ich halte diesen Ansatz für sehr vielversprechend, da er den Kern einer wichtigen Frage trifft: Können LLMs kausale Mechanismen in menschlichem Verhalten reproduzieren? Einige Forschungsergebnisse zeigen, dass durchschnittliche Antworten aus Umfragen mit LLMs reproduziert werden können. Das ist der Fall, obwohl LLMs die Vielfalt individueller Antworten oft nur schlecht abbilden können. Diese Ergebnisse beziehen sich jedoch lediglich auf die Repräsentation der Durchschnittsantworten und sagen nichts über kausale Mechanismen aus. Die aktuellen Ergebnisse sind wichtig. Denn sie liefern eine Basis für weitere Arbeiten, die darauf abzielen, menschliches Verhalten mit LLMs zu modellieren. Die Chancen gehen also darüber hinaus, ausschließlich Umfragen zu simulieren. Ich sehe einen weitreichenden Einfluss dieser Arbeit auf weitere soziale Simulationen.“

„In meinem Team arbeiten wir beispielsweise an dem EU-Projekt ‚WHAT-IF‘. Darin simulieren wir Social-Media-Plattformen, um politische Entscheidungen zu unterstützen. So verfügen Regulierungsbehörden über eine ‚Sandbox‘ aus LLMs, die das Plattformverhalten realer Nutzender nachstellen, um verschiedene Vorschriften oder Eingriffe zu testen. Dass diese LLMs wie in echten Experimenten reagieren, ist wichtig, um solche sozialen Simulationen zu unterstützen.“

„Meiner Meinung nach können Sprachmodelle außerdem bei der Poweranalyse (Analyse, wie groß eine Stichprobe sein muss, um die untersuchten Effekte mit ausreichender Wahrscheinlichkeit nachweisen zu können; Anm.d.Red.) und anderen technischen Aspekten der Umfrage- und Versuchsplanung sehr hilfreich sein. Das kann viel Geld und Zeit sparen.“

„Allerdings wird es Herausforderungen bei der Anwendung auf sehr kontextabhängige Fragestellungen geben. Bei denen sind die LLMs möglicherweise nicht in der Lage, Verhalten zu extrapolieren. Auch könnten die verfügbaren Informationen falsch oder veraltet sein.“

„Als größtes Risiko sehe ich den übermäßigen Einsatz dieser Methode durch Sozialwissenschaftler. Aber ich denke, es wird genügend kritische Stimmen geben. Diese werden daran erinnern, dass es von grundlegender Bedeutung ist, reale Menschen bei solchen Fragestellungen zu berücksichtigen.“