Forschende der TU Berlin haben die Fähigkeit von ChatGPT getestet, korrekte Informationen über klimabezogene Themen zu liefern. Sie fanden heraus, dass die Antworten des Sprachmodells weitgehend korrekt sind, Fehler jedoch im Detail stecken.
Da im Zusammenhang mit dem Klimawandel im öffentlichen Diskurs und in den Medien nicht nur wissenschaftlich fundierte Informationen, sondern auch Fehlinformationen existieren, sammelte das Team des Forschungsprojekts „Green Consumption Assistant“, das einen KI-gestützten Assistenten entwickelt, der dabei unterstützt, nachhaltigere Kaufentscheidungen im Internet zu treffen, 95 Fragen zum Klimawandel und stellte sie der KI-Software.
ChatGPT liefert ausgewogene und nuancierte Argumente
Die Antworten darauf bewerteten die Forschenden hinsichtlich der Kriterien Genauigkeit, Relevanz und Widerspruchsfreiheit. Die Güte der Antworten prüfte das Team anhand öffentlicher und zuverlässiger Informationsquellen zum Klimawandel, wie dem aktuellen Bericht des Weltklimarats (IPCC).
„Wir haben beobachtet, dass ChatGPT ausgewogene und nuancierte Argumente liefert und viele Antworten mit einem Kommentar abschließt, der zur kritischen Prüfung ermutigt, um voreingenommene Antworten zu vermeiden“, berichtet Maike Gossen von der TU Berlin. So erwähnte die KI-Software in ihrer Antwort auf die Frage „Wie wird das Leben im Meer vom Klimawandel beeinflusst und wie können negative Einflüsse reduziert werden?“ nicht nur die Reduzierung von Treibhausgasemissionen, sondern auch die Reduzierung nicht-klimatischer Auswirkungen menschlicher Aktivitäten wie Überfischung und Verschmutzung.
Die Gesamtqualität der ChatGPT-Antworten auf die klimabezogenen Fragen war insgesamt hoch, so das Urteil. Bei den ungenau beantworteten Fragen wurde demnach der häufigste Fehler durch so genannte Halluzinationen von Fakten verursacht, also Tatsachenbehauptungen, die durch keine Quellen verifiziert werden können oder gar frei erfundene Aussagen aus frei erfundenen Quellen.
Zum Beispiel war die Antwort auf die Frage „Welcher Prozentsatz des recyclingfähigen Abfalls wird tatsächlich von Deutschland recycelt?“ in groben Zügen korrekt, aber nicht in den Details. In einigen Fällen generierte die KI falsche oder gefälschte Informationen wie erfundene Verweise oder gefälschte DOI- oder URL-Links. Weitere Fehler entstanden in Fällen, bei denen das Tool zwar konkrete und korrekte wissenschaftliche Quellen oder Literatur angab, aber falsche Schlussfolgerungen daraus zog.
Ungenaue Antworten haben oft einen plausibel klingenden Ton
Die Forschenden konnten auch beobachten, was bereits bekannt ist, nämlich dass auch die ungenauen Antworten des KI-Tools oft einen plausibel klingenden Ton haben und daher fälschlicherweise als korrekt wahrgenommen werden können. „Da Textgeneratoren wie ChatGPT darauf trainiert sind, Antworten zu geben, die sich für Menschen richtig anhören, kann der selbstbewusste Antwortstil Menschen dazu verleiten zu glauben, dass die Antwort korrekt ist“, so Maike Gossen.
Zudem stieß das Team auf in großen Sprachmodellen verwurzelte Vorurteile. So spiegelten einige der falschen Antworten gesellschaftliche Missverständnisse über wirksame Maßnahmen gegen den Klimawandel wider, wie etwa die Überbewertung von individuellen Verhaltensänderungen und Einzelmaßnahmen mit geringen Auswirkungen, auf Kosten von strukturellen und kollektiven Änderungen mit größerer Wirkung. Manchmal schienen die Antworten auch übermäßig optimistisch in Bezug auf technologische Lösungen als dem zentralen Weg zur Eindämmung des Klimawandels.
Sprachmodelle können Kommunikation über Klimawandel verbessern
Dennoch haben Sprachmodelle das Potenzial, die Art und Weise, wie Informationen über den Klimawandel kommuniziert werden, zu verbessern, so ein Fazit der Untersuchung. Ihre Fähigkeit, große Datenmengen zu verarbeiten und zu analysieren und leicht verständliche Antworten auf alltägliche Fragen zu liefern, könne sie zu einer wertvollen Informationsquelle zum Klimawandel machen. Gleichzeitig bestehe aber die Gefahr, dass Sprachmodelle falsche Informationen über den Klimawandel verbreiten und Fehlinformationen fördern, weil sie bereits veraltete Sachverhalte und Missverständnisse wiedergeben.
Zusammenfassend zeigt die Kurzstudie, dass die Überprüfung von Quellen in Bezug auf Umwelt- und Klimainformationen wichtiger sei denn je. Nur so könne sichergestellt werden, dass diese korrekt sind. Das Erkennen falscher Antworten erfordere jedoch häufig detailliertes Fachwissen im jeweiligen Themengebiet, gerade weil diese auf den ersten Blick plausibel erscheinen. Die Forschenden weisen auch darauf hin, dass der Energieverbrauch von Sprachmodellen und die Emissionen, die mit dem Training der Modelle einhergehen, vor jedem Anwendungsfall abgewogen werden sollten.
Foto: Sanket Mishra/Pexels
