KI schwafelt Paper voll
Wissenschaft ertrinkt in flachen Abhandlungen mit teils erfundenen Quellen
Unter dem Druck, Ergebnisse publizieren zu müssen, lassen sich viele Forscher von Sprachmodellen beim Schreiben helfen. Die Zahl der Paper steigt, ihre inhaltliche Tiefe nimmt messbar ab. Die Spitze des Eisbergs sind erfundene Quellen.
Große Sprachmodelle können Autoren unterstützen und helfen inzwischen offenbar auch den meisten Forschern, Paper zu verfassen. Das führt aber dazu, dass sie mehr wissenschaftliche Paper veröffentlichen und diese dabei messbar inhaltlich verflachen. Diese Effekte konnte Claudine Gartenberg an der University of Pennsylvania in Philadelphia gemeinsam mit Kollegen der Duke University in Durham, der University of Oregon in Eugene und der Washington University in St. Louis nachweisen [1].
Zur Analyse verwendete die Gruppe um Gartenberg den KI-Text-Detektor Pangram. Sie gestehen in ihrer Arbeit ein, dass jedes statistische Werkzeug Fehler macht, wenn es einen Score für die KI-Autorenschaft von Texten ermittelt. Ihr Ziel war es nicht, einzelne Paper individuell als KI-generiert zu brandmarken, sondern über eine Vielzahl wissenschaftlicher Arbeiten einen allgemeinen Score für die KI-Herkunft zu aggregieren.
