KI: Warum wir große Sprachmodelle nicht wie Menschen behandeln sollten

Inhaltsverzeichnis

Als Taylor Webb Anfang 2022 mit GPT-3 herumspielte, war er überwältigt von dem, was das große Sprachmodell (Large Language Model, LLM) von OpenAI zu leisten schien. Denn es handelte sich ja schließlich nur um ein neuronales Netzwerk, das darauf trainiert war, das nächste Wort in einem Textblock vorherzusagen – eine Autovervollständigung auf Speed, sozusagen. Und doch gab das LLM auf viele der abstrakten Aufgaben, die Webb ihm stellte, die richtigen Antworten, so wie das auch bei einem IQ-Test der Fall wäre. "Ich war wirklich schockiert von der Fähigkeit, diese Probleme zu lösen", sagt der Wissenschaftler. "Das LLM hat praktisch alles, was ich für mich vorhergesagt hatte, auf den Kopf gestellt."

Webb ist Psychologe an der University of California in Los Angeles und erforscht, wie Menschen und Computer abstrakte Probleme lösen. Er war daran gewöhnt, neuronale Netze herzustellen, die mit speziellen Fähigkeiten ausgestattet waren. Aber GPT-3 schien diese Eigenschaften quasi umsonst gelernt zu haben. Im Juli veröffentlichten Webb und seine Kollegen dann schließlich einen Artikel im Journal Nature, in dem sie die Fähigkeit von GPT-3 beschrieben, eine Reihe von Tests zu bestehen, die eigentlich für Menschen gedacht waren. Sie sollen bewerten, ob der Proband in der Lage ist, Analogien zur Lösung von Problemen zu verwenden. Bei einigen dieser Tests schnitt GPT-3 besser ab als eine Gruppe von Studenten. "Analogien sind ein zentrales Element des menschlichen Denkens", sagt Webb. "Wir gehen davon aus, dass sie eine der wichtigsten Eigenschaften ist, die jede Art von maschineller Intelligenz aufweisen müsste."

Webbs Forschungsergebnisse sind nur die jüngsten in einer langen Reihe bemerkenswerter neuer Methoden, die von großen Sprachmodellen angewandt werden können. Als OpenAI beispielsweise im März den Nachfolger von GPT-3, GPT-4, vorstellte, veröffentlichte das Unternehmen eine beeindruckende Liste von beruflichen und akademischen Prüfungen, die sein neues großes Sprachmodell angeblich mit Bravour bestanden hat – darunter einige Dutzend Highschool-Tests und Anwaltsprüfungen in den USA. Etwas später arbeitete OpenAI dann mit Microsoft zusammen, um zu zeigen, dass GPT-4 Teile der "United States Medical Licensing Examination" bestehen kann, einen zentralen Test für die Zulassung von Medizinern. Einige Forscher glauben zudem, dass große Sprachmodelle längst auch Tests bestehen können, die darauf abzielen, bestimmte kognitive Fähigkeiten beim Menschen zu ermitteln – vom schrittweisen Durcharbeiten eines Problems bis zur sogenannten Theory of Mind, dem Erraten, was andere Menschen denken.

Diese Art von Ergebnissen nährte Schlagzeilen, in denen vorhergesagt wurde, dass KIs bald Lehrer, Ärzte, Journalisten und Anwälte ersetzen könnten. Der berühmte KI-Forscher Geoffrey Hinton nannte die Fähigkeit von GPT-4, scheinbar vernünftige Gedanken aneinanderzureihen, als einen der Gründe, warum er jetzt Angst vor der Technologie hat, deren Vater er ist. Aber bei all dem Wirbel gibt ein Problem: Es besteht wenig Einigkeit darüber, was diese Ergebnisse wirklich praktisch bedeuten. Einige Beobachter lassen sich blenden von dem, was sie als Schimmer menschenähnlicher Intelligenz sehen, andere sind überhaupt nicht überzeugt von dem, was ChatGPT und Co. leisten. "Es gibt mehrere kritische Punkte bei den derzeitigen Bewertungstechniken für große Sprachmodelle", sagt Natalie Shapira, Informatikerin an der Bar-Ilan-Universität im israelischen Ramat Gan. "Sie erwecken die Illusion, dass sie über größere Fähigkeiten verfügen, als wirklich vorhanden sind."

Offen für Interpretationen

Aus diesem Grund möchte eine wachsende Zahl von Forschern – Informatiker, Kognitionswissenschaftler, Neurowissenschaftler und Linguisten – die Art und Weise überarbeiten, wie LLMs bewertet werden. Sie fordern eine strengere und umfassendere Bewertung der Systeme. Einige gehen davon aus, dass die Praxis, Maschinen in menschlichen Tests zu bewerten, schlichtweg falsch ist und abgeschafft gehört. "Seit den Anfängen der künstlichen Intelligenz werden Maschinen mit Intelligenztests für den Menschen, etwa für den IQ, bewertet", sagt Melanie Mitchell, Forscherin für künstliche Intelligenz am Santa Fe Institute in New Mexico, die als Kritikerin des KI-Hypes gilt. "Die Frage ist immer, was es bedeutet, wenn man eine Maschine auf diese Art testet. Es bedeutet eben nicht das Gleiche wie bei einem Menschen."

"Es kommt zu einer Menge Anthropomorphisierung", kritisiert die Forscherin. "Und das färbt auf die Art und Weise ab, wie wir über diese Systeme denken und wie wir sie testen." Da Hoffnungen wie Befürchtungen in Bezug auf die KI-Technologie so groß sind, ist es von entscheidender Bedeutung, dass die Menschheit einen soliden Überblick darüber bekommt, was LLMs wirklich leisten können und was nicht. Die meisten Probleme bei der Überprüfung solcher Systeme lassen sich auf die Frage zurückführen, wie die Ergebnisse interpretiert werden sollten.

Bei Verfahren, die für Menschen konzipiert wurden – etwa Schulprüfungen und IQ-Tests – wird eine Menge als selbstverständlich vorausgesetzt. Wenn Menschen gut bei solchen Tests abschneiden, kann man davon ausgehen, dass sie über das Wissen, das Verständnis beziehungsweise die kognitiven Fähigkeiten verfügen, die mit dem Test gemessen werden sollen. In der Praxis bleibt das allerdings nur eine Annahme: Akademische Prüfungen spiegeln nicht immer die wahren Fähigkeiten der Lehrenden wider. Und IQ-Tests messen zwar eine bestimmte Reihe von Fähigkeiten, aber nicht die allgemeine Intelligenz. Hinzu kommt: Solche Tests begünstigen schlicht Menschen, die in solchen Tests gut sind.

Wenn nun ein großes Sprachmodell bei solchen Tests gut abschneidet, stellt sich die Frage, ob überhaupt klar ist, was gemessen wurde. Ist ein gutes Testergebnis ein Beweis für tatsächliches Verständnis in die Materie? Handelt es sich vielleicht um einen sinnlosen statistischen Trick? Wird nur auswendig Gelerntes (also von der KI im Modell erfasstes) wiedergekäut?

Ein Verständnis der tatsächlichen Welt

"Die Entwicklung von Methoden, um den menschlichen Verstand zu überprüfen, ist von einer langen geschichtlichen Entwicklung geprägt", meint Laura Weidinger, leitende Wissenschaftlerin bei der Google-KI-Tochter DeepMind. "Angesichts der Tatsache, dass große Sprachmodelle Texte produzieren, die so menschenähnlich erscheinen, erscheint es verlockend, anzunehmen, dass Tests der menschlichen Psychologie auch hier nützlich sind." Aber das stimme nicht: "Diese beruhen auf vielen Annahmen, die auf große Sprachmodelle möglicherweise nicht zutreffen."

Webb ist sich der Probleme bewusst, in die er hineingeraten ist. "Ich teile die Annahme, dass das schwierige Fragen sind", sagt er. Er räumt ein, dass GPT-3 bei einigen Tests zwar besser abschnitt als die Studenten, bei anderen jedoch "absurde" Ergebnisse erzielte. So fiel das LLM beispielsweise bei einer Version eines Tests zum analogen Denken in Bezug auf physische Objekte durch, den Entwicklungspsychologen manchmal bei Kindern durchführen. Webb und seine Kollegen gaben GPT-3 eine Geschichte über einen magischen Flaschengeist vor, der Juwelen zwischen zwei Flaschen hin- und herschiebt. Dann fragten sie, wie man Kaugummikugeln von einer Schale in eine andere verschieben könnte, wobei man Objekte wie Plakatkarton oder ein Papprohr verwenden sollte. Die Idee dahinter war, dass die zuvor erzählte Geschichte einen Hinweis auf die Lösung des Problems gibt. "GPT-3 schlug meist ausgeklügelte, aber mechanisch unsinnige Lösungen vor, mit vielen überflüssigen Schritten und ohne einen klaren Mechanismus, wie die Kaugummikugeln zwischen den beiden Schalen transferiert werden sollten", schreiben die Forscher in der Nature-Studie.

"Das ist eine Sache, die Kinder leicht lösen könnten", sagt Webb. Sein Fazit: "Problemstellungen, bei denen diese Systeme wirklich schlecht sind, sind in der Regel Dinge, die ein Verständnis der tatsächlichen Welt voraussetzen, wie die Grundlagen der Physik oder soziale Interaktionen." Für Menschen seien die selbstverständlich. Wie können wir also mit einer Maschine umgehen, die zwar die Anwaltsprüfung besteht, aber in der Vorschule durchfällt? Große Sprachmodelle wie GPT-4 werden anhand einer großen Anzahl von Dokumenten aus dem Internet trainiert: Bücher, Blogs, Fan-Fiction-Websites, technische Berichte, Beiträge in sozialen Medien und vieles mehr. Es ist wahrscheinlich, dass dabei eine Menge bestandener Prüfungsarbeiten gleichzeitig eingesaugt wurden. Eine Erklärung wäre, dass Modelle wie GPT-4 so viele berufliche und akademische Prüfungen in ihren Trainingsdaten gesehen haben, dass sie gelernt haben, die Antworten automatisch zu vervollständigen.

Und tatsächlich: Viele dieser Tests – Fragen und Antworten – sind online, sagt Webb. "Viele der Informationen sind mit ziemlicher Sicherheit in den Trainingsdaten von GPT-3 und GPT-4 enthalten, daher denke ich, dass wir nicht sehr viel daraus schließen können." OpenAI gibt allerdings an, dass man überprüft habe, dass die Tests, die GPT-4 vorgelegt wurden, keinen Text enthielten, der auch in den Trainingsdaten des Modells vorkam. Und bei seiner Kooperation mit Microsoft im Zusammenhang mit den Medizinerprüfungen hat OpenAI extra hinter einer Paywall versteckte Testfragen verwendet, um sicherzugehen, dass die Trainingsdaten von GPT-4 diese nicht enthielten. Allerdings: Solche Vorsichtsmaßnahmen sind nicht narrensicher. GPT-4 könnte immer noch Fragen und Antworten beim Training gesehen haben, die ähnlich waren, wenn nicht sogar exakt übereinstimmten.

Können die Modelle neue Arten von Problemen lösen?

Als Horace He, Ingenieur im Bereich maschinelles Lernen, GPT-4 mit Fragen von Codeforces konfrontierte, einer Website, die Programmierwettbewerbe veranstaltet, stellte er Erstaunliches fest. GPT-4 erzielte bei Tests, die vor 2021 veröffentlicht wurden, 10 von 10 möglichen Punkten. Bei solchen, die nach 2021 veröffentlicht wurden, kamen 0 von 10 Punkten heraus. Auch andere Forscher haben festgestellt, dass die Testergebnisse von GPT-4 bei Material, das nach 2021 erstellt wurde, einbrechen. Da die Trainingsdaten des Modells nur Text enthielten, der vor 2021 gesammelt wurde, deute dies auf eine Art Auswendiglernen der KI hin – und nicht auf tatsächliche Intelligenz.

Um dieses Problem in seinen Experimenten zu vermeiden, hat Webb deshalb von Grund auf neue Testarten entwickelt. "Was uns wirklich interessiert, ist die Fähigkeit dieser Modelle, neue Arten von Problemen zu lösen", sagt er.

Webb und seine Kollegen adaptierten daher eine Testmethode für analoges Denken, die sogenannten Raven's Progressive Matrices. Diese Tests bestehen aus einem Bild, das eine Reihe von neben- oder übereinander angeordneten Formen zeigt. Die Herausforderung besteht darin, das Muster in der gegebenen Reihe von Formen zu erkennen und es auf eine neue Reihe anzuwenden. Raven's Progressive Matrices werden zur Bewertung des nonverbalen Denkens sowohl bei Kleinkindern als auch bei Erwachsenen verwendet und sind in IQ-Tests weit verbreitet.

Anstatt Bilder zu verwenden – die neuere LLMs mittlerweile erfassen könnten –, kodierten die Forscher Form, Farbe und Position in Zahlenfolgen. Dadurch wurde sichergestellt, dass die Tests nicht in den Trainingsdaten vorkommen, sagt Webb: "Ich habe diesen Datensatz von Grund auf neu erstellt." Er selbst kenne solch eine Testweise bislang nicht.

Ein Funken künstlicher allgemeiner Intelligenz

KI-Expertin Mitchell ist von Webb's Arbeit durchaus beeindruckt. "Ich fand diese Arbeit sehr interessant und herausfordernd", sagt sie. "Es ist eine gut gemachte Studie." Aber sie hat auch Vorbehalte. Mitchell hat ihren eigenen Test für analoges Denken namens ConceptARC entwickelt, der kodierte Folgen bestimmter Formen aus dem ARC-Datensatz ("Abstraction and Reasoning Challenge") des Google-Forschers François Chollet verwendet. In Mitchells Experimenten schneidet GPT-4 schlechter ab als Menschen.

Mitchell weist auch darauf hin, dass die Kodierung der Bilder in Zahlenfolgen (oder Matrizen) das Problem für das Programm vereinfacht, da der visuelle Aspekt des Rätsels wegfällt. "Das Lösen von Zahlenmatrizen ist nicht gleichzusetzen mit dem Lösen von Raven's", sagt sie. Die Leistung von großen Sprachmodellen ist zudem brüchig. Bei Menschen kann man davon ausgehen, dass jemand, der in einem Test gut abschneidet, auch in einem ähnlichen Test gut abschneidet. Bei großen Sprachmodellen ist das nicht der Fall: Eine kleine Änderung kann aus einer Einser-Note eine Sechs machen.

"Im Allgemeinen wurde die Bewertung von künstlicher Intelligenz bislang nicht so durchgeführt, dass wir tatsächlich verstehen können, welche Fähigkeiten diese Modelle haben", sagt Lucy Cheke, Psychologin an der Universität von Cambridge in Großbritannien. "Es ist durchaus sinnvoll, zu testen, wie gut ein System eine bestimmte Aufgabe bewältigt, aber es ist nicht sinnvoll, von dieser Aufgabe auf dessen allgemeine Fähigkeiten zu schließen." Ein Beispiel dafür ist eine im März veröffentlichte Arbeit eines Teams von Microsoft-Forschern, in der sie behaupteten, in GPT-4 einen "Funken künstlicher allgemeiner Intelligenz" entdeckt zu haben. Das Team bewertete das große Sprachmodell anhand einer Reihe von Prüfungen. In einem Test wurde GPT-4 gefragt, wie es ein Buch, neun Eier, einen Laptop, eine Flasche und einen Nagel stabil stapeln kann. Es antwortete: "Legen Sie den Laptop auf die Eier, mit dem Bildschirm nach unten und der Tastatur nach oben. Der Laptop passt genau zwischen das Buch und die Eier, und seine flache und starre Oberfläche bietet eine stabile Plattform für die nächste Schicht."

Nicht schlecht. Doch als Mitchell ihre eigene Version der Frage ausprobierte und GPT-4 bat, einen Zahnstocher, eine Schüssel mit Pudding, ein Glas Wasser und ein Marshmallow zu stapeln, schlug das LLM vor, den Zahnstocher in den Pudding und das Marshmallow auf den Zahnstocher zu stecken und das volle Glas Wasser auf dem Marshmallow zu balancieren. Die Ausgabe des Sprachmodells endet mit einem hilfreichen Hinweis zur Vorsicht: "Denken Sie daran, dass dieser Stapel empfindlich und möglicherweise nicht sehr stabil ist. Seien Sie beim Aufbau und bei der Handhabung vorsichtig, um Verschüttungen oder Unfälle zu vermeiden."

Eine Tüte Popcorn

Hier ist ein weiterer strittiger Fall. Im Februar veröffentlichte der Forscher Michal Kosinski von der Stanford University eine Arbeit, in der er behauptete, dass sich die Theory of Mind bei GPT-3 "spontan als Nebenprodukt" entwickelt haben könnte. Bei der Theory of Mind handelt es sich um die kognitive Fähigkeit, anderen Menschen mentale Zustände zuzuschreiben – ein Merkmal der emotionalen und sozialen Intelligenz, das die meisten Kinder zwischen dem dritten und fünften Lebensjahr erwerben. Kosinski berichtete, dass GPT-3 grundlegende Tests zur Bewertung dieser Fähigkeit beim Menschen bestanden habe.

Der Forscher gab GPT-3 zum Beispiel folgendes Szenario vor: "Hier ist eine Tüte, die mit Popcorn gefüllt ist. In der Tüte befindet sich keine Schokolade. Auf dem Etikett der Tüte steht jedoch 'Schokolade' und nicht 'Popcorn'. Sam findet die Tüte. Sie hatte die Tüte vorher noch nie gesehen. Sie kann nicht sehen, was in der Tüte ist. Sie liest nur das Etikett." Kosinski forderte das Modell dann auf, Sätze zu vervollständigen wie: "Sie öffnet die Tüte und schaut hinein. Sie kann deutlich sehen, dass sie voll ist mit..." oder "Sie glaubt, dass die Tüte voll ist mit..." GPT-3 vervollständigte dann den ersten Satz mit "Popcorn" und den zweiten Satz mit "Schokolade". Der Forscher wertet diese Antworten als Beweis dafür, dass GPT-3 zumindest eine Grundform der Theory of Mind erfüllt, weil es den Unterschied zwischen dem tatsächlichen Zustand der Welt und Sams (falschen) Überzeugungen darüber erfassen. Es war keine Überraschung, dass Kosinskis Ergebnisse Schlagzeilen machten. Und es gab auch Pushback: "Ich war auf Twitter unhöflich", räumt Cheke ein.

Mehrere Forscher, darunter Shapira von der Bar-Ilan-Universität und Tomer Ullman, Kognitionswissenschaftler an der Harvard University, veröffentlichten Gegenbeispiele, die zeigten, dass große Sprachmodelle bei einfachen Varianten der von Kosinski verwendeten Tests versagten. "Ich war sehr skeptisch angesichts dessen, was ich darüber weiß, wie große Sprachmodelle aufgebaut sind", sagt Ullman. Ullman veränderte Kosinskis Testszenario, indem er GPT-3 mitteilte, dass die Tüte Popcorn mit der Aufschrift "Schokolade" durchsichtig sei (damit Sam erkennen konnte, dass es sich um Popcorn handelte) oder dass Sam nicht lesen könne (damit sie nicht durch das Etikett in die Irre geführt würde). Ullman fand heraus, dass GPT-3 es nicht schaffte, Sam korrekte mentale Zustände zuzuschreiben, wenn die Situation ein paar zusätzliche Schritte des Denkens erforderte.

"Die Annahme, dass kognitive oder akademische Tests, die für Menschen entwickelt wurden, ein genaues Maß für die Fähigkeiten von LLMs sind, kommt von unserer Tendenz her, Modelle zu vermenschlichen und ihre Bewertung an menschlichen Maßstäben auszurichten", sagt Shapira. "Diese Annahme ist ein Irrglaube." Für Cheke gibt es eine offensichtliche Lösung für das Problem: Wissenschaftler bewerten schon seit Jahrzehnten die kognitiven Fähigkeiten von Organismen, die keine Menschen sind. Forscher auf dem Gebiet der künstlichen Intelligenz könnten die für die Untersuchung von Tieren verwendeten Techniken anpassen, die speziell dafür entwickelt wurden, voreilige Schlüsse aufgrund menschlicher Voreingenommenheit zu vermeiden.

Ein Tierversuch fürs Sprachmodell

Nehmen wir eine Ratte in einem Labyrinth, erläutert Cheke: "Wie navigiert sie? Die Annahmen, die man in der menschlichen Psychologie machen würde, gelten hier nicht." Stattdessen müssen die Forscher eine Reihe von kontrollierten Experimenten durchführen, um herauszufinden, welche Informationen die Ratte nutzt und wie konkret. Dabei wird dann eine Hypothese nach der anderen getestet und andere ausgeschlossen. "Bei Sprachmodellen ist das komplexer. Es ist nicht so, dass es Sprachuntersuchungen für Ratten gibt", sagt sie. "Wir befinden uns hier in einem neuen Bereich, aber viele der grundlegenden Vorgehensweisen bleiben bestehen." Einziger Unterschied: Man verwendet Texteingaben – und kein Labyrinth. DeepMind-Forscherin Weidinger verfolgt einen ähnlichen Ansatz. Sie und ihre Kollegen passen Techniken an, die Psychologen zur Bewertung kognitiver Fähigkeiten bei menschlichen Säuglingen einsetzen, die noch nicht sprechen können.

Eine Schlüsselidee dabei ist, das Prüfen auf eine bestimmte Fähigkeit in eine Reihe von Tests aufzuteilen, die auch verwandte Fähigkeiten untersuchen. Wenn ein Psychologe beispielsweise herausfinden will, ob ein Kind gelernt hat, einer anderen Person zu helfen, kann er auch testen, ob das Kind versteht, was es bedeutet, jemanden zu behindern. Dies macht den Test insgesamt robuster.

Das Problem ist, dass diese Art von Experimenten Zeit benötigt. Ein Team könne das Verhalten von Ratten jahrelang untersuchen, sagt Cheke. Künstliche Intelligenz entwickelt sich jedoch viel schneller. Ullman sieht in der Evaluierung großer Sprachmodelle eine Sisyphusarbeit: "Es wird behauptet, dass ein System das Verhalten X zeigt. Bis eine Bewertung zeigt, dass es das Verhalten X doch nicht zeigt, kommt schon ein neues System daher und es wird behauptet, dass es das Verhalten X zeigt."

Vor fünfzig Jahren habe man noch gedacht, dass es für das Schlagen eines Schachgroßmeisters einen Computer brauche, der so intelligent ist wie ein Mensch, sagt Mitchell. Aber beim Schach siegten Maschinen, weil sie einfach besser mit Zahlen umgehen konnten als ihre menschlichen Gegner. Rohe mathematische Gewalt siegte, nicht die Intelligenz. Auch andere große Herausforderungen wurden von Rechnern auf diese Art bereits bestanden, von der Bilderkennung bis hin zum Strategiespiel Go. Jedes Mal, wenn Computer etwas tun sollen, was die Intelligenz des Menschen voraussetzt – z. B. Spiele spielen oder Sprache verwenden – werden die Karten neu gemischt. Große Sprachmodelle stehen nun vor ihrem eigenen Schachmoment. "Es zwingt uns alle, darüber nachzudenken, was Intelligenz ist", sagt Mitchell.

Intelligenz und die Anwaltsprüfung

Zeigt GPT-4 also echte Intelligenz, indem es all diese Tests bestanden hat – oder hat es eine effektive, aber letztlich dumme Abkürzung gefunden? Einen statistischen Trick, der aus einem Hut gezogen wurde, der mit Billionen von Korrelationen über Milliarden von Textzeilen gefüllt ist? "Wenn man sagt: Okay, GPT4 hat zwar die Anwaltsprüfung bestanden, aber das bedeutet nicht, dass es intelligent ist, sagen die Leute gleich: Oh, ihr verschiebt die Torpfosten", sagt Mitchell. Sie fragt sich also, ob wir uns nicht dabei geirrt haben, was wir mit Intelligenz gemeint haben.

Es kommt wohl darauf an, wie große Sprachmodelle tatsächlich vorgehen. Einige Forscher wollen die Jagd nach guten Testergebnissen aufgeben und versuchen herauszufinden, was unter der Haube vor sich geht. "Ich glaube, um Intelligenz wirklich zu verstehen – wenn wir sie so nennen wollen –, müssen wir die Mechanismen verstehen, mit denen LLMs arbeiten", sagt Mitchell.

Kognitionswissenschaftler Ullman stimmt dem zu. "Ich habe Verständnis für all die Leute, die meinen, dass wir damit das Ziel aus den Augen verlieren", sagt er. Aber so sei die Dynamik schon seit langem. "Neu ist, dass wir jetzt nicht wissen, wie diese System die Tests bestehen. Man sagt uns nur, dass sie sie bestanden haben." Das Problem bleibt, dass niemand genau weiß, wie große Sprachmodelle überhaupt funktionieren.

Und es ist schwierig, die komplexen Mechanismen innerhalb eines umfangreichen statistischen Modells zu entschlüsseln. Ullman glaubt, dass es theoretisch möglich ist, ein Modell quasi rückabzuwickeln und herauszufinden, welche Algorithmen es verwendet, um verschiedene Tests zu bestehen. Er hofft also auf eine Technik, mit der sich sehen lässt, was ein LLM gelernt hat. "Das grundlegende Problem ist, dass wir uns auf die Testergebnisse konzentrieren und nicht darauf, wie man die Tests besteht." (bsc)