Die Zwerge von Chartres

Im Sommer 2024 veröffentlichte die Zeitschrift „Nature“ ein Experiment, das man sich nicht schöner hätte ausdenken können. Forscher um Ilia Shumailov und Yarin Gal trainierten ein Sprachmodell mit Wikipedia-Artikeln und ließen es eigene Texte schreiben.

Das nächste Modell lernte nur noch aus diesen Texten, das übernächste aus dessen Texten, Generation um Generation. Jeder Generation legten die Forscher denselben Anfang vor, einen Absatz über den Bau englischer Pfarrkirchtürme im Mittelalter, und ließen sie weiterschreiben. In Runde eins ging es noch um Kirchen, wenn auch plötzlich um päpstliche Basiliken in Rom. In Runde fünf war von Architektur keine Rede mehr. In Runde neun begann der Text mit dem Wort „Architektur“ und zählte danach Hasen auf, schwarzschwänzige, weißschwänzige, blauschwänzige, bis er abbrach.

Die Forscher nennen das Modellkollaps. Wer dafür ein Bild sucht, das ohne Statistik auskommt, findet es in einer gotischen Kathedrale.

Wer in Chartres unter der südlichen Fensterrose steht, sieht über sich fünf hohe Lanzettfenster. In der Mitte thront Maria mit dem Kind. Links und rechts stehen vier Riesen in farbigem Glas, die großen Propheten des Alten Testaments, und auf ihren Schultern sitzen vier sehr viel kleinere Männer, die Evangelisten. Lukas sitzt auf Jeremia, Matthäus auf Jesaja, Johannes auf Ezechiel, Markus auf Daniel. Gestiftet hat die Fenster um 1221 Pierre Mauclerc, Herzog der Bretagne, der sich mit seiner Familie unten im Glas verewigen ließ.

Das Bild ist ein Zitat. Rund hundert Jahre zuvor lehrte an der Domschule von Chartres ein Mann namens Bernhard, von dem kaum etwas erhalten ist. Berühmt ist er für einen Satz, den 1159 Johannes von Salisbury aufschrieb, ein Schüler von Bernhards Schülern:

Zwei Feinheiten sind später verloren gegangen. Bernhards Zwerge stehen nicht, sie sitzen, bequem wie Kinder auf den Schultern des Vaters beim Faschingsumzug. Und der Satz hat eine eingebaute Bescheidenheitsklausel: Wir sehen weiter, aber nicht, weil wir besser sehen. Den Vorsprung verdanken wir dem Platz, auf dem wir sitzen.

Hübsch ist, dass auch der Satz selbst auf fremden Schultern zu uns kam. Johannes schreibt „dicebat“, Bernhard pflegte das zu sagen, und der älteste schriftliche Beleg des Bildes stammt wohl von einem dieser Schüler, Wilhelm von Conches, aus seinen Erläuterungen zur lateinischen Grammatik, entstanden vor 1123. Ein Gleichnis über das Weitergeben von Wissen, überliefert von Schülern und den Schülern der Schüler. Bernhard wäre einverstanden gewesen.

Gute Sätze wandern. Ein italienischer Talmudgelehrter, Jesaja di Trani, griff das Bild um 1200 auf. 1582 benutzte es der spanische Franziskaner Diego de Estella, 1624 übernahm es der Engländer Robert Burton und nannte Estella brav als Quelle. Spätere Herausgeber schrieben es dann dem römischen Dichter Lukan zu, bei dem es nirgends steht. Eine plausible, aber erfundene Quellenangabe ist also keine Erfindung der Sprachmodelle.

Am 5. Februar 1676 schrieb Isaac Newton an seinen Rivalen Robert Hooke: „If I have seen further it is by standing on the shoulders of Giants.“ Bei Newton ist der Zwerg verschwunden, übrig sind ein Ich und die Riesen. Hooke war nicht klein, aber schmal und stark gekrümmt, und ob Newton ihm mit den „Giants“ eine Höflichkeit erwies oder eine Spitze versetzte, wird bis heute diskutiert. Belegt ist die Bosheit nicht. Sie ist nur zu schön, um je ganz zu verschwinden.

1965 widmete der Soziologe Robert K. Merton der Wanderung des Satzes ein ganzes Buch, „On the Shoulders of Giants“, geschrieben im abschweifenden Stil von Laurence Sternes „Tristram Shandy“, mit Fußnoten, die eigene Fußnoten zu brauchen scheinen. Er kürzte den Titel zu OTSOG, was nach einem Kampfnamen klingt und ein Akronym für Demut ist.

Dann wurde es populär. Seit 1998 läuft der Satz in Großbritannien am Rand der Zwei-Pfund-Münze entlang. Die Rückseite zeigt in konzentrischen Ringen den technischen Fortschritt von der Eisenzeit bis zum Internet; man trägt also einen Essay über künstliche Intelligenz im Portemonnaie, dem nur der letzte Ring fehlt.

In einem Pub las Noel Gallagher die Inschrift, notierte sie betrunken auf einer Zigarettenschachtel und fand am nächsten Morgen daneben die Notiz „bum title“, wo „album title“ hätte stehen sollen. Im Februar 2000 erschien das Oasis-Album „Standing on the Shoulder of Giants“, mit nur einer Schulter. Wie ein Riese mit einer Schulter einen Zwerg tragen soll, ließ die Band offen.

Heute steht der Satz unter dem Suchfeld von Google Scholar, der Suchmaschine für Fachaufsätze: „Stand on the shoulders of giants“. Eine Leiter, kein Fernglas. Hinschauen muss man selbst.

Mit den großen Sprachmodellen gibt es zum ersten Mal eine Figur, auf die Bernhards Satz wörtlich passt, Klausel inklusive. Ein Modell wie GPT-3 wurde zu rund 60 Prozent mit Text aus Common Crawl trainiert, einem Archiv automatisch kopierter Webseiten, dazu Bücher, Wikipedia und anderes. Es hat keinen eigenen Blick auf die Welt, keine Erfahrung, keinen Körper. Was es sieht, sieht es von den Schultern der Menschen, die all das geschrieben haben. Non proprii visus acumine, nicht durch die Schärfe des eigenen Blicks: Eine präzisere Gebrauchsanweisung hätte Bernhard nicht schreiben können.

Und doch sieht dieser Zwerg manches weiter als jeder einzelne Riese. Er hält Texte nebeneinander, die kein Mensch je zusammen gelesen hätte, den Talmudkommentar neben dem Sozialrecht, den Sterne-Roman neben der Python-Dokumentation. Das ist die Höhe, von der Bernhard spricht. Sie ist geliehen.

Zwei Dinge unterscheiden den mittelalterlichen Zwerg vom maschinellen. Der Schüler in Chartres wusste, auf wessen Schultern er saß; er konnte Platon und Priscian beim Namen nennen. Das Modell weiß es nicht. Die Riesen sind im Training zu Zahlen ohne Absender verschmolzen. Der Filmemacher Kirby Ferguson zeigte 2010 in seiner Videoreihe „Everything is a Remix“, wie Led Zeppelin „Dazed and Confused“ von Jake Holmes übernahm, ohne ihn zu nennen. Holmes klagte gut vierzig Jahre später. Bei einem Sprachmodell hätte er es schwerer. Einzelne auswendig gelernte Passagen lassen sich zwar wieder aus ihm herausholen, das haben Forscher um Nicholas Carlini 2021 gezeigt. Für fast alles andere aber kann niemand mehr sagen, welche Schulter welchen Satz getragen hat.

Der zweite Unterschied ist feiner. Der Zwerg auf dem Riesen sieht dieselbe Welt wie der Riese, nur weiter. Das Modell sieht keine Welt, es sieht Texte über die Welt. Der Schriftsteller Ted Chiang nannte ChatGPT^® im Februar 2023 im „New Yorker“ ein unscharfes JPEG des Internets, eine verlustbehaftete Kompression. Er erzählt dazu von einer deutschen Baufirma, die 2013 bemerkte, dass ihr Xerox-Kopierer einen Bauplan verändert hatte: Drei Räume mit 14,13, 21,11 und 17,42 Quadratmetern waren in der Kopie alle 14,13 Quadratmeter groß. Das Gerät hatte ähnlich aussehende Ziffern zusammengelegt, um Speicher zu sparen. Gefährlich war der Fehler, weil die falschen Zahlen so ordentlich aussahen. Für das, was Sprachmodelle gelegentlich erfinden, gibt es kaum ein genaueres Bild.

Damit sind wir zurück bei den Hasen. Bernhards Bild setzt etwas voraus, das er nicht aussprechen musste: dass unten tatsächlich Riesen stehen. Das Experiment in „Nature“ hat die Konstruktion umgedreht und Zwerge auf Zwerge gesetzt. Was dabei zuerst verschwindet, ist bezeichnend. Es sind die Ränder, das Seltene, Unwahrscheinliche, Eigensinnige. Übrig bleibt das Häufige, bis auch das keinen Sinn mehr ergibt. Chiang hatte das schon 2023 vorhergesehen, mit dem Bild der Fotokopie einer Fotokopie.

Von der Kathedrale zum Hasen in neun Schritten ist das genaue Gegenbild zum Fenster von Chartres. Dort tragen Propheten Evangelisten, und das Wissen gewinnt an Höhe. Im Experiment trägt jedes Modell nur noch den Abdruck seines Vorgängers, und das Wissen verliert mit jeder Stufe an Boden.

Daraus folgt etwas sehr Praktisches. Die Riesen sind nicht die berühmten Namen, sondern alles, was aus eigener Anschauung geschrieben wurde: der Bauplan mit den richtigen Quadratmetern, das Feldprotokoll, die Notiz am Rand. Wer mit Sprachmodellen Texte erzeugt und ins Netz stellt, aus dem die nächsten Modelle lernen, baut am Turm mit. Ob er einen Riesen oder einen Zwerg hinzufügt, hängt davon ab, ob er etwas gesehen hat, das vorher nicht in den Daten stand.

1658, sieben Jahre vor seinem Tod, malte Nicolas Poussin in Rom ein Bild, das heute im Metropolitan Museum in New York hängt: „Blind Orion Searching for the Rising Sun“. Der Jäger Orion ist geblendet worden und stapft als Riese durch die Landschaft. Auf seinen Schultern sitzt ein kleiner Mann, Kedalion, und zeigt ihm den Weg nach Osten, zur aufgehenden Sonne, die ihm das Augenlicht zurückgeben soll. Die Vorlage fand der Kunsthistoriker Ernst Gombrich bei dem antiken Spötter Lukian.

Bei Poussin sind die Rollen vertauscht. Der Riese hat die Kraft und keinen Blick, der Kleine den Blick und keine Kraft.

Das passt besser zur Gegenwart als die Fenster von Chartres. Gegenüber seinen Quellen ist ein Sprachmodell ein Zwerg. Gegenüber dem Einzelnen, der es benutzt, ist es ein Riese, gebaut aus dem Geschriebenen von Millionen. Aber es ist ein blinder Riese. Es weiß nicht, wo Osten ist, und keine Rechenleistung ersetzt das Urteil darüber, ob ein Satz stimmt, ob ein Bauplan die richtigen Zahlen trägt, ob ein Text etwas Neues sagt. Die Richtung gibt der Kleine auf den Schultern vor, der sich in der Welt auskennt.

Poussin selbst malte das Bild mit nachlassender Sehkraft und einer Hand, die womöglich schon zitterte; die Kuratoren der Met erklären damit die fast punktförmige Malweise seines Spätwerks. Er arbeitete nicht mehr mit der Schärfe des eigenen Blicks, sondern mit allem, was er in Jahrzehnten über Licht und Landschaft gelernt hatte. Das Museum zählt den „Orion“ zu seinen bedeutendsten Landschaften.