Improving Language Understanding By Generative Pre Training

Okay, hört mal zu, Leute. Ich habe da so eine... sagen wir mal... unpopuläre Meinung. Und zwar geht es ums Verstehen von Sprache durch generative Vorbereitung. Klingt kompliziert? Ist es eigentlich gar nicht. Glaubt mir.

Stellt euch vor, ihr wollt eurem Hamster beibringen, Deutsch zu verstehen. (Ja, Hamster. Warum nicht?) Ihr werdet ihm ja nicht gleich Kant vorsetzen, oder? Nein! Ihr fangt mit einfachen Sachen an. "Hamster! Futter!" "Hamster! Schlafen!" "Hamster! Rad!" (Okay, vielleicht Rad nicht. Aber ihr versteht, was ich meine.)

Genauso funktioniert das im Grunde auch mit Computern. Diese riesigen neuronalen Netze, die jetzt alle so toll finden, sind im Prinzip nur sehr, sehr, SEHR fleißige Hamster. Man füttert sie mit Unmengen an Text. Wikipedia, Bücher, Tweets, Kochrezepte – alles rein! Und dann lässt man sie einfach mal machen.

Und hier kommt das "Generative" ins Spiel. Anstatt dem Hamster (äh, Computer) zu sagen: "Das ist ein Subjekt, das ist ein Verb, das ist ein Adjektiv" (was ihn wahrscheinlich nur verwirren würde), lässt man ihn einfach Texte generieren. Er soll einfach mal versuchen, selbst Sätze zu bilden. Zuerst kommen natürlich nur Blödsinn raus. Aber je mehr er "liest" und generiert, desto besser wird er.

Das ist wie beim Babyspeech. "Mama," "Papa," "Bagger." Irgendwann kommt dann: "Mama Bagger kaputt!" Voila! Sprachentwicklung!

Das Geheimnis der Vorbereitung (oder: Warum mein Hamster besser Deutsch spricht als deiner)

Dieses "Vorbereiten" ist der Knackpunkt. Bevor man dem Computer komplexe Aufgaben gibt (z.B. "Schreibe eine Zusammenfassung von Kants Kritik der reinen Vernunft" – der Hamster würde durchdrehen), muss er erstmal die Grundlagen verstanden haben. Er muss wissen, wie Sätze aufgebaut sind, welche Wörter zusammenpassen und welche nicht.

Denkt an GPT-3 oder GPT-4. Diese Modelle sind mit so unfassbar vielen Daten trainiert worden, dass sie fast schon unheimlich gut darin sind, Texte zu schreiben. Sie können Gedichte verfassen, Drehbücher schreiben, sogar Computer-Code generieren! (Okay, manchmal ist der Code etwas... kreativ. Aber immerhin!)

Aber wo ist der Haken? (Es gibt immer einen Haken!)

Natürlich ist nicht alles Gold, was glänzt. Diese Modelle können zwar beeindruckend gut Texte generieren, aber sie verstehen die Sprache nicht wirklich. Sie imitieren sie nur sehr, sehr gut. Sie sind wie Papageien, die perfekt Sätze nachplappern können, aber keine Ahnung haben, was sie eigentlich bedeuten.

Und hier kommt meine unpopuläre Meinung ins Spiel: Ist das wirklich so schlimm? Wenn der Computer mir einen überzeugenden Text schreibt, der alle meine Fragen beantwortet – ist es dann wirklich wichtig, ob er die Antwort "versteht"? Vielleicht ist es genug, wenn er einfach nur so tut, als ob.

Ich meine, mal ehrlich: Wie oft verstehen wir selbst wirklich, was wir sagen? Wir plappern doch auch oft nur Floskeln nach, ohne wirklich darüber nachzudenken. "Wie geht es dir?" "Gut, danke, und selbst?" Boom! Perfekte Konversation! Aber verstehen wir die Bedeutung wirklich? Hmmm...

Und noch ein Problem: Diese Modelle können auch ganz schön Quatsch erzählen. Sie können Fake News verbreiten, rassistische oder sexistische Äußerungen von sich geben, oder einfach nur kompletten Unsinn fabrizieren. Man muss also immer vorsichtig sein und alles, was sie schreiben, kritisch hinterfragen.

Die Zukunft der Sprachverarbeitung (mit oder ohne Hamster)

Trotz all dieser Probleme bin ich optimistisch, was die Zukunft der Sprachverarbeitung angeht. Generative Vorbereitung ist ein unglaublich mächtiges Werkzeug, das uns helfen kann, Computer viel besser zu verstehen und zu nutzen. Und vielleicht, irgendwann, können wir unseren Hamstern wirklich beibringen, Deutsch zu verstehen. (Okay, vielleicht nicht. Aber träumen darf man ja wohl noch.)

Also, das nächste Mal, wenn ihr einen Text lest, der von einem Computer geschrieben wurde, denkt an meinen kleinen Hamster. Und fragt euch: Ist es wirklich wichtig, ob er die Bedeutung versteht? Oder reicht es vielleicht, wenn er einfach nur so tut?

Ich bin gespannt auf eure Meinungen! Und jetzt gehe ich meinen Hamster füttern. Er hat Hunger.

P.S.: Wer mir jetzt mit irgendwelchen Fachbegriffen oder komplizierten Algorithmen kommt, kriegt Hausarrest! (Nein, nur Spaß. Aber bitte haltet es einfach. Für meinen Hamster.)