Informatik Schwere Radieschen­creme

„Hefte raus, wir schreiben ein Diktat!“ – Annas Magen krampft sich zusammen. „Das gibt doch wieder eine schlechte Note“, denkt sie. Anna geht in die 4. Klasse und schreibt eigentlich sehr gern, am liebsten Briefe an ihren Opa und Fantasie­geschichten. In diesen Texten macht sie auch gar nicht so viele Recht­schreib­­fehler, sagt ihr Lehrer. Wenn sie aber vor einem Diktat sitzt und weiß, dass es jetzt auf jeden Buch­staben ankommt, macht ihr Kopf einfach zu. Dann soll sie auch noch Wörter wie „Radieschen­creme“ schreiben, die sie in ihrem ganzen Leben vermutlich nie wieder benutzen wird.

So wie Anna geht es vielen ihrer Mitschülerinnen und Mitschülern – und zwar seit Generationen. Auch wenn klassische Diktate immer seltener werden, bleiben Test­formen mit fest­gelegtem Wort­material das Mittel der Wahl, um die Recht­schreib­fähigkeiten von Kindern zu benoten.

Aber warum schreiben Kinder Wörter falsch? Zum Beispiel, weil nicht alle Wörter so geschrieben werden, wie man sie spricht. Der T-Laut etwa kommt als t in Tante vor, aber auch als tt in Bett, als d in Hund, als Th in Thron oder als dt in Stadt. Regeln können helfen, den richtigen Buch­staben zu ermitteln: Verlängere „Hund“ zu „Hunde“, dann hörst du ein „d“. Bei „Thron“ oder „Stadt“ gibt es solche Regeln jedoch nicht. Die korrekte Schreib­weise dieser Wörter muss man sich merken.

Fehler werden häufig bei solchen Wörtern gemacht, die von der standard­mäßigen Laut-Buchstaben-Zuordnung abweichen – Kinder schreiben dann „Tron“ oder „Bet“. Aber Forschende zeigten, dass auch solche Wörter seltener falsch geschrieben werden, wenn ein Kind sie bereits häufig gelesen hat – beispiels­weise in Büchern. Dement­sprechend ändert sich die Fehler­­häufigkeit auch im Laufe der Schul­zeit – deshalb schreiben jüngere Kinder vielleicht „Rütmus“, ältere hingegen „Rhythmus“. All diese Einflüsse müssten also zusammen berücksichtigt werden, um die Schwierigkeit eines Wortes zu bestimmen.

Der Ansatz, den wir verfolgten, kommt aus der Informatik. Mithilfe von „maschinellen Lern­verfahren“ lassen sich in großen Datenmengen komplexe Zusammen­hänge erkennen und darauf basierend Vorhersagen treffen. Das Verfahren lässt sich durchaus mit dem täglichen Wetter­bericht vergleichen, der auf der Basis vieler Daten aus der Vergangenheit Vorher­sagen in die Zukunft erlaubt. In der Recht­schreib­forschung wurden Zusammen­hänge bislang nur zwischen einigen wenigen Aspekten gezeigt, mithilfe von maschinellen Lern­verfahren ist jedoch eine viel komplexere Modellierung möglich.

Dazu müssen die informatischen Methoden mit linguistischem Wissen verknüpft werden. An dieser Schnitt­stelle zwischen Sprach­wissenschaft und Informatik liegt die Computer­linguistik. Uns interessierte, ob Recht­schreib­fehler in Texten von Grund­schul­kindern so systematisch auftreten, dass sie sich mittels maschineller Lern­verfahren vorhersagen lassen. Aus dieser Fehler­wahrscheinlichkeit, die das Vorher­sage­modell einem Wort zuschreibt, ließe sich seine Schwierigkeit ableiten – und warum es schwierig ist.

Unsere Datengrundlage bestand aus knapp 2000 Texten. Rund 250 Kinder hatten die Aufgabe bekommen, eine Bilder­geschichte in Worte zu fassen. Diese Aufgabe mussten sie zwischen der 2. und 4. Klasse mit jeweils anderen Geschichten mehrfach wieder­holen. Die Kinder­texte haben wir zunächst digitalisiert und manuell korrigiert. Die weitere Verarbeitung übernahm dann der Computer. Zunächst codierte er jedes Wort mit einer Reihe von Merkmalen wie der Zahl der Buchstaben, wie man es ausspricht, wie häufig das Wort in einer Sammlung von digitalisierten Kinder­büchern auftritt oder welche Recht­schreib­hürden es enthält. Hinzu kamen Informationen zum Kind wie Klassen­stufe oder bisherige Recht­schreib­leistung. Im nächsten Schritt fütterten wir einen maschinellen Lern­algorithmus mit diesen Daten. Dieser besteht aus einer Reihe von „Entscheidungs­bäumen“, die so etwas lernen wie – sehr vereinfacht dargestellt – „wenn ein Wort mehr als 7 Buchstaben lang ist und seltener als 30-mal in der digitalisierten Kinder­buch­sammlung vorkommt, dann wird es von einem Kind in der 3. Klasse mit unter­durch­schnittlicher Recht­schreib­leistung wahr­scheinlich falsch geschrieben“.

Um diese Brücke zwischen Rechtschreib­forschung und Informatik zu schlagen, mussten wir einige Hindernisse über­winden. So untersuchten wir keine „Modell­texte“ mit vorselektierten Wörtern, sondern echte Texte. Die Zahl der Rahmen­parameter war also vergleichs­weise hoch. Man kann sich das so vorstellen, als würden chemische Experimente nicht unter Labor­­bedingungen, sondern draußen auf der Wiese durch­geführt, wo Temperaturen und Luftdruck schwanken. Im Fall unserer Studie bedeutete dies, dass unterschiedliche Textlängen zu berücksichtigen waren und unterschiedlich schwere Wörter unterschiedlich häufig vorkamen.

Darüber hinaus haben die meisten maschinellen Lern­verfahren einen großen Nachteil: Sie liefern zwar gute Vorher­sagen, aber niemand weiß, was sich in ihrem Inneren abspielt. Was genau „lernt“ das Modell, worauf stützt es seine Vorhersagen? Dies mussten wir auf indirekte Weise heraus­finden. Das kann man sich ungefähr so vorstellen, als würde man einen Gegen­stand vor eine Kerze stellen und dann anhand des Schattens versuchen zu erkennen, um welchen Gegenstand es sich handelt. So variierten wir einzelne Merkmale und schauten, wie sich das auf die Ergebnisse auswirkt.

Am Ende konnte das beste unserer Modelle immerhin in 41 Prozent der Fälle korrekt vorhersagen, dass ein Wort falsch geschrieben wird – und zwar in Texten von zehn Kindern, die das Modell zuvor noch nie gesehen hatte. Zugleich war die Zahl der „Fehlalarme“ gering: Wenn das Modell einen Fehler vorhersagte, hatte es auch in knapp 60 Prozent der Fälle recht.

Auch wenn sich diese Quote in geringem Maße weiter erhöhen lässt, eine absolute Zuverlässigkeit der Vorhersagen ist natürlich nicht zu erwarten. Denn individuelle Faktoren wie Mehrsprachigkeit oder Konzentrations­fähigkeit der Kinder konnten wir mangels ausreichender Daten nicht berücksichtigen. Doch ein wichtiger Schritt zur Bestimmung, welche Wörter für welche Gruppen von Kindern wie schwierig zu schreiben sind, ist gemacht. Eine wichtige Erkenntnis dabei war: Nicht nur einzelne Recht­schreib­hürden bestimmen die Schwierigkeit eines Wortes, sondern ein komplexes Zusammen­spiel mit anderen Faktoren wie Wortlänge und Worthäufigkeit.

Damit könnte es in Zukunft möglich sein, die Schwierigkeit von Unterrichts­materialien, Tests und Diktaten besser ein­zu­schätzen. Wörter wie „Radieschen­creme“, das bereits Günther Thomé vom ISB Oldenburg als plakatives Beispiel für exotische Wörter in Diktaten anführte, würden damit in einem neuen Licht erscheinen, wenn man nicht nur ortho­grafische Hürden, sondern sämtliche Wort­eigenschaften berücksichtigt.