Vor etwa 20 Jahren, als ich noch als Ausbilder tätig war, hatte ich in einer Ausbildungsgruppe eine gehörlose Frau. Nun waren meine Unterrichtsthemen in dieser Gruppe (SAP und Office-Software) eher visuell orientiert, aber ein bisschen erklären musste ich schon. Wie das ging? Nun, zusammen mit der Teilnehmerin kam eine Frau, die sich still in eine Ecke des Unterichtsraumes setzte und die gehörlose Frau ansah und das, was ich sagte, in Gebärdensprache übersetzte. (Es war übrigens die gleiche Dame, die auf Phoenix die Nachrichten dolmetschte, denn damals war das noch nicht in der Tagesschau üblich.)
Daran musste ich denken, als ich neulich auf reddit auf einen Beitrag stieß, in dem ein Programmierer ein Projekt vorstellte, mit dem Gebärdensprache in Text übersetzt werden kann, geschrieben in Python unter Verwendung der OpenCV-Bibliothek für Bilderkennung.
Da ich mich seit einiger Zeit recht intensiv mit NLP-Verfahren und Python beschäftige, überlegte ich – aufgrund der oben geschilderten Unterrichtserfahrung –, ob man nicht auch den umgekehrten Weg gehen könnte: Sprache in Texte, und die wiederum in Mimik und Handbewegung eines Avatars übersetzen. Die Bausteine sollten alle vorhanden sein, aber von Gebärdensprache hatte ich keine Ahnung, außer dem Trivialwissen über bestimmte Fingerstellungen zur Abbildung von bestimmten Schriftzeichen, was aber für ein Dolmetschen sicher nicht ausreicht. Ich vermutete, dass genau da die Krux liegt.
Ich vermutete richtig: Ebensowenig, wie eine maschinelle Übersetzung einer Sprache sich darin erschöpfen kann, Wörter aus Wörterbüchern aufeinander abzubilden, kann man die Komplexität der Gebärdensprache auf Zeichenerkennung reduzieren.
Es ist erstaunlicherweise noch gar nicht so lange her, dass die Gebärdensprachen (denn es gibt einige!) als eigenständige Sprachen gelten, wie man in einer sechsteiligen Sendefolge des BR zur Geschichte der Deutschen Gebärdensprache erfährt. Eine sehr schöne Einführung in das Thema bietet übrigens die Masterarbeit von Stefanie Fuchs »Wenn Hände sprechen und Augen zuhören«.
Der Durchbruch kam mit dem Gesetz zur Gleichstellung behinderter Menschen vom 27. April 2002:
§ 6
Gebärdensprache und andere Kommunikationshilfen
(1) Die Deutsche Gebärdensprache ist als eigenständige Sprache anerkannt.
(2) Lautsprachbegleitende Gebärden sind als Kommunikationsform der deutschen Sprache anerkannt.
(Bemerkung am Rande: Um das obige Zitat aus § 6 hier einfügen zu können, musste ich die PDF-Datei mit dem Gesetztes»text« durch einen OCR-Prozess schicken, da das PDF vom Ersteller gegen Textentnahme geschützt wurde – soviel zu der in § 4 des gleichen Gesetzes definierten Barrierefreiheit. Aber es ist ja schon ein Fortschritt, weil es jetzt einen »Bürgerzugang« zum Bundesgesetzblatt gibt – in früheren Jahren musste man es beim Bundesanzeiger-Verlag kaufen.)
Aber um zu meiner oben skizzierten Idee zurückzukommen: Ganz doof war sie wohl nicht, wie man bei der Uni Augsburg erfährt.
Ist mir erst nachträglich aufgefallen: “doof” ist etymologisch die Entsprechung von “taub” (https://www.dwds.de/wb/doof).
Und noch eine Ergänzung (zur Erkennung und Übersetzung von Gebärdensprache) :
https://www.heise.de/news/SignAll-stellt-Entwicklern-SDK-fuer-Gebaerdensprache-mit-MediaPipe-zur-Verfuegung-6016542.html.