Rund 140.000 Menschen in Deutschland sind auf Gebärdendolmetscher angewiesen. Doch nicht immer sind Dolmetscher vorhanden. Marius Martin und Michael Darmstadt, Absolventen des dualen Studiengangs Wirtschaftsinformatik an der Hochschule Mainz, wollten herausfinden ob es möglich ist, ein alltagstaugliches System zur Erkennung von Gebärden zu erstellen. Es sollte keine extra Hardware nötig sein und das System sollte eine flüssige Kommunikation zwischen Gehörlosen und Hörenden mit Hilfe technischer Unterstützung ermöglichen. Marius und Michael forschten daher an einer Gebärdenerkennung mittels einfacher Webcam und neuronalem Netz. Eine Herausforderung, denn Gebärdensprache ist komplex und unterscheidet sich wie andere Sprachen von Land zu Land und Region zu Region.

Vorgehensweise

• Nutzung des Google Frameworks MediaPipe für die Erkennung von Händen und Gesicht
• Erstellung von Trainingsvideos zum Trainieren eines neuronalen Netzes (über 3.000 Videos von insgesamt 12 Teilnehmern). Hierzu haben sie eine Website erstellt, die es auch Laien ermöglicht, solche Videos am PC aufzunehmen.
• Extrahierung der Positionsdaten der Hände und des Gesichts für jedes Bild der Videos  in CSV Dateien
• Training eines neuronalen Netzes: Mittels Keras und Weights & Biases + Google Cloud Ressourcen verschiedenste Konfigurationen von neuronalen Netzen ausprobiert. Ca. 70 Tage Rechenzeit.
• Bauen eines Prototypen auf Basis  des MediaPipe-Frameworks, der sich für Linux und später auch mal für mobile Endgeräte kompilieren lässt.
• Der Prototyp ist in der Lage 30 verschiedene Gebärden der deutschen Gebärdensprache zu erkennen. In kontrollierter Umgebung erreichten sie 96,7 % Genauigkeit.

Preis des Hochschulrates

Die Praxisorientierung und die Anwendung hochaktueller Technologien überzeugten den Hochschulrat der Hochschule Mainz, der die Arbeit mit einem Preis auszeichnete. Der Prototyp bildet eine gute Grundlage für weitere Arbeiten in dem Bereich, die in Zukunft zu einem Dolmetscher in der Hosentasche führen könnten, der eine einfache Kommunikation ermöglicht.

Von DATAGROUP bekam Marius spezielle Hardware, mit der sich neuronale Netze trainieren lassen, denn nicht jeder Standardcomputer hat die notwendige Rechenleistung. Nach seinem Abschluss arbeitet er weiter bei DATAGROUP und ist aktuell im Geschäftsbereich Medien als Berater und Softwareentwickler im Einsatz. „Das duale Studium bei DATAGROUP hat mir die Möglichkeit gegeben, Theorie mit Praxis zu verbinden.“, erklärt Marius. „Genau so sind wir auch bei unserer Abschlussarbeit vorgegangen. Es ist schön, dass ich bei DATAGROUP dabei unterstützt wurde und auch heute noch unterstützt werde, wenn ich mich weiterentwickeln und in neue Bereiche einarbeiten möchte.“