2. Hackathon: Gebärdensprache verstehen


Mehr als ein Jahr ist seit dem ersten Ehrenmüller-Hackathon bereits vergangen, weswegen es letzte Woche Zeit für den nächsten Anlauf wurde. Erfreulicherweise konnte dieser aufgrund der gelockerten Corona-Situation und einem Testangebot in Person durchgeführt werden. Bis auf den räumlichen Unterschied verlief der Hackathon ähnlich zum ersten Durchlauf: Ein ganzer Arbeitstag stand den Mitarbeitern zur Verfügung, um gemeinsam an einem Prototyp zu arbeiten. In diesem Blogartikel möchten wir unsere Ergebnisse teilen, aber auch weitere Einblicke in das Thema und die Vorgehensweise ermöglichen.

Die Vorbereitung:

Bereits im Vorfeld hatte jeder Mitarbeiter die Möglichkeit, ein oder mehrere Themenvorschläge einzureichen. Im Anschluss wurde demokratisch abgestimmt, wobei eine Idee mit deutlicher Mehrheit gewählt wurde: Eine Smartphone-App, die eine Übersetzung von Gebärdensprache ermöglichen soll. Bei der anschließenden Recherche sowie Terminen mit dem Bundesverband für Gehörlose und dem Landesverband Bayern für Gehörlose wurde die Komplexität der Thematik deutlich. Neben mehreren Dialekten allein innerhalb Deutschlands spielt bei der Gebärdensprache auch die Mimik eine große Rolle. Ein Prototyp, welcher neben der Handgeste auch die Mimik erkennt, schien für einen eintägigen Hackathon zu umfangreich. Deswegen verständigten sich alle Beteiligten auf ein Ziel: Eine Smartphone-App, welche einzelne Buchstaben des Fingeralphabets übersetzen kann. Trotz des angepassten Ziels eine durchaus anspruchsvolle Aufgabe.

draw.io
Links: Das Engineering-Team bei der Arbeit am Frontend der Anwendung. Rechts: Das Team-Data-Science arbeitet an der Objekterkennung.

Der Ablauf:

Der Hackathon startete mit einem gemeinsamen Briefing. Hier wurde das Thema sowie die Hintergründe erläutert und erste organisatorische Entscheidungen getroffen. So wurden insgesamt drei Aufgabengebiete definiert: Die Erhebung der Trainings- und Testdaten, die Auswahl und Bereitstellung des passenden KI-Modells sowie das Erstellen des Front- und Backends der Applikation. Im Anschluss wurden die Arbeitspakete verteilt. Analog zu der Anzahl an Aufgaben entstanden so drei Gruppen, welche sich mit jeweils einem Thema beschäftigten. In regelmäßigen Abständen kam das gesamte Team zusammen, um sich über neue Erkenntnisse auszutauschen und die weitere Vorgehensweise zu diskutieren. Eine Aufgabe, bei der jeder helfen konnte, war das Erstellen eines passenden Datensatzes. Um das Modell mit genügend Daten zu beliefern, durfte jeder Mitarbeiter das Fingeralphabet dreimal vor unterschiedlichen Hintergründen buchstabieren. Dabei wurde jeder einzelner Buchstabe fotografiert und gekennzeichnet. So ergab sich ein Datensatz von mehreren hundert Bildern, welche dem KI-Modell zur Verfügung standen. Die Aufgabe des Modells war es dann, die jeweilige Fingerposition zu erkennen und einer Übersetzung zuzuordnen.

hand_detection
Erkennung der Fingerstellung mittels Objekterkennung.

Am Ende wurde der entstandene Prototyp gemeinsam getestet. Außerdem wurden die gesammelten Erfahrungen und Erkenntnisse ausgetauscht und diskutiert.

Das Fazit:

Wie bereits im letzten Jahr fiel unser Fazit durchweg sehr positiv aus. Auch sind wir immer wieder davon überrascht, wie viel in kurzer Zeit erzielt werden kann, wenn das gesamte Team zusammenarbeitet. Außerdem haben wir einen sehr interessanten Einblick in die Welt der Gebärdensprache erhalten. Niemandem von uns war es bewusst, wie komplex und vielfältig diese Sprache ist. Auch wenn der entstandene Prototyp mit Sicherheit noch Verbesserungsbedarf hat, sind wir mit dem Ergebnis sehr zufrieden. Unserer Meinung nach haben wir das gesetzte Ziel erreicht: Der Nutzer startet die App auf seinem Smartphone und fotografiert eine Handgeste oder wählt ein bereits gespeichertes Bild aus seiner Galerie aus, woraufhin die Datei verschlüsselt an eine Cloud-Anwendung gesendet wird. Dort wird das Bild durch das KI-Modell analysiert und einem Buchstaben zugeordnet. Zuletzt sendet die Anwendung das Ergebnis zurück an das Smartphone. Wir freuen uns schon auf den nächsten Hackathon!

Jamboard
Unser Prototyp zur Erkennung des Fingeralphabets.



Wollen Sie in Zukunft benachrichtigt werden, wenn es wieder einen neuen Blogartikel gibt?
Folgen Sie uns auf LinkedIn und bleiben Sie immer up to date.

Bringen Sie Ihr Unternehmen auf die nächste Stufe!

Wir entwickeln KI-Lösungen für den innovativen Mittelstand.