Hear: Een app voor doven?

Dit project heb ik gedaan in opdracht van Project B van het bedrijf Sogeti, een onderdeel van Capgemini.

Het project stond ook onder de naam Emerging technolgies, met als doel om een product te bouwen voor mensen met een beperking.

Wij hadden gekozen voor mensen met een auditieve beperking, dus doven en slechthorenden. Als product hebben we een app gemaakt, de app had de volgende features:

  • Spraak-naar-tekst
  • Tekst-naar-Spraak
  • Gebarenherkenning

Source Code

Download Link

App hear APK

Gebarenherkenning

Gebarenherkenning was één van de moeilijkste features, deze is ook alleen maar gedeeltelijk uitgewerkt door middel van een Tensorflow machine learning algoritme. Kijk op mijn GiTHub voor meer info. Het is de basis voor image recognition, gemaakt met behulp van deze tutorial.

We hebben hier heel veel foto's van handgebaren gemaakt om een algoritme te trainen:

gebaren dataset

Die vervolgens te labelen door alles in mapjes te zetten, beginnend met de getallen 1 t/m 10:

mapjes labelen

Om tenslotte een nieuw gebaar te tonen en het algoritme een voorspelling te laten maken:

voorspelling

Datum: 2018-02-07