Nieuws
03 december 2018 - Luc Meijs

Huawei’s AI technologie helpt dove kinderen leren lezen Tekst naar gebarentaal dankzij artificial intelligence

Huawei introduceert vandaag een nieuwe app, aangedreven door AI om dove kinderen te helpen met lezen. Met deze app kun je simpelweg zinnen scannen om deze om te laten zetten tot een animatie met gebarentaal. Huawei wil hiermee de wereld van boeken toegankelijker maken voor dove kinderen, dit alles dankzij de snelle ontwikkeling van artificial intelligence.
 
StorySign, een voorbeeld hoe AI kan bijdragen aan maatschappelijke problemen
 
Volgens Huawei is StorySign een van de apps welke dankzij AI een verschil kan maken in de wereld m.b.t. maatschappelijke problemen, en heeft deze dan ook ontwikkeld met experts en goede doelen, zoals de Europese en de Britse dovenbond. De app helpt ouders om samen met hun kind(eren) boeken en verhalen makkelijker naar gebarentaal over te brengen, op een leuke intuïtieve manier. In de App StorySign wordt door middel van Avater genaamd ‘’Star’’, tekst welke je met je camera scant naar gebarentaal omgezet. In het promotie filmpje hieronder is te zien hoe een passage uit het boek ‘’Waar is Dribbel’’ wordt omgezet via Star naar gebarentaal.
 
Voor de animaties van Star zouden de exacte gezichtsuitdrukkingen van gebarentolken gebruikt zijn voor een zo reëel mogelijke animatie. De app ondersteund direct bij de release 10 gebarentalen, namelijk: Brits, Frans, Duits, Italiaans, Spaans, Nederlands, Portugees, Iers, Vlaams en Zwitserduits. Vooralsnog is enkel het boek van Dribbel vertaalt bij deze release, echter zullen er snel meer boeken volgen. Voor de werking van de App moet je beschikken over het fysieke exemplaar van het boek en een Android smartphone. In de app download je het boek (in dit geval ‘’Waar is Dribbel?’’) en vervolgens scan je met de camera van je telefoon de woorden op de pagina’s van het fysieke boek. Het vertalen zal vervolgens geheel op eigen tempo in te stellen zijn zodat ouders en kinderen samen op hun eigen gemak de gebarentaal aanleren en leren lezen. De app maakt verder nog gebruik van ‘’OCR’’ ofwel Image Recognition en Optical Character Recognition, hiermee zou de app nauwkeuriger werken en de scanhoek van je smartphone geen invloed mogen hebben op de gebruikerservaring. StorySign is vanaf vandaag gratis te downloaden via de Google Play Store en de Huawei App gallery.
 
Dit alles is een mooie stap in de richting waar AI daadwerkelijk in het dagelijks leven kan helpen met maatschappelijke problemen, ik ben benieuwd wat de volgende stappen zullen brengen met deze technologie.
 
Huawei geeft verder aan dat er een mogelijkheid is tot donaties, welke ten goede komen aan FODOK (Federatie voor Ouders van Dove Kinderen). Deze donaties zullen worden besteed aan projecten om dove kinderen verder te helpen met hun taalontwikkeling, waaronder ook nieuwe boeken voor StorySign. De donatie link vind je hier