Sähköhansikkaat tulkkaavat viittomat puheeksi

Nyt kuulovammaiset voivat viittoa myös ihmisille, jotka eivät ymmärrä viittomakieltä.

Nyt kuulovammaiset voivat viittoa myös ihmisille, jotka eivät ymmärrä viittomakieltä.

Jun Lab/UCLA

Hiljattain kehitetyt hansikkaat on varustettu liikeantureilla, jotka älypuhelinsovelluksen avulla kääntävät viittomat puheeksi.

Antureita on sijoitettu hansikkaan kaikkiin sormiin ja ne rekisteröivät liikkeet, jota kuulo- ja puhevammaiset käyttävät kirjaimia ja käsitteitä vastaavien viittomien tuottamiseen.

Liikkeet muunnetaan sähkösignaaleiksi, jotka siirtyvät ranteessa olevasta lähettimestä puhelimeen puheeksi käännettäväksi.

Iloa jopa 500 000 ihmiselle

Hansikkaat ovat yhdysvaltalaisen Kalifornian yliopiston tutkijoiden kehittämät, ja tällä hetkellä ne ja sovellus on suunniteltu amerikkalaisen viittomakielen tulkkaamiseen. Pelkästään Yhdysvalloissa viittomakieltä käyttää pääasiallisena viestintätapanaan yli 500 000 ihmistä.

Käännösohjelmisto on kehitetty koneoppimisen avulla. Siinä algoritmi kehittyy kokemusten avulla. Sovellusta testattiin neljällä kuulovammaisella, jotka toistivat kunkin viittoman 15 kertaa. Hansikas ja sovellus oppivat tunnistamaan ja kääntämään 660 viittomaa.

Kirjainten ja lukujen viittomien lisäksi sovellus osaa tulkata kokonaisia sanoja ja viittomayhdistelmiä, joita viittomakielessä käytetään. Se ymmärtää esimerkiksi, että sormien asento, jossa yhdistyvät kirjaimet I, L ja Y, merkitsee ”I love you”.