Minden szenzor egy bizonyos térbeli pozícióért felelős, a 12 szenzor együttes munkája pedig kiadja a jelnyelv mozdulatait. Ezt egy különleges szoftver bluetooth segítségével átviszi a felhasználó okostelefonjára, mely a jeleket betűkre fordítja, azokat mondatokká alakítja, és végül egy másik – a legújabb mobilokba már beépített – program a szöveget hangosan felolvassa a szemben álló embernek.
A Harry Potter-könyvek alapján készítettek szoftvert a szó- és szópárgyakorisági adatbázishoz
Ez így roppant egyszerűen hangzik, mégsem találkozunk ilyen eszközökkel. Mint Mátételki Péter, a projekt MTA SZTAKI-beli felelőse lapunknak elmondta, volt már néhány ilyen irányú próbálkozás a világban, de használható eszközt eddig sehol nem sikerült készíteni. Jórészt a szenzortechnika nem volt még elég fejlett, hogy megfelelő szoftvert lehessen hozzá konstruálni – teszi hozzá.
Nekik sem volt könnyű dolguk, a működő modell már a sokadik verzió. Hol a vezetékezéssel volt gond, hol a szenzorok vezérlésével, hol a kesztyű anyagával. Próbálkoztak bőrrel, műanyaggal, végül a szerelőkesztyű textilanyagánál maradtak. A kesztyű a telefonnak másodpercenként 30-szor közvetíti a kéz gesztusait, és ezekből egy okos algoritmus válogatja ki az értékeseket, amiket betűkre kell lefordítani.
A felhasználónak alapesetben semmi dolga nincs, a mobil a zsebében lapul és onnan „beszél” a másik emberrel. Ám ha annak arcán értetlenség látszik, a mobil képernyőjén különböző háttérszínek segítségével követni (és esetleg korrigálni) lehet, mi hangzott el eddig, hol tart a kommunikáció és mit fog még mondani.
Fontos az is, hogy míg hazánkban az általános jeleléshez mindkét kéz, a karok, sőt a mimika is társul, itt egy angolszász területekről jött és a fiatalabbak között mindinkább hódító egykezes – nemzetközi – jelnyelvet használnak betűzésre. Míg a hagyományos jelnyelv tízezer jelet használ, a betű ábécében 26 alap- és néhány kiegészítő jelet használnak.
Az MTA SZTAKI szoftvere úgy készült, hogy a gyakorlatban elsajátítható néhány száz gesztusjel megtanulására is legyen benne tartalék. Sőt a kesztyűt az alapbeállításban lévő jeleken túl, személyesen is „testre” lehet szabni, vagyis minden felhasználó megtaníthatja az eszközt saját jeleire. Ezeket a jeleket egy online közösségi portálon a társakkal meg is lehet osztani, böngészhetők és le is tölthetők a saját telefonra.
A fejlesztők csak az egyik irányú kommunikációt segítik a kesztyűvel, ugyanis a siketek képesek szájról olvasni. Egyelőre androidos és windowsos változat készült el, az iPhone-os bluetooth-kapcsolat megteremtésén jelenleg is dolgoznak. A termékig azonban még sok a teendő.
Most angol nyelven működik a rendszer, amelynek adatbázisát nem a maitól már idegen, múlt század eleji beszédre alapult Google Books szókészletére építették, hanem a Harry Potter-könyvek alapján készítettek szoftvert a szó- és szópárgyakorisági adatbázishoz, de a felhasználók saját szokásaikhoz igazodva olyan szövegállománnyal taníthatják be a telefont, ami nekik jólesik.
Az algoritmus azonban nyelvfüggetlen, tehát bármilyen szöveg adatbázisa felhasználható, most már csak a magyar felolvasó program hiányzik, de vélhetően, mire a kesztyű a hazai boltokba kerül, ez sem lesz gond.
