MADRID, 22 (Portaltic/EP)
Google ha desenvolupat una eina per a dispositius mòbils que percep i interpreta els moviments i els gestos fets amb les mans en vídeo i en temps real que pot fer-se servir per a la interpretació de gestos i fins i tot de la llengua de signes.
L'equip d'investigadors d'intel·ligència artificial de Google ha presentat una funció per a mòbils Android que a través de la càmera percep els moviments i les formes de les mans a través de l'aprenentatge automàtic. El sistema està basat en un rastreig del palmell i els dits de la mà per després detectar 21 punts clau 3D d'un sol fotograma.
Google ha emprat la plataforma de codi obert MediaPipe per desenvolupar el projecte de percepció i segons l'empresa el model podria "formar la base per a la comprensió de la llengua de signes", així com altres funcions orientades a la realitat augmentada en les quals les mans se superposen al contingut digital.
El sistema està basat en tres parts diferents: un detector de palmells que retalla la forma de la mà del fotograma, un model que detecta punts de referència en 3D de la imatge retallada i un detector de gestos que classifica els punts claus configurats prèviament en un set de gestos.
Per detectar la forma del palmell de la mà empren un model de detecció de tret únic anomenat BlazePalm, que treballa en una varietat de grandàries de mans i té un abast de gran escala en relació amb el marc de la imatge. A més, és capaç de detectar mans tapades o sobreposades i té una precisió del 95,7 per cent, i supera en gairebé deu punts els sistemes anteriors.
La falta de característiques físiques i contrast de color a les mans fa que sigui relativament difícil detectar-les de manera precisa per això, que el model tingui context addicional, com les característiques del braç, el cos o la persona, ajuda a la localització de les mans. Google ha emprat un detector de palmell perquè en aprenentatge automàtic la detecció d'objectes rígids com els palmells i els punys és més simple que detectar mans amb dits articulats.
En segon lloc, després de la detecció del palmell, el model de punts de referència localitza els 21 punts clau 3D d'artells i dits dins de les diferents regions de la mà. Amb aquests punts obté una representació de postura interna de la mà i funciona fins i tot amb gestos parcialment visibles i dits autotapats.
Finalment el model aplica un algoritme per desxifrar els gestos que està fent la mà. Primer es detecta la posició dels dits: recte o doblegat. Després, comparen el conjunt de dits amb conjunts de gestos predeterminats amb la finalitat d'identificar el gest en qüestió. Ara com ara el model inclou gestos d'una varietat de cultures i diversos signes de mans com les xifres, 'el dit cap amunt', 'OK', 'yeah', 'rock i el gest d''Spiderman'.