Μια ερευνητική ομάδα από το Πανεπιστήμιο Cornell της Νέας Υόρκης ανέπτυξε ένα δαχτυλίδι με τεχνητή νοημοσύνη που ονομάζεται SpellRing και μπορεί να αναγνωρίζει σε πραγματικό χρόνο τις χειρονομίες στην Αμερικανική Νοηματική Γλώσσα (ASL).
Το SpellRing χρησιμοποιεί μικροσόναρ για να παρακολουθεί με ακρίβεια την κίνηση των δαχτύλων, ανοίγοντας τον δρόμο για νέες δυνατότητες επικοινωνίας.
Οι δυνατότητες του SpellRing
Στην παρούσα μορφή του, το SpellRing επιτρέπει την εισαγωγή κειμένου σε υπολογιστές και smartphones μέσω χειρονομιών, το οποίο χρησιμοποιείται για λέξεις χωρίς συγκεκριμένα νοήματα, όπως ονόματα και τεχνικοί όροι. Με μελλοντικές βελτιώσεις, θα μπορούσε να καταγράψει ολόκληρες προτάσεις στη νοηματική γλώσσα, καθιστώντας τη μετάφραση πιο άμεση και ακριβή.
"Πολλές τεχνολογίες αναγνώρισης της νοηματικής δεν έχουν υιοθετηθεί από την κοινότητα των κωφών και βαρήκοων, επειδή είναι ογκώδεις και δύσχρηστες”, εξηγεί ο Hyunchul Lim, διδακτορικός φοιτητής και επικεφαλής της έρευνας. "Θέλαμε να δημιουργήσουμε ένα απλό δαχτυλίδι που θα μπορεί να συλλαμβάνει τις περίπλοκες κινήσεις των δακτύλων στην ASL”.
Πώς λειτουργεί
Το SpellRing, που αναπτύχθηκε στο SciFi Lab του Cornell, φοριέται στον αντίχειρα και διαθέτει μικρόφωνο και ηχείο, τα οποία εκπέμπουν και λαμβάνουν ήχους πέρα από το ακουστό φάσμα. Αυτοί οι ήχοι βοηθούν στη χαρτογράφηση της κίνησης του χεριού, ενώ ένα μικροσκοπικό γυροσκόπιο καταγράφει τη συνολική κίνηση. Όλα αυτά είναι ενσωματωμένα σε ένα δαχτυλίδι μικρότερο από ένα αμερικανικό νόμισμα των 25 σεντς.
Η τεχνητή νοημοσύνη που βρίσκεται στο επίκεντρο του SpellRing επεξεργάζεται τις ηχητικές εικόνες και αναγνωρίζει τα γράμματα του ASL με ακρίβεια συγκρίσιμη με μεγαλύτερα και πιο περίπλοκα συστήματα. Οι δοκιμές σε 20 χρήστες έδειξαν ακρίβεια από 82% έως 92%, ανάλογα με τη δυσκολία των λέξεων.
"Υπάρχει πάντα ένα χάσμα μεταξύ αυτών που αναπτύσσουν την τεχνολογία και εκείνων που τη χρησιμοποιούν,” σημειώνει ο Cheng Zhang, αναπληρωτής καθηγητής και συν-συγγραφέας της μελέτης. "Με το SpellRing, προσπαθήσαμε να μειώσουμε αυτή την απόσταση.”
Ένα από τα μεγαλύτερα τεχνικά εμπόδια ήταν η εκπαίδευση της AI να αναγνωρίζει και τις 26 χειρομορφές του αγγλικού αλφαβήτου, καθώς οι χρήστες συχνά παραλλάσσουν τις κινήσεις τους για ταχύτητα και άνεση. "Η διαφορά μεταξύ κάποιων γραμμάτων είναι πολύ μικρή, γεγονός που δυσκολεύει την αναγνώριση,” λέει ο Zhang.
Το SpellRing βασίζεται σε προηγούμενες έρευνες του SciFi Lab, που έχει αναπτύξει wearable συσκευές με μικροσόναρ για εικονική πραγματικότητα, αναγνώριση σιωπηρής ομιλίας και εκφράσεις προσώπου. "Ενώ όλοι μιλούν για τα μεγάλα γλωσσικά μοντέλα, η μηχανική μάθηση μας βοηθά να αισθανθούμε τον κόσμο με νέους τρόπους,” αναφέρει ο François Guimbretière, καθηγητής Πληροφορικής και συν-συγγραφέας της μελέτης.
"Θέλαμε να διασφαλίσουμε ότι σεβόμαστε την κοινότητα της ASL,” προσθέτει η Jane Lu, διδακτορική φοιτήτρια Γλωσσολογίας. "Το fingerspelling είναι μόνο ένα μέρος της γλώσσας – έχουμε ακόμη δρόμο να διανύσουμε για την πλήρη αναγνώριση της νοηματικής.”
Στα επόμενα βήματα, οι ερευνητές σχεδιάζουν να ενσωματώσουν το μικροσόναρ σε γυαλιά, ώστε να καταγράφουν και τις εκφράσεις του προσώπου και την κίνηση του πάνω μέρους του σώματος, προσφέροντας μια πιο ολοκληρωμένη λύση για τη μετάφραση της ASL.
Ακολούθησε το Esquire στο Facebook, το Twitter και το Instagram.