Πρόγραμμα τεχνητής νοημοσύνης σε νοσοκομείο έχει παραισθήσεις

Ο τεχνολογικός κολοσσός OpenAI έχει διαφημίσει το εργαλείο μεταγραφής Whisper που τροφοδοτείται από τεχνητή νοημοσύνη ως εφαρμογή που έχει σχεδόν "ανθρώπινη στιβαρότητα και ακρίβεια".

Αλλά το Whisper έχει ένα σημαντικό ελάττωμα: είναι επιρρεπές στο να φτιάχνει κομμάτια κειμένου ή ακόμα και ολόκληρες προτάσεις, σύμφωνα με συνεντεύξεις με περισσότερους από δώδεκα μηχανικούς λογισμικού, προγραμματιστές και ακαδημαϊκούς ερευνητές. Αυτοί οι ειδικοί δήλωσαν ότι ορισμένα από τα επινοημένα κείμενα -γνωστά στη βιομηχανία ως παραισθήσεις- μπορεί να περιλαμβάνουν ρατσιστικά σχόλια, βίαιη ρητορική και ακόμη και φανταστικές ιατρικές θεραπείες.

Οι ειδικοί δήλωσαν ότι τέτοιες επινοήσεις είναι προβληματικές επειδή το Whisper χρησιμοποιείται σε μια σειρά από βιομηχανίες παγκοσμίως για τη μετάφραση και μεταγραφή συνεντεύξεων, τη δημιουργία κειμένου σε δημοφιλείς καταναλωτικές τεχνολογίες και τη δημιουργία υποτίτλων για βίντεο.

Πιο ανησυχητική, είπαν, είναι η βιασύνη των ιατρικών κέντρων να χρησιμοποιήσουν εργαλεία που βασίζονται στο Whisper για την απομαγνητοφώνηση των διαβουλεύσεων των ασθενών με τους γιατρούς, παρά τις προειδοποιήσεις του OpenAI ότι το εργαλείο δεν πρέπει να χρησιμοποιείται σε "τομείς υψηλού κινδύνου".

Η πλήρης έκταση του προβλήματος είναι δύσκολο να διακριβωθεί, αλλά ερευνητές και μηχανικοί δήλωσαν ότι συχνά έχουν συναντήσει τις παραισθήσεις του Whisper στη δουλειά τους.

Ένας ερευνητής του Πανεπιστημίου του Μίσιγκαν που διεξήγαγε μια μελέτη δημόσιων συνεδριάσεων, για παράδειγμα, δήλωσε ότι βρήκε ψευδαισθήσεις σε οκτώ από τις 10 ηχητικές μεταγραφές που επιθεώρησε, πριν αρχίσει να προσπαθεί να βελτιώσει το μοντέλο.

Ένας μηχανικός μηχανικής μάθησης δήλωσε ότι αρχικά ανακάλυψε ψευδαισθήσεις σε περίπου τις μισές από τις πάνω από 100 ώρες των μεταγραφών του Whisper που ανέλυσε. Ένας τρίτος προγραμματιστής δήλωσε ότι βρήκε παραισθήσεις σχεδόν σε κάθε μία από τις 26.000 μεταγραφές που δημιούργησε με το Whisper.

Τα προβλήματα επιμένουν ακόμη και σε καλά ηχογραφημένα, σύντομα δείγματα ήχου. Μια πρόσφατη μελέτη από επιστήμονες πληροφορικής αποκάλυψε 187 παραισθήσεις σε περισσότερα από 13.000 καθαρά ηχητικά αποσπάσματα που εξέτασαν.

Αυτή η τάση θα οδηγούσε σε δεκάδες χιλιάδες ελαττωματικές μεταγραφές σε εκατομμύρια ηχογραφήσεις, δήλωσαν οι ερευνητές.

Τέτοια λάθη θα μπορούσαν να έχουν "πραγματικά σοβαρές συνέπειες", ιδίως σε νοσοκομειακό περιβάλλον, δήλωσε η Alondra Nelson, η οποία ήταν επικεφαλής του Γραφείου Επιστημονικής και Τεχνολογικής Πολιτικής του Λευκού Οίκου για την κυβέρνηση Biden μέχρι πέρυσι.

"Κανείς δεν θέλει μια λανθασμένη διάγνωση", δήλωσε η Νέλσον, καθηγήτρια στο Ινστιτούτο Προηγμένων Μελετών στο Πρίνστον του Νιου Τζέρσεϊ. "Θα πρέπει να υπάρχει υψηλότερος πήχης".

Το Whisper χρησιμοποιείται επίσης για τη δημιουργία υπότιτλων για κωφούς και βαρήκοους - ένας πληθυσμός που διατρέχει ιδιαίτερο κίνδυνο εσφαλμένων μεταγραφών. Αυτό συμβαίνει επειδή οι κωφοί και οι βαρήκοοι δεν έχουν τρόπο να εντοπίσουν τις επινοήσεις που "κρύβονται ανάμεσα σε όλο αυτό το άλλο κείμενο", δήλωσε ο Christian Vogler, ο οποίος είναι κωφός και διευθύνει το Πρόγραμμα Τεχνολογικής Πρόσβασης του Πανεπιστημίου Gallaudet.

Το OpenAI καλείται να αντιμετωπίσει το πρόβλημα

Η επικράτηση τέτοιων ψευδαισθήσεων οδήγησε ειδικούς, υποστηρικτές και πρώην υπαλλήλους του OpenAI να καλέσουν την ομοσπονδιακή κυβέρνηση να εξετάσει κανονισμούς για την τεχνητή νοημοσύνη. Στο ελάχιστο, είπαν, το OpenAI πρέπει να αντιμετωπίσει το ελάττωμα.

"Αυτό φαίνεται επιλύσιμο, αν η εταιρεία είναι πρόθυμη να το θέσει ως προτεραιότητα", δήλωσε ο William Saunders, ερευνητής μηχανικός με έδρα το Σαν Φρανσίσκο, ο οποίος παραιτήθηκε από την OpenAI τον Φεβρουάριο λόγω ανησυχιών για την κατεύθυνση της εταιρείας. "Είναι προβληματικό αν το βγάλεις αυτό εκεί έξω και οι άνθρωποι είναι υπερβολικά σίγουροι για το τι μπορεί να κάνει και το ενσωματώνουν σε όλα αυτά τα άλλα συστήματα".

Εκπρόσωπος της OpenAI δήλωσε ότι η εταιρεία μελετά συνεχώς πώς να μειώσει τις παραισθήσεις και εκτίμησε τα ευρήματα των ερευνητών, προσθέτοντας ότι η OpenAI ενσωματώνει την ανατροφοδότηση στις ενημερώσεις των μοντέλων.

Ενώ οι περισσότεροι προγραμματιστές υποθέτουν ότι τα εργαλεία μεταγραφής γράφουν λάθος λέξεις ή κάνουν άλλα λάθη, οι μηχανικοί και οι ερευνητές δήλωσαν ότι δεν είχαν δει ποτέ άλλο εργαλείο μεταγραφής με τεχνητή νοημοσύνη να έχει παραισθήσεις τόσο πολύ όσο το Whisper.

Παραισθήσεις

Το εργαλείο είναι ενσωματωμένο σε ορισμένες εκδόσεις της ναυαρχίδας της OpenAI, του chatbot ChatGPT, και αποτελεί ενσωματωμένη προσφορά στις πλατφόρμες υπολογιστικού νέφους της Oracle και της Microsoft, οι οποίες εξυπηρετούν χιλιάδες εταιρείες παγκοσμίως. Χρησιμοποιείται επίσης για τη μεταγραφή και τη μετάφραση κειμένου σε πολλές γλώσσες.

Μόνο τον τελευταίο μήνα, μια πρόσφατη έκδοση του Whisper κατέβηκε πάνω από 4,2 εκατομμύρια φορές από την πλατφόρμα τεχνητής νοημοσύνης ανοικτού κώδικα HuggingFace. Ο Sanchit Gandhi, μηχανικός μηχανικής μάθησης εκεί, δήλωσε ότι το Whisper είναι το πιο δημοφιλές μοντέλο αναγνώρισης ομιλίας ανοιχτού κώδικα και είναι ενσωματωμένο σε όλα τα συστήματα, από τηλεφωνικά κέντρα μέχρι βοηθούς φωνής.

Οι καθηγήτριες Allison Koenecke του Πανεπιστημίου Cornell και Mona Sloane του Πανεπιστημίου της Βιρτζίνια εξέτασαν χιλιάδες σύντομα αποσπάσματα που έλαβαν από την TalkBank, ένα ερευνητικό αποθετήριο που φιλοξενείται στο Πανεπιστήμιο Carnegie Mellon. Διαπίστωσαν ότι σχεδόν το 40% των παραισθήσεων ήταν επιβλαβείς ή ανησυχητικές, επειδή ο ομιλητής θα μπορούσε να παρερμηνευτεί ή να παραποιηθεί.

Σε ένα παράδειγμα που αποκάλυψαν, ένας ομιλητής είπε: "Αυτός, το αγόρι, επρόκειτο, δεν είμαι σίγουρος ακριβώς, να πάρει την ομπρέλα".

Αλλά το λογισμικό μεταγραφής πρόσθεσε: "Πήρε ένα μεγάλο κομμάτι από έναν σταυρό, ένα μικροσκοπικό, μικρό κομμάτι ... Είμαι σίγουρος ότι δεν είχε ένα μαχαίρι τρόμου και έτσι σκότωσε αρκετούς ανθρώπους".

Ένας ομιλητής σε μια άλλη ηχογράφηση περιέγραψε "άλλα δύο κορίτσια και μια κυρία". Το AI επινόησε επιπλέον σχόλια για τη φυλή, προσθέτοντας "δύο άλλα κορίτσια και μια κυρία, οι οποίες ήταν μαύρες". Σε μια τρίτη μεταγραφή, το Whisper επινόησε ένα ανύπαρκτο φάρμακο.

Οι ερευνητές δεν είναι σίγουροι γιατί το Whisper και παρόμοια εργαλεία έχουν παραισθήσεις, αλλά οι προγραμματιστές λογισμικού δήλωσαν ότι οι επινοήσεις τείνουν να συμβαίνουν εν μέσω παύσεων, ήχων στο παρασκήνιο ή αναπαραγωγής μουσικής.

Το OpenAI συνέστησε στις διαδικτυακές του γνωστοποιήσεις να μην χρησιμοποιείται το Whisper σε "πλαίσια λήψης αποφάσεων, όπου οι ατέλειες στην ακρίβεια μπορούν να οδηγήσουν σε έντονες ατέλειες στα αποτελέσματα".

Απομαγνητοφώνηση ραντεβού με γιατρούς

Αυτή η προειδοποίηση δεν εμπόδισε τα νοσοκομεία ή τα ιατρικά κέντρα να χρησιμοποιούν μοντέλα μετατροπής ομιλίας σε κείμενο, συμπεριλαμβανομένου του Whisper, για την απομαγνητοφώνηση όσων λέγονται κατά τη διάρκεια ιατρικών επισκέψεων, ώστε να απελευθερώσουν τους ιατρικούς παρόχους ώστε να ξοδεύουν λιγότερο χρόνο για την τήρηση σημειώσεων ή τη σύνταξη εκθέσεων.

Πάνω από 30.000 κλινικοί γιατροί και 40 συστήματα υγείας έχουν αρχίσει να χρησιμοποιούν ένα εργαλείο με βάση το Whisper που κατασκευάστηκε από τη Nabla, η οποία έχει γραφεία στη Γαλλία και τις ΗΠΑ.

Το εν λόγω εργαλείο τελειοποιήθηκε στην ιατρική γλώσσα για να μεταγράφει και να συνοψίζει τις αλληλεπιδράσεις των ασθενών, δήλωσε ο επικεφαλής τεχνολογίας της Nabla, Martin Raison. Αξιωματούχοι της εταιρείας δήλωσαν ότι γνωρίζουν ότι το Whisper μπορεί να δημιουργεί παραισθήσεις και αντιμετωπίζουν το πρόβλημα.

Είναι αδύνατο να συγκρίνουμε την απομαγνητοφώνηση που παράγει η τεχνητή νοημοσύνη της Nabla με την αρχική ηχογράφηση, επειδή το εργαλείο της Nabla διαγράφει τον αρχικό ήχο για "λόγους ασφάλειας δεδομένων", δήλωσε ο Raison.

Η Nabla δήλωσε ότι το εργαλείο έχει χρησιμοποιηθεί για την απομαγνητοφώνηση περίπου 7 εκατομμυρίων ιατρικών επισκέψεων.

Ο Saunders, ο πρώην μηχανικός του OpenAI, δήλωσε ότι η διαγραφή του αρχικού ήχου θα μπορούσε να είναι ανησυχητική εάν οι μεταγραφές δεν ελέγχονται διπλά ή οι κλινικοί γιατροί δεν μπορούν να έχουν πρόσβαση στην ηχογράφηση για να επαληθεύσουν ότι είναι σωστές.

"Δεν μπορείτε να εντοπίσετε λάθη εάν αφαιρέσετε την βασική αλήθεια", δήλωσε.

Η Nabla δήλωσε ότι κανένα μοντέλο δεν είναι τέλειο και ότι το δικό τους απαιτεί επί του παρόντος από τους ιατρικούς παρόχους να επεξεργάζονται και να εγκρίνουν γρήγορα τις μεταγραμμένες σημειώσεις, αλλά αυτό θα μπορούσε να αλλάξει.

Ανησυχίες σχετικά με την προστασία της ιδιωτικής ζωής

Επειδή οι συναντήσεις των ασθενών με τους γιατρούς τους είναι εμπιστευτικές, είναι δύσκολο να γνωρίζουμε πώς τους επηρεάζουν οι απομαγνητοφωνήσεις που δημιουργούνται από την τεχνητή νοημοσύνη.

Μια πολιτειακή νομοθέτης της Καλιφόρνια, η Rebecca Bauer-Kahan, δήλωσε ότι πήγε ένα από τα παιδιά της στο γιατρό νωρίτερα φέτος και αρνήθηκε να υπογράψει ένα έντυπο που της παρείχε το δίκτυο υγείας και το οποίο ζητούσε την άδειά της να μοιραστεί τον ήχο της διαβούλευσης με προμηθευτές που περιλάμβαναν το Microsoft Azure, το σύστημα υπολογιστικού νέφους που διαχειρίζεται ο μεγαλύτερος επενδυτής του OpenAI. Η Bauer-Kahan δεν ήθελε να μοιράζονται τέτοιες προσωπικές ιατρικές συζητήσεις με εταιρείες τεχνολογίας, είπε.

Με πληροφορίες από AP 

Οι πιο πρόσφατες Ειδήσεις

Διαβάστε πρώτοι τις Ειδήσεις για πολιτικές εξελίξεις, συνεντεύξεις διασήμων, συμβουλές για αντρική μόδα και συνταγές για φαγητό και πότο στο esquire.com.gr