Ο ‘’εγκέφαλος’’ των Chatbots γερνά με το πέρασμα του χρόνου

Οι άνθρωποι δεν είναι οι μόνοι που χάνουν λίγο από την οξύνειά τους καθώς γερνούν.

Προγράμματα ΑΙ αρχίζουν να δείχνουν σημάδια ελαφράς νοητικής εξασθένησης καθώς γερνούν, αναφέρει νέα έρευνα στο BMJ.

Παλιότερες εκδόσεις chatbots, όπως ασθενείς μεγαλύτερης ηλικίας, τείνουν να έχουν χειρότερη επίδοση σε τεστ νοητικών ικανοτήτων.

Ο Dr. Roy Dayan, νευρολόγος στο Hebrew University, δήλωσε ότι οι νευρολόγοι δεν είναι πιθανό να αντικατασταθούν σύντομα από LLM και ότι τα ευρήματα υποδεικνύουν ότι μπορεί ενδεχομένως σύντομα να δουν τον εαυτό τους να αντιμετωπίζουν νέους ψηφιακούς ασθενείς-μοντέλα τεχνητής νοημοσύνης  να παρουσιάζονται με νοητική εξασθένηση. Οι ερευνητές αξιολόγησαν τις νοητικές ικανότητες των κύριων εμπορικά διαθέσιμων προγραμμάτων- γνωστά και ως LLM.

Η AI δοκιμάζεται για την ικανότητά της να συμβάλλει στην ιατρική αντιμετώπιση αλλά αν πρέπει να βασιστούμε στα LLM για ιατρική διάγνωση και περίθαλψη  θα πρέπει να εξετάσουμε την ευαλωτότητα σε ανθρώπινη βλάβη, όπως η νοητική εξασθένηση.

Tα προγράμματα AI απάντησαν σε ερωτήσεις του τεστ Montreal Cognitive Assessment (MoCA) που χρησιμοποιείται για τον έλεγχο σημαδιών εγκεφαλικής γήρανσης και πρώιμης άνοιας σε ηλικιωμένους.

Tο μέγιστο σκορ στο τεστ είναι 30 μονάδες, με ένα σκορ 26 ή μεγαλύτερο να θεωρείται φυσιολογικό.

Το ChatGPT 4o είχε το μεγαλύτερο σκορ στο τεστ, στα 26 στα 30, έδειξαν τα αποτελέσματα. Τα ChatGPT και Claude 3.5 “Sonnet” είχαν σκορ 25, και το Gemini 1.0 μόνο 16.

Όλα τα προγράμματα AI είχαν φτωχή απόδοση σε οπτικοχωρικές δεξιότητες και οργανωτικά καθήκοντα, όπως σύνδεση αριθμών και γραμμάτων με αύξουσα σειρά.

Tα chatbots φάνηκε να έχουν δυσκολία σε εργασίες που απαιτούσαν οπτική εκτελεστική λειτουργία και αφηρημένη συλλογιστική έναντι εργασιών που απαιτούν ανάλυση κειμένου και αφηρημένη συλλογιστική, όπως τεστ ομοιότητας που πραγματοποιήθηκαν χωρίς ψεγάδια.

Το μοτίβο βλάβης έμοιαζε με τους ασθενείς με oπίσθια φλοιϊκή ατροφία.

Επιπλέον, όπως στους ανθρώπους, η ηλικία είναι σημαντικός παράγοντας νοητικής εξασθένησης καθώς πιο γηρασμένα  chatbots, όπως ηλικιωμένοι ασθενείς, τείνουν να έχουν χειρότερη επίδοση σε τεστ MoCA.

Για παράδειγμα, τα μοντέλα Gemini 1.0 και Gemini 1.5 AI διέφεραν κατά 6 μονάδες στα αποτελέσματα των δοκιμών.

Καθώς οι 2 εκδόσεις Gemini έχουν διαφορά μικρότερη του έτους σε ηλικία, αυτό ενδεχομένως δείχνει άνοια ταχείας εξέλιξης.

Αυτά τα μειονεκτήματα υπογραμμίζουν τη μάχη που θα δώσει η τεχνητή νοημοσύνη όσον αφορά την αντικατάσταση των γιατρών.

Τα ευρήματα θέτουν σε αμφισβήτηση την υπόθεση ότι η τεχνητή νοημοσύνη σύντομα θα αντικαταστήσει τους γιατρούς, κατέληξε η ερευνητική ομάδα.

Πηγές:
BMJ.