Ιωάννα Μαλαγαρδή: Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ) (Large Language Models – LLMs)

 Ιωάννα Δ. Μαλαγαρδή*

Τα συστήματα Τεχνητής Νοημοσύνης (ΤΝ) ανήκουν σε δεκάδες επιμέρους τομείς που χωρίζονται σε δύο μεγάλες κατηγορίες, ήτοι σε στατιστικά και συμβολικά συστήματα. Τα βασισμένα σε Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ) (Large Language Models – LLMs) είναι σύγχρονα στατιστικά υπολογιστικά συστήματα που έχουν σχεδιαστεί για να επεξεργάζονται και να παράγουν κείμενα φυσικής γλώσσας και ανήκουν στον έναν από τους πολλούς τομείς της ΤΝ δηλ. στον τομέα της Μηχανικής Μάθησης (ΜΜ). Ο τομέας της ΜΜ έχει πολλούς υποτομείς όπως είναι η Παραγωγή Δένδρων Αποφάσεων από Δεδομένα (Decision Tree Generation), η Μάθηση από Εξήγηση (Explanation Based Learning) και Βαθεία Μάθηση (Deep Learning) που χρησιμοποιείται για την παραγωγή των LLMs. Αυτά τα μοντέλα εκπαιδεύονται με τεράστιες ποσότητες κειμένου και χρησιμοποιούν ως τεχνικές μηχανικής μάθησης κυρίως νευρωνικά δίκτυα. Τα μεγάλα γλωσσικά μοντέλα (LLMs) έχουν φέρει μια νέα δημοφιλή πρακτική στον τομέα της επεξεργασίας φυσικής γλώσσας, αλλά έχουν και αρκετούς περιορισμούς. Μερικά γνωστά LLM- based Chatbots είναι τα GPT-3, GPT-4, GPT-5 που αναπτύχθηκαν από την OpenAI, LaMDA (Bard), BLOOM,  XLNeT κ.ά. Τα συμβολικά συστήματα στηρίζονται κυρίως στην κωδικοποίηση ανθρώπινης γνώσης ενώ τα LLMs είναι αποτέλεσμα στατιστικής της διαδοχής των λέξεων. Τα LLMs εξυπηρετούν εφαρμογές πολλών ειδών, η χρήση τους γίνεται κυρίως με τη χρήση Chatbot και παρόμοιων εργαλείων επικοινωνίας ανθρώπου μηχανής που χρησιμοποιούνται για τη δημιουργία και την επεξεργασία κειμένου.

Τον Δεκέμβριο του 2015 ανακοινώθηκε η ίδρυση του μη κερδοσκοπικού ιδρύματος έρευνας OPEN AI (Articicial Intelligence). Το Νοέμβριο του 2022 η εταιρία παρουσίασε την νεότερη έκδοση του ChatGPT (Generative Pretrained Transformer). Ο όρος chat παραπέμπει στη επικοινωνία δια του λόγου ανθρώπου- μηχανής. Πρόκειται για ένα υπολογιστικό σύστημα το οποίο απαντά σε υποβαλλόμενες ερωτήσεις σε φυσική γλώσσα και έχει εκπαιδευτεί με στατιστικές μεθόδους βαθείας μάθησης (deep learning). Η τεχνολογία Απάντησης Ερωτήσεων (Question Answering) (QA), η οποία είναι κλάδος της Τεχνητής Νοημοσύνης (ΤΝ) που στηρίζεται στη δημιουργία αλγορίθμων και συστημάτων τα οποία μπορούν να απαντήσουν αυτομάτως σε ερωτήσεις που τίθενται από τον χρήστη σε φυσική γλώσσα. Αυτά τα συστήματα εν αντιθέσει με τα LLMs χρησιμοποιούν διάφορες τεχνικές όπως επεξεργασία φυσικής γλώσσας, μηχανική μάθηση, αναπαράσταση γνώσης, ώστε να αναλύσουν την ερώτηση και να αντλήσουν την κατάλληλη απάντηση από μεγάλες βάσεις δεδομένων και κειμένων.

Ενώ τα εργαλεία LLMs μπορεί να είναι ενίοτε χρήσιμα, πρέπει να σημειωθεί ότι κατά καιρούς το περιεχόμενο που δημιουργείται από αυτά μπορεί να είναι εντελώς ψευδές, με ανύπαρκτες παραπομπές, κ.λπ. Το περιεχόμενο που δημιουργείται από τα συνήθη LLMs είναι μη επαληθεύσιμο λόγω μη αναφοράς των πηγών ελλείψει της δυνατότητας αυτής του μηχανισμού. Νεότερες όμως βελτιωμένες εκδόσεις αναφέρονται σε πηγές. Μπορεί επίσης να απαντά το σύστημα με κείμενα με περιεχόμενο επηρεασμένο από προκαταλήψεις ή σε κάποιες περιπτώσεις να παραβιάζονται πνευματικά δικαιώματα. Οι χρήστες που δεν έχουν πλήρη επίγνωση των εν λόγω κινδύνων δεν πρέπει να κάνουν εργασίες με τη βοήθεια αυτών των εργαλείων. Τα LLMs δεν πρέπει να χρησιμοποιούνται για εργασίες με τις οποίες ο χρήστης δεν έχει ουσιαστική εξοικείωση σε παρόμοια κείμενα. Τα αποτελέσματά τους πρέπει να ελέγχονται αυστηρά για συμμόρφωση με όλες τις ισχύουσες πολιτικές. Όπως συμβαίνει με όλες τις δημοσιεύσεις ο συντάκτης είναι πλήρως υπεύθυνος για το περιεχόμενο που δημοσιεύεται με την βοήθεια των LLMs. Επιπλέον, η χρήση LLMs για τη δημιουργία ή την τροποποίηση κειμένου θα πρέπει να δηλώνεται στην εισαγωγή του κάθε κειμένου.

Αναφέρονται ορισμένα από τα κυριότερα χαρακτηριστικά των LLMs :

• Εκπαίδευση σε Μεγάλα Δεδομένα: Τα LLMs εκπαιδεύονται με τεράστιες ποσότητες κειμένων από διάφορες πηγές, όπως βιβλία, άρθρα, ιστοσελίδες και κοινωνικά δίκτυα. Αυτό τους επιτρέπει να αποθηκεύουν πολλά στοιχεία για τη γλώσσα και τον κόσμο από το σύνολο σχεδόν των πληροφοριών του διαδικτύου εξ ου και η απαιτούμενη ενεργοβόρος επεξεργασία με θηριώδεις servers.
• Αρχιτεκτονική Νευρωνικών Δικτύων: Συνήθως εκπαιδεύονται με αλγορίθμους όπως αυτός του Transformer (μετασχηματιστή), που εκτελεί τη στατιστική επεξεργασία και κατανόηση της γλώσσας (GPT Generative Pre-trained Transformer). Ένα GT βασίζεται σε LLMs αλλά έχει επί πλέον ένα interface (διεπαφή) ανθρώπου- μηχανής.
• Προσαρμοστικότητα: Μπορούν να προσαρμοστούν σε διάφορες εργασίες, όπως είναι η μετάφραση, η απάντηση σε ερωτήσεις, η δημιουργία περιεχομένου και η ανάλυση συναισθήματος.
• Δημιουργία Κειμένου: Είναι ικανά να παράγουν κείμενα που φαίνονται φυσικά και σωστά, γεγονός που τα καθιστά χρήσιμα σε εφαρμογές όπως είναι η συγγραφή κειμένων, η δημιουργία απάντησης σε ερώτηση και η παραγωγή μεταφράσεων από γλώσσα σε γλώσσα.

Επισημαίνονται ορισμένοι περιορισμοί ως προς τη χρήση των LLMs:

• Παρόλο που τα LLMs έχουν πρόσβαση σε μεγάλο όγκο δεδομένων, δεν έχουν πραγματική γνώση του κόσμου και δεν μπορούν να παρέχουν πληροφορίες που δεν περιλαμβάνονται στα δεδομένα εκπαίδευσής τους. Δηλαδή υπάρχουν κενά γνώσης.
• Η ποιότητα και η ποικιλία των δεδομένων εκπαίδευσης επηρεάζουν άμεσα την απόδοση του συστήματος. Συστήματα εκπαιδευμένα σε περιορισμένα ή μη αντιπροσωπευτικά δεδομένα μπορεί να έχουν περιορισμένη ικανότητα.
• Τα συστήματα δεν έχουν την ικανότητα να παράγουν λογική σκέψη και κατ’ επέκταση κάποιον συμπερασμό με βάση την εμπειρία ή την κοινή λογική.
• Εάν γίνουν αλλαγές στα στοιχεία εισόδου, έστω και μικρές, τα στοιχεία εξόδου μπορεί να είναι παραπλανητικά. Δηλαδή το σύστημα δεν είναι εύρωστο ώστε να αντιμετωπίσει κάποιες δυσκολίες που μπορεί να δημιουργηθούν κατά λάθος ή εσκεμμένα από τον χρήστη.

Αντιθέτως η σωστή παραγωγή απαντήσεων, όσο πιο κοντά γίνεται στην ανθρώπινη λογική, από τα συμβολικά συστήματα λαμβάνει υπόψη και σχέσεις εμπλεκόμενες σε μεταγνωσιακές  λειτουργίες όπως είναι :

• Λογικές σχέσεις μεταξύ προτάσεων
• Σχέσεις προτάσεων Φυσικής Γλώσσας με κανόνες συλλογισμού
• Μετα-γλωσσικές σχέσεις
• Ρητορικές σχέσεις μεταξύ προτάσεων κειμένου
• Σχέσεις μεταξύ κειμένου και γνώσεων
• Σχέσεις μεταξύ κειμένου και εικόνας
• Σχέσεις μεταξύ ερώτησης και κειμένου
• Σχέσεις μεταξύ ερώτησης και επεξήγησης

Μια τέτοια επεξεργασία θα ήταν αδύνατη για τα LLMs που αφορούν τεράστιους όγκους κειμένων την προέλευση των οποίων αγνοεί ο χρήστης. Για αυτό και θα πρέπει να είναι επιφυλακτικός με τα παραγόμενα «επιστημονικά κείμενα», όπως προειδοποιεί εκτεταμένη βιβλιογραφία επί των περιορισμών των LLMs. Η παραγωγή κειμένων φαίνεται πολλές φορές ορθή μέχρι και εντυπωσιακή. Όμως η «δημιουργικότητα» αυτή της παραγωγής κειμένου βασίζεται σε υπάρχοντα δεδομένα και η πρωτοτυπία τους είναι αμφισβητήσιμη.  Τα παραγόμενα κείμενα χρήζουν ελέγχου, προσοχής και σύγκρισης με αυθεντικές πηγές από οποιοδήποτε πληροφορικό σύστημα και να παράγονται. Ένα άλλο σοβαρό πρόβλημα είναι η παραγωγή ανύπαρκτων γεγονότων (hallucinations).

Το μέλλον θα δείξει κατά πόσο θα επηρεαστεί η ζωή μας από την επίδραση των LLMs στην καθημερινότητά μας που εισέβαλαν γρήγορα και δυναμικά.

Ιωάννα Δ. Μαλαγαρδή

Δρ. Υπολογιστικής Γλωσσολογίας – Ιστορικός