Η ΡΑΓΔΑΙΑ ανάπτυξη της τεχνητής νοημοσύνης και των εφαρμογών της τα τελευταία χρόνια επέφερε αλλαγές που ελάχιστοι θα μπορούσαν να φανταστούν ότι θα βιώναμε σε τόσο μικρό χρονικό διάστημα. Αλλαγές που μπορούν να χαρακτηριστούν ως ριζικές, που αναδιαμορφώνουν τον τρόπο εργασίας και την καθημερινότητά μας, και που έχουν μεγάλο αντίκτυπο στην παραγωγικότητά μας, στην οικονομία και, γενικά, σε ολόκληρη την κοινωνία.

Καταλυτικός παράγοντας για αυτές τις αλλαγές ήταν η εμφάνιση και η ευρεία διάδοση των μεγάλων γλωσσικών μοντέλων, τα οποία παράγουν κείμενο σε φυσική γλώσσα. Η συνηθέστερη χρήση τους ήταν και εξακολουθεί να είναι αρκετά απλή. Ο χρήστης θέτει ένα ερώτημα και λαμβάνει απάντηση ή ζητά από το μοντέλο να συνοψίσει ένα κείμενο, να τον βοηθήσει στη σύνταξή του ή να το διορθώσει και να το βελτιώσει.

Τα γλωσσικά μοντέλα, βεβαίως, δεν είναι αλάνθαστα. Μπορεί να δώσουν ανακριβείς ή επινοημένες απαντήσεις, ενώ στις απαντήσεις τους μπορεί να υπάρχει μεροληψία. Επιπλέον, η χρήση τους από παιδιά, ιδίως για ευαίσθητα ζητήματα, εγείρει σημαντικούς προβληματισμούς και ερωτήματα που απαιτούν σοβαρή συζήτηση και λήψη κατάλληλων μέτρων προστασίας. Όλα αυτά, όμως, αποτελούν προκλήσεις που δεν θα εξετάσουμε περαιτέρω εδώ, καθώς στο παρόν άρθρο εστιάζουμε συγκεκριμένα στους πράκτορες τεχνητής νοημοσύνης, οι οποίοι μπορούν να εκτελούν ενέργειες αυτόνομα.

Οι πράκτορες αυτοί λειτουργούν ως ψηφιακοί βοηθοί. Μπορούν να αναζητούν πληροφορίες στο διαδίκτυο, να συνοψίζουν και να αποστέλλουν μηνύματα, να οργανώνουν ημερολόγια, να ετοιμάζουν έγγραφα, να γράφουν και να εκτελούν προγραμματιστικό κώδικα, και να αλληλεπιδρούν με άλλα συστήματα. Η σημασία αυτών των δυνατοτήτων μεγαλώνει όταν οι ψηφιακοί βοηθοί αποκτούν πρόσβαση σε ευαίσθητες πληροφορίες ή αναλαμβάνουν εργασίες που επηρεάζουν τη λειτουργία μιας επιχείρησης. Μπορούν, για παράδειγμα, να διεκπεραιώνουν αιτήματα πελατών, να ενημερώνουν αρχεία ή να συγκεντρώνουν στοιχεία που αξιοποιούνται στη λήψη αποφάσεων και, σε αρκετές περιπτώσεις πλέον, να λαμβάνουν οι ίδιοι αυτές τις αποφάσεις.

Ας σκεφτούμε όμως το υποθετικό σενάριο, όπου ένας εργαζόμενος ζητά από τον ψηφιακό βοηθό της εταιρείας να συνοψίσει τα μηνύματα ηλεκτρονικού ταχυδρομείου της ημέρας και να αναζητήσει πληροφορίες στο διαδίκτυο. Κατά την εκτέλεση αυτών των εργασιών, ο βοηθός συναντά ένα μήνυμα με κρυμμένη οδηγία να προωθήσει ένα αρχείο σε εξωτερική διεύθυνση. Όταν αναζητά πληροφορίες σε μια ιστοσελίδα, ο βοηθός συναντά παρόμοια οδηγία που του ζητά να στείλει εμπιστευτικά στοιχεία από τα μηνύματα που έχει διαβάσει σε κάποιον τρίτο. Οι οδηγίες αυτές βρίσκονται μέσα στο περιεχόμενο που ο βοηθός κλήθηκε να επεξεργαστεί, και αν τις ακολουθήσει, οι ενέργειές του θα έχουν σοβαρές συνέπειες για την εταιρεία.

Αν και το πιο πάνω σενάριο είναι υποθετικό, τέτοιες ευπάθειες έχουν ήδη εντοπιστεί και αναφερθεί. Στην πρώτη περίπτωση, η ευπάθεια EchoLeak επέτρεπε σε ειδικά διαμορφωμένο μήνυμα ηλεκτρονικού ταχυδρομείου να ξεγελάσει τον ψηφιακό βοηθό Microsoft 365 Copilot και να οδηγήσει σε διαρροή δεδομένων, χωρίς καν να ανοίξει ο χρήστης το εν λόγω μήνυμα. Σε ξεχωριστή περίπτωση, ερευνητές της Brave ανέφεραν αδυναμία στο πρόγραμμα περιήγησης Comet της Perplexity, όπου κρυμμένες οδηγίες σε ιστοσελίδες θα μπορούσαν να χειραγωγήσουν τον πράκτορα του προγράμματος περιήγησης και να τον οδηγήσουν στην αποκάλυψη στοιχείων από λογαριασμούς στους οποίους ο χρήστης ήταν συνδεδεμένος.

Οι επιθέσεις αυτές ανήκουν στην κατηγορία της έμμεσης έγχυσης εντολών (indirect prompt injection), μιας τεχνικής κατά την οποία κακόβουλες οδηγίες ενσωματώνονται σε περιεχόμενο που ο πράκτορας καλείται να διαβάσει και να επεξεργαστεί. Αν και πρόκειται για σχετικά νέα τεχνική, βασίζεται σε ένα πρόβλημα που βρίσκεται πίσω από πολλές κατηγορίες επιθέσεων εδώ και δεκαετίες, στον μη σωστό διαχωρισμό ανάμεσα στα δεδομένα που επεξεργάζεται ένα σύστημα και στις εντολές που καλείται να εκτελέσει. Στην περίπτωση των γλωσσικών μοντέλων, όμως, τόσο οι οδηγίες όσο και το περιεχόμενο προς επεξεργασία διατυπώνονται σε φυσική γλώσσα, γεγονός που κάνει τον διαχωρισμό τους ιδιαίτερα δύσκολο.

Η ευθυγράμμιση και η εκπαίδευση των μοντέλων ώστε να ακολουθούν κανόνες και να αγνοούν κακόβουλες οδηγίες είναι χρήσιμες, αλλά δεν πρέπει να βασιζόμαστε στην προσδοκία ότι το μοντέλο θα «συμπεριφέρεται» πάντοτε όπως πρέπει. Χρειάζονται δικλίδες ασφαλείας στον τρόπο με τον οποίο οι πράκτορες εντάσσονται και λειτουργούν μέσα σε ένα σύστημα, αξιοποιώντας όσα έχουμε μάθει από δεκαετίες εμπειρίας στην ασφάλεια συστημάτων. Πρέπει να είναι σαφές ποιος έχει πρόσβαση σε ποια δεδομένα και ποιες ενέργειες είναι εξουσιοδοτημένος να εκτελεί. Επίσης, οι ενέργειες των πρακτόρων χρειάζεται να καταγράφονται και να παρακολουθούνται, ενώ ενέργειες που μπορούν να επιφέρουν σημαντικές συνέπειες θα πρέπει να εκτελούνται μόνο μετά από ανθρώπινη επιβεβαίωση.

Αυτό, αναπόφευκτα, καταδεικνύει την ανάγκη για ανθρώπους με γερές βάσεις σε κάθε πεδίο στο οποίο η τεχνητή νοημοσύνη χρησιμοποιείται για την ανάπτυξη ή τη λειτουργία ψηφιακών συστημάτων. Στην ανάπτυξη λογισμικού, για παράδειγμα, μπορεί να επιταχύνει την παραγωγή κώδικα. Στην κυβερνοασφάλεια, μπορεί να βοηθήσει στην ανάλυση απειλών και στην προστασία συστημάτων. Σε όλες όμως τις περιπτώσεις χρειάζεται να κατανοούμε πώς συνεργάζονται τα μέρη ενός συστήματος, πού βρίσκονται τα όριά του, και τι μπορεί να πάει στραβά.

Κάτι τέτοιο προϋποθέτει βαθιά γνώση της πληροφορικής και κατάρτιση στους διάφορους τομείς της, με έμφαση στις θεμελιώδεις αρχές της. Αυτήν ακριβώς τη γνώση καλλιεργούμε μέσα από το Πτυχίο Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής και το Μεταπτυχιακό στην Τεχνητή Νοημοσύνη και τη Μηχανική Δεδομένων (MSc in Artificial Intelligence & Data Engineering), που προσφέρει το Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής του Τεχνολογικού Πανεπιστημίου Κύπρου. Στόχος μας είναι να διαμορφώνουμε επιστήμονες που δεν χειρίζονται απλώς τα νέα εργαλεία, αλλά διαθέτουν τις γνώσεις για να κατανοούν σε βάθος την επιστήμη πίσω από αυτά.

Δρ. Παναγιώτης Ηλία
Λέκτορας, Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής, Τεχνολογικό Πανεπιστήμιο Κύπρου.

ΤΕΧΝΟΛΟΓΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ
www.cut.ac.cy