Jacobin
Όταν ένας αλγόριθμος υποδεικνύει σε πραγματικό χρόνο πού πρέπει να κινηθεί ή ποιον πρέπει να πυροβολήσει ένας στρατιώτης, τα όρια μεταξύ συμβουλής και διαταγής γίνονται δυσδιάκριτα.
Μέσα στις αμέτρητες συζητήσεις για το αν η τεχνητή νοημοσύνη θα μας σκοτώσει όλους κάποια μέρα στο μέλλον, χάνεται ένα απλό γεγονός: όπλα τεχνητής νοημοσύνης χρησιμοποιούνται ήδη για να σκοτώνουν ανθρώπους. (Φωτογραφία: Raul Arboleda/AFP/Getty Images)
21 Σεπτεμβρίου 2026
Τις τελευταίες εβδομάδες έχει ξεσπάσει καταιγισμός συζητήσεων γύρω από πιθανά σενάρια καταστροφής εξαιτίας της τεχνητής νοημοσύνης. Δεν πρέπει να ξεχνάμε ότι η ΤΝ σκοτώνει ήδη ανθρώπους, καθώς χρησιμοποιείται όλο και περισσότερο για την καθοδήγηση οπλικών συστημάτων με ελάχιστη ανθρώπινη εποπτεία.
Τις τελευταίες εβδομάδες, ο πανικός γύρω από την τεχνητή νοημοσύνη έχει φτάσει στο αποκορύφωμά του. Πρόσωπα που αποκαλύπτουν καταχρηστικές πρακτικές μέσα στη βιομηχανία της ΤΝ, καθώς και πολιτικοί όπως ο Μπέρνι Σάντερς, κρούουν τον κώδωνα του κινδύνου για το ενδεχόμενο μιας αποκάλυψης που θα προκληθεί από την ΤΝ και για την ανάγκη επιβράδυνσης ή αναστολής της περαιτέρω ανάπτυξης της τεχνολογίας.
Ωστόσο, ας μην ξεχνάμε ότι η ΤΝ ήδη σκοτώνει ανθρώπους, λόγω της ολοένα ευρύτερης χρησιμοποίησης αυτόνομων οπλικών συστημάτων στον πόλεμο. Σε ένα πρόσφατο περιστατικό που έλαβε μεγάλη δημοσιότητα και το οποίο κάλυψαν οι New York Times τον περασμένο μήνα, τρεις Ουκρανοί άμαχοι σκοτώθηκαν από ένα μη επανδρωμένο αεροσκάφος καθοδηγούμενο από ΤΝ. Ένα σύστημα ΤΝ έχει επίσης χρησιμοποιηθεί, κατά τρόπο διαβόητο, για την επιλογή στόχων στη γενοκτονική επίθεση του Ισραήλ στη Γάζα.
Ο Ρόμπερτ Σπάροου είναι καθηγητής φιλοσοφίας στο Πανεπιστήμιο Monash. Έχει γράψει εκτενώς για την ηθική του πολέμου και έχει ζητήσει την απαγόρευση της χρήσης αυτόνομων οπλικών συστημάτων. Το Jacobin συνομίλησε πρόσφατα μαζί του σχετικά με τον τρόπο με τον οποίο χρησιμοποιούνται σήμερα τα οπλικά συστήματα ΤΝ, τους λόγους για τους οποίους θεωρεί την ανάπτυξή τους ιδιαίτερα ανησυχητική από ηθική άποψη, καθώς και την άποψή του για τις πρόσφατες προειδοποιήσεις περί μιας επικείμενης καταστροφής που θα προκληθεί από την τεχνητή νοημοσύνη.
ΝΙΚ ΦΡΕΝΤΣ
Οι New York Times ανέφεραν τον περασμένο μήνα ότι ένα πλήρως αυτόνομο μη επανδρωμένο αεροσκάφος σκότωσε τρεις ανθρώπους στην Ουκρανία αυτό το καλοκαίρι. Ας ξεκινήσουμε με έναν ορισμό: τι είναι αυτό που καθιστά ένα drone ή ένα οπλικό σύστημα πλήρως αυτόνομο; Σε τι διαφέρουν οι φόνοι στην Ουκρανία από προηγούμενες καταγεγραμμένες χρήσεις ημιαυτόνομων ή μη επανδρωμένων οπλικών συστημάτων;
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Ο καθιερωμένος πλέον ορισμός της αυτονομίας αφορά ένα οπλικό σύστημα που επιλέγει μόνο του τους στόχους του ή εκτελεί κάποια σημαντική λειτουργία χωρίς ανθρώπινη εποπτεία. Ορισμένοι χαρακτηρίζουν αυτόνομα τα πυρομαχικά τύπου «εκτόξευσε και ξέχνα»· άλλοι απαιτούν κάτι που να μοιάζει περισσότερο με το είδος της αυτενέργειας που βλέπουμε στην παραγωγική ΤΝ και στους λεγόμενους πράκτορες ΤΝ για τους οποίους γίνεται σήμερα λόγος.
Όσον αφορά εκείνο το δημοσίευμα, το πραγματικά καινοφανές στοιχείο δεν φαινόταν να είναι τόσο οι δυνατότητες του όπλου. Το drone είχε ουσιαστικά σχεδιαστεί ώστε να κατευθύνεται προς πηγές αερίου. Εκτοξεύτηκε προς τη γενική κατεύθυνση ενός πρατηρίου καυσίμων, αναγνώρισε τις δεξαμενές προπανίου και προσπάθησε να προσκρούσει πάνω τους. Δεν υπήρχαν και πολλά περιθώρια επιλογής. Αυτό που φαινόταν καινούργιο ήταν ότι αναφέρθηκαν απώλειες μεταξύ αμάχων.
Πρόκειται όμως για μια δυνατότητα που διαθέτουν εδώ και πολύ καιρό τέτοια συστήματα. Υπήρχε ένα ισραηλινό περιφερόμενο πυρομαχικό, το Harpy, το οποίο εκτοξεύεται σε μια περιοχή όπου υπάρχει ανησυχία ότι ο αντίπαλος θα ενεργοποιήσει ραντάρ αεράμυνας. Πετά μόνο του στην περιοχή και, όταν κάποιος ενεργοποιήσει ένα ραντάρ αεράμυνας, το πυρομαχικό κατευθύνεται προς αυτό και προσκρούει επάνω του. Οι Αμερικανοί διαθέτουν έναν πύραυλο πλεύσης που ονομάζεται Long-Range Anti-Ship Missile. Και πάλι, τον εκτοξεύεις προς τη γενική κατεύθυνση μιας εχθρικής ομάδας πλοίων. Στη συνέχεια, επιλέγει αυτόνομα τον στόχο με τη μεγαλύτερη αξία. Διαθέτει ραντάρ ή προφίλ των πλοίων και είναι σχεδιασμένος να πετά σε κύματα. Μόλις ένας πύραυλος καταστρέψει τον προβλεπόμενο στόχο, το σύστημα αναγνωρίζει τον επόμενο στόχο με τη μεγαλύτερη αξία.
Χαίρομαι που ο κόσμος στρέφει την προσοχή του σε αυτά τα συστήματα. Στη συγκεκριμένη περίπτωση, όμως, αυτό που φαινόταν καινούργιο ήταν ότι επρόκειτο για ρωσική —και όχι ουκρανική— χρήση ενός τέτοιου drone· ότι οι Ρώσοι χρησιμοποίησαν ένα ευρέως διαθέσιμο τσιπ της Nvidia —γεγονός που δείχνει ότι πρόκειται για μια δυνατότητα την οποία θα μπορούσαν να αναπτύξουν και άλλοι— και ότι σκοτώθηκαν άμαχοι.
Το άρθρο των Times κάνει διάκριση μεταξύ της στόχευσης στο τελικό σκέλος και των πλήρως αυτόνομων όπλων. Στη συγκεκριμένη περίπτωση, απλώς δεν μου ήταν σαφές ότι το drone ήταν πράγματι πλήρως αυτόνομο, επειδή ένας άνθρωπος είχε αποφασίσει ότι θα επιτεθεί σε φιάλες αερίου. Άνθρωποι είχαν επιλέξει να το εκτοξεύσουν και είχαν επιλέξει προς ποιο πρατήριο καυσίμων θα το κατευθύνουν. Αυτό που έκανε έμοιαζε με εκείνο που κάνουν ορισμένα από τα ουκρανικά οπλισμένα drones: μπορείς να υποδείξεις έναν στόχο και, στη συνέχεια, το drone θα καταδιώξει αυτό το άτομο ή το άρμα μάχης σε συνθήκες όπου δεν είναι δυνατόν να διατηρηθεί ανθρώπινος έλεγχος, επειδή υπάρχουν πάρα πολλές παρεμβολές.
Είναι όμως σαφές ότι, αν οι άνθρωποι δεν συνασπιστούν για να το σταματήσουν, αυτό είναι το μέλλον του πολέμου: ολοένα περισσότερες αποφάσεις σχετικά με την επιλογή στόχων θα παραδίδονται στις μηχανές.
ΝΙΚ ΦΡΕΝΤΣ
Ποια είναι τα σημαντικότερα ζητήματα που εγείρουν τα αυτόνομα οπλικά συστήματα, είτε πρόκειται για κάτι σαν αυτό που χρησιμοποιήθηκε στην Ουκρανία είτε για κάτι ακόμη πιο πλήρως αυτόνομο; Όλα τα είδη όπλων μπορούν να έχουν ακούσιες συνέπειες. Μπορεί, για παράδειγμα, να ρίξεις μια βόμβα ή να πυροβολήσεις και να πλήξεις στόχους που δεν σκόπευες να χτυπήσεις. Τι είναι αυτό που κάνει τα αυτόνομα ή αυτοκατευθυνόμενα όπλα να εγείρουν ιδιαίτερα ηθικά ζητήματα;
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Πολλά εξαρτώνται εδώ από το αν σκεφτόμαστε κάτι σαν μια αντιαρματική νάρκη. Μια σύγχρονη αντιαρματική νάρκη, κατά μία έννοια, επιλέγει τον στόχο της. Είναι σχεδιασμένη ώστε να διακρίνει αν αυτό που περνά από πάνω της είναι ένα τρακτέρ ή ένα εχθρικό τεθωρακισμένο όχημα. Ορισμένες είναι σχεδιασμένες ώστε να μετρούν τους στόχους, έτσι ώστε η εχθρική φάλαγγα αρμάτων να βρίσκεται ήδη μέσα στο ναρκοπέδιο όταν εκραγεί η πρώτη νάρκη. Είναι δύσκολο να ανησυχήσει κανείς υπερβολικά γι’ αυτό.
Στο άλλο άκρο, οι άνθρωποι φαντάζονται τον Εξολοθρευτή ή κάτι σαν το Claude της Anthropic να επιλέγει στόχους. Εκεί είναι ευκολότερο να αντιληφθεί κανείς ότι κάτι δεν πάει καλά.
«Αν οι άνθρωποι δεν συνασπιστούν για να το σταματήσουν, αυτό είναι το μέλλον του πολέμου: ολοένα περισσότερες αποφάσεις σχετικά με την επιλογή στόχων θα παραδίδονται στις μηχανές.»
Για μένα, υπάρχουν δύο κατηγορίες ζητημάτων. Η πρώτη είναι ότι αυτά τα συστήματα αυξάνουν, με προβλέψιμους τρόπους, τον κίνδυνο να ξεσπάσει πόλεμος κατά λάθος. Φανταστείτε ένα μέλλον με αυτόνομα υποβρύχια — και ο υποθαλάσσιος πόλεμος είναι ένας τομέας στον οποίο αυτή η τεχνολογία θα ασκήσει μεγάλη επιρροή, επειδή η επικοινωνία με τα υποβρύχια είναι δύσκολη και οι άνθρωποι δεν θέλουν να υπηρετούν σε αυτά. Φανταστείτε όμως συναντήσεις στο ύφος της ταινίας Το κυνήγι του Κόκκινου Οκτώβρη ανάμεσα σε αυτόνομα υποβρύχια σκάφη, στα ανοικτά των ακτών της Κίνας ή των ακτών των Ηνωμένων Πολιτειών στον Ειρηνικό: δεν θα θέλαμε να παραδώσουμε κάτι τέτοιο σε συστήματα των οποίων η συμπεριφορά στην πράξη είναι πολύ δύσκολο να προβλεφθεί.
Έπειτα τίθεται το ερώτημα τι οφείλουμε ο ένας στον άλλον, ακόμη και στον πόλεμο, και αν θα μπορούσε να υπάρχει κάτι σαν δικαίωμα να μη σε σκοτώσει ένα ρομπότ. Οι άνθρωποι διαισθάνονται εύλογα ότι, ακόμη και στον πόλεμο, υπάρχουν όρια τα οποία επιβάλλει ο σεβασμός της ανθρώπινης ζωής. Δεν στοχοποιούμε άμεσα αμάχους. Δεν χρησιμοποιούμε όπλα που προκαλούν στον άνθρωπο βλάβες πέρα από εκείνες που επιτάσσει η στρατιωτική αναγκαιότητα. Απαγορεύονται, για παράδειγμα, οι δηλητηριασμένες σφαίρες. Υπάρχουν ορισμένοι τρόποι θανάτωσης ανθρώπων για τους οποίους η διεθνής κοινότητα έχει πει απλώς: «Όχι, αυτό δεν πρόκειται να το κάνουμε».
Το ερώτημα, λοιπόν, είναι το εξής: αν πρόκειται να πολεμήσεις, τι οφείλεις στον εχθρό; Ένα πράγμα που του οφείλεις είναι να αποφασίζει ένας άνθρωπος αν θα ζήσει ή θα πεθάνει. Πρέπει να υπάρχει κάποιος άνθρωπος που θα αναλάβει την ευθύνη και θα λάβει αυτή την απόφαση — είναι κάτι που οφείλουμε ο ένας στον άλλον.
Εδώ, βέβαια, τα πράγματα περιπλέκονται. Αν φανταστείτε ένα μέλλον στο οποίο λέω: «Εγώ σκότωσα κάποιον με ένα ρομπότ», τότε είμαι εγώ αυτός που τον σκότωσε. Και εγώ έχω λάβει την απόφαση. Αν όμως φανταστείτε ένα μέλλον στο οποίο το ίδιο το ρομπότ αποφασίζει ποιον θα σκοτώσει, τότε θα λέγατε: «Όχι, αυτό προσβάλλει την ανθρώπινη υπόσταση του εχθρού μας».
Οι άνθρωποι πιστεύουν λανθασμένα ότι η ηθική του πολέμου αφορά αποκλειστικά τη νίκη και τις συνέπειες, αλλά απλούστατα δεν είναι έτσι. Διαφορετικά, θα στοχοποιούσαμε το νηπιαγωγείο του εχθρού· η αμυντική πολιτική μου θα μπορούσε να είναι ότι, αν μου επιτεθείς, θα κάψω τα παιδιά σου. Έτσι κερδίζεται γρήγορα ένας πόλεμος και επέρχεται η ειρήνη. Αυτή, όμως, είναι η λογική της τρομοκρατίας.
Υπάρχει η λεγόμενη «θεωρία του δίκαιου πολέμου», όπως υπάρχουν επίσης το διεθνές δίκαιο του πολέμου και η στρατιωτική δεοντολογία. Στο πλαίσιο αυτό, επιβάλλουμε περιορισμούς στα είδη των όπλων των οποίων τη χρήση είμαστε διατεθειμένοι να ανεχθούμε. Ελπίζω ότι θα προσθέσουμε τα αυτόνομα οπλικά συστήματα στον κατάλογο όσων απαγορεύονται απολύτως.
ΝΙΚ ΦΡΕΝΤΣ
Πώς ακριβώς χαράζετε τη διάκριση που μόλις αναφέρατε, ανάμεσα σε έναν άνθρωπο που χρησιμοποιεί ένα ρομπότ για να σκοτώσει κάποιον και σε ένα ρομπότ που σκοτώνει το ίδιο κάποιον;
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Αυτό το ερώτημα έχει δύο σκέλη. Το πρώτο είναι πρακτικό: πόσο έλεγχο έχω πάνω στον στόχο του ρομπότ, πάνω σε αυτό που θα σκοτώσει; Στην περίπτωση εκείνου του ρωσικού συστήματος, για παράδειγμα, θα μπορούσες απλώς να εκτοξεύσεις πολλά drones και να ελπίζεις ότι ορισμένα από αυτά θα έπεφταν πάνω στις φιάλες αερίου. Ή θα μπορούσες να κατασκευάσεις ένα σύστημα ικανό να αναγνωρίζει τις φιάλες αερίου, οπότε θα ήσουν πλέον πιο βέβαιος για το τι ακριβώς επιτίθεσαι.
Υπάρχουν σήμερα περιπτώσεις στις οποίες οι μηχανές υπερέχουν σαφώς έναντι των ανθρώπων. Ένα παράδειγμα είναι τα συστήματα αεράμυνας: οι άνθρωποι απλούστατα δεν είναι σε θέση να καταρρίψουν επερχόμενους πυραύλους πλεύσης. Αν επιχειρούσαν να το κάνουν, θα κατέρριπταν φίλια αεροσκάφη. Θα κατέρριπταν πολιτικά αεροπλάνα. Μπορείς, όμως, να έχεις ένα αρκετά αξιόπιστο πυροβόλο ελεγχόμενο από υπολογιστή.
«Ελπίζω ότι θα προσθέσουμε τα αυτόνομα οπλικά συστήματα στον κατάλογο όσων απαγορεύονται απολύτως.»
Υπάρχει ένα πρακτικό ερώτημα σχετικά με το πόσο βέβαιος μπορείς να είσαι ότι ένα οπλικό σύστημα θα επιτεθεί σε έναν καθορισμένο στόχο και αποκλειστικά σε αυτόν. Σε ορισμένες περιπτώσεις χρήσης μπορείς να διατηρείς μεγάλο βαθμό ελέγχου — για παράδειγμα, στον ανθυποβρυχιακό πόλεμο. Απλούστατα δεν υπάρχουν πολλά πολιτικά υποβρύχια. Αν χρησιμοποιώ ένα περιφερόμενο υποθαλάσσιο πυρομαχικό, οι πιθανότητες να σκοτώσω αμάχους είναι μικρές. Μπορώ να αναλάβω την ευθύνη· γνωρίζω ότι εγώ το έχω εγκρίνει. Θα κινηθεί εκεί έξω και θα καταστρέψει ένα υποβρύχιο.
Η αναγνώριση της παράδοσης αποδεικνύεται δύσκολο πρόβλημα για αυτά τα συστήματα. Είναι δύσκολο να σχεδιαστούν έτσι ώστε να αναγνωρίζουν ότι κάποιος παραδίδεται. Υπάρχουν, όμως, είδη συγκρούσεων στα οποία η αναγνώριση της παράδοσης δεν είναι ούτως ή άλλως κάτι που κάνουν οι άνθρωποι. Με εξαίρεση αυτό το ζήτημα, ορισμένα από αυτά τα συστήματα μπορούν να συμμορφωθούν με τη λεγόμενη «αρχή της διάκρισης», σύμφωνα με την οποία επιτίθενται αποκλειστικά σε νόμιμους στρατιωτικούς στόχους.
Έπειτα υπάρχει η περίπτωση όπου λες: «Πέτα πάνω από αυτή την πόλη και σκότωσε οποιονδήποτε είναι εχθρός μου» ή «Πέτα πάνω από την πόλη και σκότωσε οποιονδήποτε κρατάει τουφέκι». Σε ορισμένα περιβάλλοντα, οι άνθρωποι κρατούν τουφέκια επειδή αυτό συνηθίζουν να κάνουν οι άνδρες εκεί. Σε μια τέτοια περίπτωση, δεν θα έχεις ιδιαίτερο έλεγχο πάνω στο τι θα επιλέξει να χτυπήσει.
Αυτό είναι το πρακτικό σκέλος. Μπορεί ένας άνθρωπος να γνωρίζει με βεβαιότητα σε τι πρόκειται να επιτεθεί το σύστημα; Αν ναι, τότε θα μπορούσαμε να πούμε: «Εντάξει, εδώ έχουμε ένα παράδειγμα ανθρώπου που σκοτώνει έναν άλλον άνθρωπο χρησιμοποιώντας ένα ρομπότ».
Υπάρχει επίσης το φιλοσοφικό ερώτημα σχετικά με τη φύση της αυτονομίας του συστήματος. Αν σκεφτείτε την εμπειρία που έχετε σήμερα όταν συνομιλείτε με το ChatGPT, είναι εύκολο να αρχίσετε να χρησιμοποιείτε μια γλώσσα που του αποδίδει αυτενέργεια: «Αποφάσισε να απαντήσει με αυτόν τον τρόπο» ή «Έκλεισε το ταξίδι μου για λογαριασμό μου». Όσο περισσότερο χρησιμοποιείτε μια τέτοια γλώσσα για ένα σύστημα, τόσο λιγότερο μοιάζει να έχουμε έναν άνθρωπο που σκοτώνει έναν άλλον άνθρωπο με τη βοήθεια ενός ρομπότ και τόσο περισσότερο μοιάζει να στέλνω εκεί έξω ένα ρομπότ για να σκοτώσει ανθρώπους — αλλά να είναι εκείνο που πραγματοποιεί τον φόνο.
Συνεπώς, μέρος όσων απαιτούνται εδώ είναι να προσέξουμε τη γλώσσα που χρησιμοποιούν οι άνθρωποι για αυτά τα συστήματα και τον τρόπο με τον οποίο τα περιγράφουν. Αν τα περιγράφουν με τρόπο που υποδηλώνει ότι κανένας άνθρωπος δεν έχει τον έλεγχο ούτε φέρει ευθύνη για όσα συμβαίνουν, τότε αυτό προσβάλλει την ανθρώπινη υπόσταση του εχθρού.
Υπάρχει μεγάλη πιθανότητα να παραχωρηθούν διοικητικές λειτουργίες σε συστήματα ΤΝ. Ένα από τα ζητήματα που με ενδιαφέρουν αυτή την περίοδο είναι αν οι ένοπλες δυνάμεις θα είναι πρόθυμες να αναθέσουν σε αυτά τα συστήματα αποφάσεις που ενδέχεται να οδηγήσουν στον θάνατο δικών τους στρατιωτών.
Οι ένοπλες δυνάμεις, ως επί το πλείστον, αποδέχονται την ιδέα ότι μια μηχανή μπορεί να αποφασίζει ποιοι από τους εχθρούς θα ζήσουν και ποιοι θα πεθάνουν. Αν όμως τους ρωτήσεις: «Είστε διατεθειμένοι να δέχεστε διαταγές από ένα σύστημα διοίκησης ΤΝ, το οποίο μπορεί να αποφασίσει ότι η αποστολή σας είναι να πάτε και να σταθείτε σε εκείνον τον λόφο, κάνοντας τον εαυτό σας στόχο, ώστε εμείς να κινηθούμε κρυφά γύρω από την αριστερή πτέρυγα και να νικήσουμε; Συμφωνείτε με αυτό;», υποψιάζομαι ότι οι στρατιωτικοί θα αντιδράσουν πολύ έντονα όταν διακυβεύεται η δική τους ζωή. Και αυτό μας λέει κάτι.
ΝΙΚ ΦΡΕΝΤΣ
Ας μιλήσουμε για το ζήτημα της ανάθεσης της διοίκησης σε συστήματα ΤΝ. Το 2023 γράψατε μαζί με τον Άνταμ Χένσκε ένα άρθρο σχετικά με την ιδέα του «πολέμου του Μινώταυρου», μια πολύ εντυπωσιακή εικόνα. Θα μπορούσατε να αναλύσετε αυτή τη μεταφορά και να εξηγήσετε γιατί προβλέψατε ότι θα βλέπαμε όλο και περισσότερες περιπτώσεις στις οποίες η ΤΝ θα διοικεί ανθρώπινα στρατεύματα;
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Το βλέπουμε ήδη. Η ταινία NAZA, που μόλις κυκλοφόρησε, εξετάζει ισραηλινά συστήματα τα οποία πρότειναν στόχους στη Γάζα — αυτό ακριβώς προβλέπαμε ο Άνταμ κι εγώ. Άνθρωποι εκτοξεύουν όπλα εναντίον στόχων που έχουν επιλεγεί από μηχανές.
Κανείς δεν πουλά ποτέ ένα σύστημα ΤΝ σε εξειδικευμένους επαγγελματίες λέγοντάς τους ότι πρόκειται να τους στερήσει τη δουλειά τους. Τους λες ότι θα αναλάβει την αγγαρεία· ότι θα κάνει τις εργασίες που δεν θεωρούν ότι προσφέρουν υψηλή προστιθέμενη αξία και έτσι θα τους απελευθερώσει, ώστε να ασχοληθούν με τα σημαντικά καθήκοντα.
Υπάρχει επίσης εδώ μια έντονη επιρροή από το Χόλιγουντ. Όταν οι ένοπλες δυνάμεις άρχισαν να σχεδιάζουν ένα μέλλον στο οποίο τα ρομπότ θα διαδραματίζουν ρόλο στον πόλεμο, υιοθέτησαν ένα είδος μοντέλου Iron Man: την ιδέα ότι ένας άνθρωπος θα περιβάλλεται από ένα σμήνος ρομπότ και μηχανών. Ο άνθρωπος θα έχει τη διοίκηση και τα ρομπότ θα εκτελούν τη βούλησή του.
Το μοντέλο που αναπτύχθηκε ονομάστηκε «πόλεμος του Κενταύρου». Πρόκειται για μια ιδέα με μεγάλη επιρροή. Ο Κένταυρος έχει ανθρώπινο κεφάλι πάνω σε σώμα ζώου. Αντίστοιχα, έχουμε μια ομάδα ανθρώπων και μηχανών, στην οποία οι μηχανές ακολουθούν τις διαταγές των ανθρώπων. Ο ισχυρισμός ήταν ότι αυτό το σχήμα θα μπορούσε μάλιστα να νικήσει πλήρως αυτόνομα συστήματα, επειδή οι άνθρωποι εξακολουθούν, σε ορισμένες συγκεκριμένες περιστάσεις, να είναι ικανοί να λαμβάνουν καλύτερες αποφάσεις.
«Αν πρόκειται να πολεμήσεις, τι οφείλεις στον εχθρό; Ένα πράγμα που του οφείλεις είναι να αποφασίζει ένας άνθρωπος αν θα ζήσει ή θα πεθάνει.»
Η ιδέα ήταν ότι οι ομάδες ανθρώπων και ρομπότ θα υπερείχαν τόσο των ανθρώπων όσο και των ρομπότ που δρουν μόνα τους. Αυτό ίσχυε κάποτε στην ιστορία του σκακιού. Οι άνθρωποι ενθουσιάστηκαν όταν οι υπολογιστές κατάφεραν να νικήσουν ανθρώπους στο σκάκι. Στη συνέχεια, όμως, αποδείχθηκε ότι άνθρωποι που συνεργάζονταν με σκακιστικούς υπολογιστές μπορούσαν να νικήσουν τους υπολογιστές όταν αυτοί έπαιζαν μόνοι τους. Για ένα σύντομο χρονικό διάστημα, αυτές οι ομάδες ανθρώπων και μηχανών κέρδιζαν είτε τους ανθρώπους είτε τις μηχανές. Αυτό δεν ισχύει πλέον στο σκάκι· τώρα απλώς κερδίζουν οι μηχανές.
Σε κάθε περίπτωση, αυτό ήταν μέχρι σήμερα το κυρίαρχο μοντέλο. Επιτρέπει στις ένοπλες δυνάμεις να διαβεβαιώνουν τους αξιωματικούς ότι θα εξακολουθήσουν να έχουν δουλειά. Αποτελεί μέρος μιας παράδοσης που ανάγεται στον Διαφωτισμό: της αντίληψης ότι ο νους είναι ανώτερος από το σώμα· ότι εκείνος που «χτίζει» τον ουρανοξύστη είναι ο αρχιτέκτονας και όχι οι εργάτες πάνω στις σκαλωσιές.
Ο Άνταμ κι εγώ επισημάναμε ότι αυτό είναι μάλλον απίθανο. Οι άνθρωποι πάντοτε πίστευαν ότι οι νοητικές, οι γνωστικές εργασίες θα ήταν πολύ δύσκολο να εκτελεστούν από την ΤΝ. Ο σχεδιασμός, τα μαθηματικά και το σκάκι αποτελούσαν όλα δοκιμασίες γι’ αυτήν. Στην πραγματικότητα, οι μηχανές έγιναν πολύ γρήγορα εξαιρετικά ικανές σε αυτά. Δεν μπορούσαν όμως να περπατήσουν. Ακόμη και σήμερα δεν μπορείς να κατασκευάσεις ένα ρομπότ που θα μπει στο γραφείο σου και θα αδειάσει το καλάθι των αχρήστων. Πράγματα που μπορούν να κάνουν τα νήπια —να τρέχουν, να αναγνωρίζουν και να σηκώνουν αντικείμενα— αποδείχθηκαν πραγματικά δύσκολα. Όλες οι γνωστικές εργασίες, αντίθετα, αποδείχθηκαν εφικτές. Οι μηχανές, όμως, δεν μπορούν να εκτελέσουν τις σωματικές εργασίες.
Σκεφτείτε περιπτώσεις στις οποίες υπάρχουν πράγματι ομάδες ανθρώπων και μηχανών. Σκεφτείτε την Uber. Εδώ και πολύ καιρό υπάρχει η ιδέα ότι θα μπορώ να τοποθετώ μια πινέζα στον χάρτη και να έρχεται να με παραλάβει ένα ρομποτικό ταξί. Αυτό που έχουμε κυρίως, όμως, είναι μετανάστες εργαζομένους — ανθρώπους που οδηγούν ταξί και στους οποίους ένας αλγόριθμος λέει πού να πάνε. Ή πάρτε τις μεγάλες αποθήκες διανομής της Walmart ή της Amazon: εκεί υπάρχουν άνθρωποι που αποτελούν ουσιαστικά τα χέρια των υπολογιστών. Η ανθρώπινη εργασία συνίσταται στο να στέκεσαι, να παίρνεις αντικείμενα και να τα βάζεις σε μια χάρτινη σακούλα. Η απόφαση για το πού θα αποσταλούν, η εκτύπωση της ετικέτας και η παραγγελία προϊόντων —όλες οι γνωστικές εργασίες— εκτελούνται από την ΤΝ.
Όταν εξετάζουμε τη συνεργασία ανθρώπων και μηχανών στον πραγματικό κόσμο, αποδεικνύεται ότι οι εργασίες που μπορεί να εκτελέσει το πεζικό είναι πολύ δυσκολότερες. Η έκδοση διαταγών, όμως, είναι ήδη εφικτή. Θεωρούμε, επομένως, ότι ουσιαστικά οι αξιωματικοί —ακόμη και οι στρατηγοί— θα αντικατασταθούν από υπολογιστές. Το πεζικό, όμως —οι άνθρωποι που πρέπει να συρθούν μέσα στη λάσπη και πάνω από τα συρματοπλέγματα— θα εξακολουθήσει να αποτελείται από ανθρώπους. Το πρότυπο εδώ είναι ένα τερατώδες κεφάλι πάνω σε ανθρώπινο σώμα: ο Μινώταυρος. Η ΤΝ διοικεί τους ανθρώπους και οι άνθρωποι εκτελούν τις διαταγές της.
Πιστεύουμε ότι αυτά τα συστήματα ενδέχεται πράγματι να νικούν και ότι οι άνθρωποι ίσως προτιμούν να διοικούνται από μια μηχανή. Άρχισα να ασχολούμαι με αυτό το θέμα μελετώντας ένα πρόγραμμα στο πλαίσιο του οποίου ο αμερικανικός στρατός ήθελε να εφοδιάσει κάθε στρατιώτη με ένα είδος Microsoft HoloLens. Σήμερα έχουν όλοι κάμερες προσαρμοσμένες στο κεφάλι τους· πρόκειται να αποκτήσουν όλοι γυαλιά τύπου Google Glass. Αν εξέταζες τι φαντάζονταν ότι θα κάνουν αυτά τα συστήματα, επρόκειτο ουσιαστικά για αξιολόγηση απειλών. Τα γυαλιά σου θα σου έλεγαν: «Έχεις τριάντα δευτερόλεπτα για να πας εκεί και να πυροβολήσεις εκείνο το άτομο». Ήταν απολύτως σαφές ότι οι άνθρωποι θα μετατρέπονταν σε μαριονέτες αυτών των αλγορίθμων αξιολόγησης απειλών.
«Οι αξιωματικοί θα αντικατασταθούν από υπολογιστές. Το πεζικό, όμως —οι άνθρωποι που πρέπει να συρθούν μέσα στη λάσπη και πάνω από τα συρματοπλέγματα— θα εξακολουθήσει να αποτελείται από ανθρώπους.»
Οι άνθρωποι ξεκινούν από την ιδέα ότι οι μηχανές θα τους παρέχουν συμβουλές. Ταυτόχρονα, όμως, πιστεύουν ότι είναι ικανές για επιδόσεις που υπερβαίνουν τις ανθρώπινες δυνατότητες. Αν όμως ο σύμβουλός μου είναι καλύτερος από εμένα, τότε απλώς πρέπει να κάνω ό,τι μου λέει. Το μοντέλο σύμφωνα με το οποίο επανεξετάζουμε και αμφισβητούμε όσα λένε οι μηχανές… μπορεί να ισχύσει μόνο για ένα πολύ περιορισμένο χρονικό διάστημα. Αν οι μηχανές είναι πράγματι ικανές για υπεράνθρωπες επιδόσεις, όπως υποστηρίζουν όλοι, τότε οι άνθρωποι απλώς δεν θα πρέπει πλέον να λαμβάνουν αυτές τις αποφάσεις. Αν η μηχανή μού πει να σκύψω, σκύβω. Αν δεν το κάνω, πεθαίνω. Προτιμώ να μου το πει η μηχανή παρά ένας άνθρωπος που είναι πιο αργός και λιγότερο αξιόπιστος.
Και πάλι, αυτό που βλέπουμε σήμερα —ο ρόλος που διαδραματίζει η ΤΝ στην Ουκρανία ή στη Γάζα— είναι αλγόριθμοι που ουσιαστικά αναθέτουν σε επανδρωμένα συστήματα πυροβολικού τους στόχους στους οποίους πρέπει να επιτεθούν. Έχουμε ενοποίηση δεδομένων από κάθε drone και κάθε δορυφόρο, και ο αλγόριθμος ουσιαστικά διαβιβάζει στόχους στους ανθρώπους. Αυτό είναι ένα πρώιμο παράδειγμα «πολέμου του Μινώταυρου».
ΝΙΚ ΦΡΕΝΤΣ
Εγείρονται ιδιαίτεροι ηθικοί προβληματισμοί όταν τα ρομπότ είναι εκείνα που παίρνουν τις αποφάσεις; Σε σχέση με συστήματα αυτού του είδους, εκφράζεται μερικές φορές η ανησυχία ότι δεν υπάρχει κανείς που να μπορεί να θεωρηθεί υπεύθυνος για όσα κάνουν.
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Το ζήτημα της ευθύνης είναι το ίδιο τόσο στα αυτόνομα οπλικά συστήματα όσο και στις λειτουργίες διοίκησης μέσω ΤΝ. Το ενδιαφέρον είναι ότι οι άνθρωποι αντιδρούν διαφορετικά στις δύο περιπτώσεις.
Αν στείλω εκεί έξω ένα σμήνος drones για να καταστρέψει εχθρικά άρματα και με ρωτήσετε «Ποιος είναι υπεύθυνος;», θα απαντήσω ότι είμαι εγώ, επειδή σχεδίασα το σύστημα, του ανέθεσα να καταστρέφει άρματα και έλεγξα ότι λειτουργούσε. Το ίδιο, λοιπόν, θα πρέπει να ισχύει και για όσους σχεδιάζουν το σύστημα διοίκησης ΤΝ. Υποψιάζομαι, όμως, ότι οι άνθρωποι θα αντιμετωπίσουν με πολύ μικρότερη ψυχραιμία το ενδεχόμενο να τους στείλει ουσιαστικά μια μηχανή στον θάνατο και ότι θα απαιτήσουμε να συμμετέχει κάποιος άνθρωπος σε μια τέτοια απόφαση.
Υπάρχει επίσης εδώ ο κίνδυνος σταδιακής διεύρυνσης της αποστολής αυτών των συστημάτων. Σε τομείς όπως η εφοδιαστική, οι μηχανές είναι πολύ καλές στη διαχείριση επιχειρήσεων μεγάλης κλίμακας, με πολλά φορτηγά και εμπορευματοκιβώτια. Αν οι μηχανές αποφασίζουν ποιες στρατιωτικές μονάδες θα παραλάβουν όπλα, τότε ήδη καθορίζουν ποιος θα ζήσει και ποιος θα πεθάνει. Αν η μηχανή πει: «Βρίσκεστε τρίτοι στον κατάλογο προτεραιοτήτων μας και σήμερα δεν θα πάρετε πυρομαχικά. Κάποιος, όμως, πρέπει να κρατήσει αυτή τη θέση όσο οι υπόλοιποι υποχωρούμε, και αυτός ο άνθρωπος πρόκειται να πεθάνει» —και η μηχανή αποφασίσει ότι αυτός θα είσαι εσύ— πιστεύω ότι οι άνθρωποι θα αισθανθούν βαθιά δυσφορία. Και αυτό, παρότι μπορεί να μην έχουν ιδιαίτερες επιφυλάξεις για την αποστολή αυτόνομων επιθετικών ελικοπτέρων που θα καταστρέφουν εχθρικά άρματα ή θα εντοπίζουν τις κινήσεις των αντίπαλων στρατευμάτων.
Το ισραηλινό σύστημα Lavender επέλεγε στόχους στη Γάζα. Κάποιος το κατασκεύασε και, απ’ όσο καταλαβαίνω, μπορούσες να μετακινήσεις προς τα πάνω ή προς τα κάτω τον δείκτη των απωλειών μεταξύ αμάχων, προσαρμόζοντας έτσι τον αριθμό των αποδεκτών απωλειών. Άνθρωποι έλεγχαν τους στόχους, αλλά αφιέρωναν είκοσι δευτερόλεπτα στον έλεγχο. Επίσης, κάποιος είχε αποφασίσει ποιο επίπεδο αποδεικτικών στοιχείων απαιτούνταν για να χαρακτηριστεί κάποιος μέλος της Χαμάς. Συμμετείχαν, λοιπόν, άνθρωποι· σε κάποιο επίπεδο, όμως, είναι αρκετά σαφές ότι αυτός ο αλγόριθμος επέλεγε τους στόχους και οι άνθρωποι απλώς έκαναν ό,τι τους έλεγε.
ΝΙΚ ΦΡΕΝΤΣ
Υποστηρίζετε την απαγόρευση των αυτόνομων οπλικών συστημάτων και έχετε δηλώσει ότι η πλήρης απαγόρευσή τους θα ήταν πιο ρεαλιστική από την προσπάθεια επιβολής επαρκών ηθικών και νομικών περιορισμών. Μπορείτε να μας εξηγήσετε το σκεπτικό σας;
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Σχεδόν κανείς δεν θεωρεί ότι αυτά τα συστήματα δεν παρουσιάζουν κανένα απολύτως πρόβλημα. Οι ίδιες οι ένοπλες δυνάμεις ανησυχούν πολύ: Ποιες θα είναι οι επιπτώσεις στη συνοχή των μονάδων; Πώς μπορώ να ξέρω ότι αυτό το σύστημα δεν θα σκοτώσει κατά λάθος τους στρατιώτες μου;
Σχεδόν όλοι θεωρούν προβληματική την ανάθεση σε αυτά της ευθύνης για ένα δεύτερο πυρηνικό πλήγμα — μόνο οι πραγματικοί «Δόκτορες Παράξενοι» είναι πρόθυμοι να φτάσουν ως εκεί. Υπάρχει ένα ιστορικό προηγούμενο, η λεγόμενη «εκτόξευση κατόπιν προειδοποίησης». Για ένα χρονικό διάστημα φαίνεται ότι το ρωσικό πυρηνικό οπλοστάσιο είχε σχεδιαστεί με αυτόν τον τρόπο. Συνδέεις τα ραντάρ έγκαιρης προειδοποίησης με τον υπολογιστή και με το σύστημα ελέγχου πυρός, επειδή φοβάσαι ότι κάποιος θα πραγματοποιήσει ένα αποκεφαλιστικό πλήγμα, και αυτό σου εξασφαλίζει μια αξιόπιστη δυνατότητα ανταποδοτικού πλήγματος. Είναι εξαιρετικά επικίνδυνο, δεδομένων όσων γνωρίζουμε για τους περιορισμούς των συστημάτων μας.
Οι περισσότεροι άνθρωποι, όταν εξετάζουν αυτά τα ζητήματα, λένε ότι χρειάζεται ρύθμιση. Όλοι, όμως, αναγνωρίζουν επίσης ότι πρόκειται για μια τεχνολογία που είναι πολύ δύσκολο να ρυθμιστεί. Μπορεί να έχεις ένα σύστημα που λειτουργεί με τηλεχειρισμό και διατηρεί έναν άνθρωπο μέσα στον κύκλο λήψης αποφάσεων· έπειτα, κάποιος συνδέει σε αυτό ένα USB και ξαφνικά το σύστημα αρχίζει να λειτουργεί αυτόνομα.
Μου φαίνεται ότι, αν θέλεις να επηρεάσεις το μέλλον του πολέμου, η χάραξη ορισμένων σαφών κόκκινων γραμμών, οι οποίες θα καθιστούν πολιτικά δύσκολη την αξιοποίηση αυτής της τεχνολογίας, έχει περισσότερες πιθανότητες να αποδειχθεί αποτελεσματική από μια προσέγγιση που στα χαρτιά μπορεί να φαίνεται πιο δικαιολογημένη. Υπάρχει, για παράδειγμα, η εξής συζήτηση σχετικά με την απαγόρευση των ναρκών: απαγορεύεις απλώς όλες τις νάρκες κατά προσωπικού ή απαγορεύεις μόνο όσες δεν απενεργοποιούνται αυτόματα; Υπάρχουν διαφορετικές τεχνολογικές λύσεις για τις απώλειες αμάχων από νάρκες. Αν όμως πεις απλώς «Κοιτάξτε, καμία από αυτές δεν επιτρέπεται», θεσπίζεις μια σαφή ηθική επιταγή και διευκολύνεις, μεταξύ άλλων, τους ανθρώπους να αρνηθούν να εργαστούν για την κατασκευή τους.
«Οι μεγάλες και τολμηρές κινήσεις έχουν πολύ περισσότερες πιθανότητες να αποδειχθούν αποτελεσματικές από μια αργή, γραφειοκρατική προσπάθεια λεπτομερούς ρύθμισης των πάντων.»
Θα χρειαστεί πραγματικά ο κλάδος των μηχανικών να δηλώσει: «Δεν πρόκειται να κατασκευάσουμε μηχανές που επιλέγουν μόνες τους τους στόχους τους». Οι πιο περίπλοκες προσπάθειες ρύθμισης αυτών των συστημάτων είναι δυσκολότερο να ελεγχθούν και αφήνουν περιθώρια υπεκφυγής. Θα μπορούσε κάποιος να πει, για παράδειγμα: «Εντάξει, το δικό μου σύστημα δεν είναι πλήρως αυτόνομο…». Πρέπει να δώσουμε προσοχή στη λεγόμενη εκφραστική λειτουργία της ρύθμισης, η οποία συνίσταται στο να καταστήσουμε σαφές ότι όλοι συμφωνούμε σε μια συγκεκριμένη απαγόρευση.
Αν εξετάσετε την ιστορία της απαγόρευσης των ασφυξιογόνων αερίων, θα βρείτε πολλούς ανθρώπους να λένε: «Αυτή είναι μια πολύ πιο ανθρώπινη μέθοδος πολέμου», «Θα κερδίζουμε τους πολέμους γρηγορότερα», «Τι διαφορά έχει αν σκοτωθεί κάποιος από αέριο ή από φορητά όπλα; Ο θάνατος από φορητά όπλα είναι φρικτός». Η καθολική απαγόρευση βάζει τέλος σε όλες αυτές τις συζητήσεις.
Πρόκειται για μια θέση σχετικά με τον τρόπο με τον οποίο επιτυγχάνεται η κοινωνική και πολιτική αλλαγή σε αυτόν τον τομέα. Οι μεγάλες και τολμηρές κινήσεις έχουν πολύ περισσότερες πιθανότητες να αποδειχθούν αποτελεσματικές από μια αργή, γραφειοκρατική προσπάθεια λεπτομερούς ρύθμισης των πάντων. Μια τέτοια προσπάθεια απλώς παρατείνει επ’ αόριστον τη συζήτηση και αφήνει περιθώρια υπεκφυγής, με αποτέλεσμα οι άνθρωποι να μην έρχονται αντιμέτωποι με την πραγματική φρίκη όσων κάνουν.
ΝΙΚ ΦΡΕΝΤΣ
Θα ήθελα να σας ρωτήσω πώς αξιολογείτε το πρόσφατο κύμα πανικού στις ειδήσεις γύρω από την ΤΝ —την ιδέα ότι αποτελεί υπαρξιακή απειλή για την ανθρωπότητα και ότι χρειαζόμαστε κάποιου είδους παύση ή επιβράδυνση της ανάπτυξής της.
ΡΟΜΠΕΡΤ ΣΠΑΡΟΟΥ
Το πρώτο που πρέπει να πούμε είναι ότι είναι εξαιρετικά δύσκολο για οποιονδήποτε βρίσκεται έξω από τον στενό κύκλο αυτών των εταιρειών να κατανοήσει πραγματικά τις δυνατότητες των μοντέλων. Εξακολουθούν να υπάρχουν πολλά στοιχεία για το περιστατικό του Hugging Face που δεν έχουν αποκαλυφθεί, επειδή οι οργανισμοί αυτοί ασκούν σε σημαντικό βαθμό εσωτερική λογοκρισία.
Ο τρόπος με τον οποίο αντιλαμβανόμαστε το μέλλον έχει διαμορφωθεί σε πολύ μεγάλο βαθμό από την επιστημονική φαντασία. Οι μηχανικοί βάζουν στόχο να κατασκευάσουν πράγματα που μοιάζουν φουτουριστικά. Πώς μοιάζει το μέλλον; Μοιάζει με το Star Trek της δεκαετίας του 1970. Υπάρχει εδώ μια σαφής επιρροή της επιστημονικής φαντασίας, η οποία περιλαμβάνει και την ιδέα μιας αποκάλυψης που προκαλείται από ρομπότ. Υπάρχει επίσης μια πολύ ενδιαφέρουσα φυλετική και ταξική πολιτική διάσταση των ρομπότ, επειδή η αρχική ιδέα του ρομπότ ήταν ουσιαστικά εκείνη ενός είδους εργάτη. Οι φόβοι για εξεγέρσεις ρομπότ ήταν φόβοι για τον σοσιαλισμό.
Όλα αυτά καθιστούν δύσκολο να γνωρίζουμε σε ποιον βαθμό αυτοί οι πανικοί έχουν πραγματικό έρεισμα. Παρ’ όλα αυτά, αν έλεγα ότι υπάρχει πιθανότητα 10% η Αλ Κάιντα να σκοτώσει όλους τους ανθρώπους στον κόσμο —αν φανταζόμασταν δηλαδή ότι επρόκειτο για τρομοκρατική απειλή και ότι άνθρωποι από την αμυντική βιομηχανία έλεγαν: «Πιστεύουμε ότι υπάρχει πιθανότητα 10% αυτή η τρομοκρατική οργάνωση να σκοτώσει τους πάντες»— κανείς δεν θα απαντούσε: «Λα λα λα, ας περιμένουμε να δούμε τι θα συμβεί».
Επομένως, τείνω να τους παίρνω στα σοβαρά. Σημαντικές προσωπικότητες στην ιστορία της ΤΝ έχουν δηλώσει δημοσίως ότι αυτή η τεχνολογία αποτελεί υπαρξιακή απειλή. Από τη μία πλευρά, δεν υπάρχει τόσο ανόητη ιδέα ώστε να μη βρίσκεις έναν καθηγητή που να την πιστεύει. Το γεγονός ότι είσαι ένας ευφυής φυσικός ή επιστήμονας υπολογιστών δεν σημαίνει ότι διαθέτεις και τα κατάλληλα προσόντα για να μιλήσεις για το μέλλον, επειδή το μέλλον δεν είναι απλώς ένα τεχνικό ζήτημα. Είναι πολιτικό — είναι κάτι που μπορούμε να αλλάξουμε.
Δεδομένου, όμως, του αριθμού των ανθρώπων που λένε ότι αυτή η τεχνολογία αποτελεί κίνδυνο και ότι θα μας σκοτώσει όλους, πιστεύω ότι πρέπει να κλείσουμε όλα τα εργαστήρια. Να τα σταματήσουμε όλα. Η ιδέα ότι θα πρέπει απλώς να προχωρήσουμε με προσοχή ή να κάνουμε μια προσωρινή παύση μού φαίνεται πραγματικά παράξενη, αν λάβουμε υπόψη όσα οι ίδιοι έχουν πει για τη φύση της απειλής.
