De l’éthique du robot soldat au moment de tuer. Interview avec Ronald Arkin

Le 7 mai 2011

Les robots automatisés, sans pilote, sont de plus en plus présents lors des conflits. Comment encadrer leur utilisation ? Spécialiste du sujet, Ronald Arkin a répondu aux questions d'OWNI.

Billet initialement publié sur OWNI.eu – liens en anglais

Les armes téléguidées sont la dernière nouveauté issue de la technologie militaire : des robots commandés à distance qui remplacent les soldats de chair lors des guerres. L’introduction des robots a changé les prémisses des conflits et redéfini entièrement la notion de ”partir en guerre” pour les soldats. Quand l’armée américaine s’est rendue en Irak en 2003, elle recourait seulement très peu aux avions robotisés, ce qu’on appelle des drones. Aujourd’hui, des milliers d’Unmanned Aerial Vehicles (UAV’s) (véhicules aériens sans pilote) et d’Unmanned Ground Vehicles (UGV’s) (véhicule au sol sans pilote) sont utilisés, principalement en Irak et en Afghanistan, mais aussi au Pakistan et, récemment, dans le cadre de l’intervention militaire en Libye.

La plupart des robots ne sont pas armés et sont utilisés pour surveiller, faire de la reconnaissance ou détruire des mines et autres engins explosifs. Cependant, ces dernières années, il y a eu un accroissement spectaculaire du recours aux robots armés dans les combats. Les nouvelles technologies permettent aux soldats de tuer sans se mettre en danger, augmentant davantage la distance avec le champ de batailles et les adversaires.

Le développement de systèmes sans pilote est une priorité de l’armée américaine. Les robots sauvent la vie des soldats. Ils ne demandent pas de soutien pour les soldats, ni de système de sécurité, ils sont donc aussi rentables. Selon la feuille de route 2009-2034 du département Ministère de la Défense américain, les robots armés s’installent dans chacun des secteurs au sein de l’armée. On projette les UGV pour mener des opérations offensives, de reconnaissance armée et des attaques. Les UAV du futur auront la capacité de mener des combats air-air, et la Navy développe des Unmanned Underwater Vehicles (UUV’s) (véhicule sous-marin sans pilote), particulièrement adaptés pour déposer et neutraliser des mines. Actuellement, si tous les robots opèrent sous contrôle humain, la feuille de route du ministère de la Défense indique que “les systèmes sans pilote progresseront davantage en terme d’autonomie.”

Le spécialiste reconnu de la robotique Ronald Arkin explique que les robots utilisés lors des guerres pourraient à la fois sauver des soldats et réduire en fin de compte les victimes civiles. Le stress émotionnel que la guerre provoque chez les soldats entraîne souvent des comportements, parfois violents, à l’encontre de l’éthique. Une étude sur les soldats menée par le US Army Surgeon General’s Office (le bureau général de la chirurgie de l’US army) en 2006 montrait que les soldats plein de haine avaient deux fois plus de chance de maltraiter les non-combattants que ceux qui l’étaient peu. Moins de la moitié approuvaient l’idée que les non-combattants devraient être traités avec dignité et respect et environ 10% admettaient qu’ils avaient endommagé ou détruit des biens, ou frappé un civil alors que ce n’était pas nécessaire. Arkin propose que les robots puissent être conçus avec de l’intelligence éthique, ce qui au final leur permettrait d’être plus efficaces que les humains dans des situations de guerre.

Arkin est professeur à la faculté d’informatique à l’Institut de technologie de Georgie. Il est consultant pour plusieurs entreprises importantes concevant des systèmes de robotique intelligente et s’adresse régulièrement aux militaires américains, au Pentagone, aux ONG et aux agences gouvernementales. Il évoque avec OWNI les nouvelles technologies de la robotique et les recherches pour créer des robots gouvernés par des principes éthiques.

Alors que les capacités des armes téléguidées progressent, nous aurons peut-être bientôt des systèmes complètement automatisés dans les batailles. À votre avis, combien de temps cela prendra-t-il pour que les machines soient capables d’agir et de tuer de leur propre gré ?

Je voudrais dire que cela existe déjà. Des systèmes simples comme les mines peuvent être définis comme des systèmes robotiques car ils détectent l’environnement et ils se mettent en marche, en l’occurrence en explosant. Des systèmes tels que le Missile Patriote, les Aegis Class Cruisers, et les mines marines Captor ont tous la capacité de viser et d’engager le combat sans intervention humaine supplémentaire après avoir été activés. Donc, dans une certaine mesure, ils existent déjà. La question est simplement de savoir dans quelle proportion ils seront introduits dans l’espace de bataille à court terme.

L’autonomie est une question insidieuse. D’une certaine façon, on s’en rapproche à pas de loup. Ce n’est pas quelque chose qu’on obtiendra du jour au lendemain. Si vous regardez les graphiques du service d’acquisition militaire, il y a une courbe douce continue avec plusieurs étapes, qui montre la progression des niveaux d’autonomie. L’idée, c’est que la prise de décision sera repoussée de plus en plus loin jusqu’à ce que nous appelons la “pointe de la lance” – vers la machine à proprement parler et de moins en moins du côté de l’humain pour prendre une décision immédiate de tuer.

Vous proposez que les robots puissent être conçus avec des logiciels éthiques, adhérant aux lois de la guerre, mais sans les émotions telles que l’angoisse et la peur. À quel point les machines peuvent-elle être rendues humaines ?

Les rendre humaines n’est pas un but en soi. Il s’agit de les faire adhérer à ce que les humains ont défini comme une façon éthique de mener la guerre, aussi oxymorique que cela puisse paraître. Si vous regardez les lois internationales de la guerre et les conventions de Genève, vous verrez ce sur quoi les hommes se sont accordés pour définir une façon éthique de se tuer dans le cadre de la guerre. Cela ne me réjouit pas mais si nous introduisons des systèmes robotiques dans ce type de domaine, nous devons nous assurer qu’ils adhèrent aux mêmes lois que des combattants humains.

Il est intéressant de constater que les gens ont réfléchi à ces questions sur les champs de bataille depuis des centaines d’années. Il y a des discussions internationales d’envergure et des accords sur ce qui est considéré comme acceptable ou pas. C’est assez bien délimité et pour un spécialiste de la robotique, essayer de créer un robot éthique est aisé, comparé à la complexité de comprendre comment faire un robot qui va se comporter de façon appropriée et morale avec votre grand-mère. Ces aspects ont été étudiés par des philosophes, des scientifiques de l’armée, des avocats, et sont codifiés et existent. C’est pourquoi cela a de la valeur.

Votre article “Le cas de l’autonomie éthique dans les systèmes sans pilote”, dans le Journal of Military Ethics (décembre 2010) évoque le problème de la conception de soldats humains qui combattent bien, même sans entrainement. Les soldats ne combattent peut-être pas bien car leur agressivité n’a pas été assez entretenue et qu’ils ne peuvent pas suivre certains ordres. D’un autre côté, les robots n’hésiteraient pas à tuer pour des raisons d’ordre émotionnel, et ils suivraient toujours un ordre. Certains craignent qu’on arrive à des guerres inhumaines. Comment les robots éthiques s’accommoderaient-ils de l’autorité ?

Ils ne suivraient pas toujours les ordres. Un robot peut refuser un ordre s’il estime que c’est contraire à l’éthique. C’est ça la question. L’idée de notion de gouvernance éthique consiste à produire un mécanisme d’évaluation qui observera l’action que le robot est sur le point d’entreprendre, de la mesurer à l’aune des accords internationaux et de décider s’il doit mener cette action.

Que pensez-vous de la possibilité de créer ce type d’intelligence aujourd’hui ? Est-ce que cela va être possible ?

L’argument vient de l’informaticien Noel Sharky, entre autres, qui fondamentalement ne voit pas comment cela est possible. Les mêmes arguments peuvent être utilisés à propos des hommes volants et de l’envoi d’un homme sur la Lune. L’ordinateur IBM Watson a mis en échec l’intelligence humaine sur l’exercice particulier du jeu Jeopardy. Les robots sont déjà plus intelligents et ils auront de meilleurs capteurs pour être capables de détecter le champ de bataille.

Ils seront capables de traiter l’information bien plus rapidement que n’importe quel humain. Dans le futur, je suis convaincu que nous pourrons en effet créer ces systèmes capables d’exécuter des tâches et de dépasser les humains d’un point de vue éthique. Il est important d’avoir à l’esprit que les systèmes ne seront pas parfaits, mais qu’ils peuvent faire mieux que les humains. Des vies humaines seront ainsi épargnées, ce qui est le but du travail dans lequel je m’implique.

Votre travail comporte-t-il des risques selon vous ? Serait-il possible de reprogrammer un robot éthique pour qu’il devienne non éthique ?

De la même façon que vous pouvez dire à un soldat d’agir de façon immorale, il est concevable de reprogrammer des robots pour qu’ils passent outre ou ignorent les règles de la guerre. Il est important qu’en concevant ces systèmes, nous nous assurions que si quelque chose de semblable se passe, cela soit attribuable à l’auteur de ces changements, quel qu’il soit, et faciliter ainsi les poursuites contre les individus qui ont œuvré pour commettre des crimes de guerre. Personne ne devrait pouvoir se cacher derrière un robot et le mettre en cause à sa place. Il y a toujours un humain qui agit sur cette chaine. Nous pouvons essayer de concevoir des garde-fous dans ces systèmes. Cela ne signifie pas qu’ils ne pourraient pas être contournés mais ce qui compte, c’est qu’il est beaucoup plus facile de fouiner à l’intérieur d’un ordinateur et de son système d’enregistrement que de chercher dans l’esprit d’un humain.

Ces robots éthiques pourraient-ils être déployés dans d’autres domaines ?

Oui ! Nous pourrions en avoir partout où les robots sont utilisés. C’est ce vers quoi l’on s’achemine. Comment comprenez-vous les systèmes dans lesquels chaque humain interagit avec des plate-formes spécifiques de façon à améliorer la société, et non la détériorer ? Quand vous commencez à croiser les cultures, les attentes sont différentes ainsi que les points de vue sur ce qui est éthiquement approprié. L’aspect positif du travail des militaires, c’est qu’il existe un accord international. En revanche, il n’en existe pas sur la façon dont il faut traiter votre grand-père.

Pourquoi vos recherches sont-elles importantes ?

J’ai souvent dit que les discussions que mon travail engendrent sont aussi importantes, sinon davantage, que les recherches en elles-mêmes. Nous essayons de susciter une prise de conscience sur ce qui va se passer avec ces systèmes et il extrêmement important de s’assurer que notre société comprenne entièrement ce que nous faisons en créant ces technologies. Même si cela mène à interdire l’usage de la force létale par ces systèmes autonomes, je n’y suis pas opposé. Je crois que nous pouvons faire mieux mais nous ne pouvons pas laisser les choses avancer sans une compréhension complète des conséquences d’une telle mise en œuvre.


Crédits photos : Flickr CC familymwr, Will Cyr, Walt Jabsco and RDECOM

Traduction Sabine Blanc

Laisser un commentaire

  • Jean-François B. le 7 mai 2011 - 19:38 Signaler un abus - Permalink

    Qui a dit “Isaac Asimov” ?

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • pKp le 8 mai 2011 - 2:26 Signaler un abus - Permalink

    Tout cela me paraît un peu optimiste. Certes, un robot est capable de respecter à la lettre la convention de Genève, les règles d’engagement de l’armée américaine (ou autre), etc. Cependant, deux problèmes majeurs se posent encore :
    1) La majorité de ces règles reposent sur l’identification (nécessairement rapide) des êtres humains à portée de vue/tir : sont-ils des combattants alliés, des ennemis, des civils, des prisonniers ? Toute routine d’identification est doublement limitée : si elle génère des faux positifs, la machine tuera ceux qu’elle est censé épargner, et si elle est trop stricte, elle se fera très aisément détruire par ce qu’elle a en face. Bien entendu, la découverte des limites d’une telle routine serait la priorité absolue de tout opposant un peu malin…
    2) Une intelligence artificielle capable d’agir de façon autonome dans le monde réel n’est encore que de la science-fiction (j’écris actuellement un mémoire de master sur le sujet, je suis donc relativement familier avec l’état de l’art). Le monde est tout simplement trop complexe pour qu’un programme informatique puisse prendre des décisions raisonnables assez rapidement pour être efficace même dans un contexte “calme” ; une IA capable d’intégrer le déluge d’informations qu’est un champ de bataille est encore très loin, si elle est possible. Tout cela est encore renforcé par les problèmes strictement robotiques (autonomie, maintenance, etc) et autres problèmes informatiques (bugs, comportements émergents…).

    A noter également qu’un programme suffisamment complexe pour être autonome satisferait probablement n’importe quelle définition du concept d’”intelligence de niveau humain”, ce qui pose d’intéressantes questions éthiques…

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • David20cent le 8 mai 2011 - 9:45 Signaler un abus - Permalink

    Déjà que les américains s’en foutent pas mal des conventions de Genève . Serait-il envisageable qu’ils arrêtent tout simplement de ne penser qu’à tuer les autres. Je conseille la lecture de ” La conduite de la guerre” de W. Langewiesche.
    Le meilleur de mondes à coup de bombes nucléaires (2) j’y crois moyen.
    Mr Ronald Arkin vous n’êtes qu’un pauvre connard!

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • visitorq le 9 mai 2011 - 12:36 Signaler un abus - Permalink

    Pauvre connard, c’est pas très sympathique. De toute façon ces questions vont se poser qu’on le veuille ou non. Le tout c’est de garder les cartes en main. Il faut développer des hacker capables de transformer les machines à tuer en jardiniers.
    Et s’ils acquièrent suffisamment d’autonomie, soit on s’enferme dans un bunker en attendant qu’ils s’autodétruisent soit on coupe le courant… Dans tous les cas un ordinateur qui doit décider qui tuer, ca laisse peu de marge à la justice, à l’empathie et tout raisonnement autre que logique (à moins qu’on leur refile des greffes de cœurs humains)

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • David20cent le 9 mai 2011 - 13:17 Signaler un abus - Permalink

    Ma sympathie ne va pas aux assassins planqués dans de bureaux d’études.

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • visitorq le 9 mai 2011 - 13:47 Signaler un abus - Permalink

    Malheureusement le temps des chasseurs cueilleurs qui affrontaient un mammouth avec des lances est révolu…
    Reste qu’on peut essayer de rayer toute technologie de la terre, mais là je ne vois pas trop de solution à part un tapi de bombes nucléaires…

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • David20cent le 9 mai 2011 - 22:34 Signaler un abus - Permalink

    Ne fais pas tant confiance à la technologie …tu n’es que sur le seuil de la caverne, le fait que tu lui tournes le dos peut te faire croire que tu en es loin…il faudra peu de choses pour que tes enfants y retournent avant la fin de ce siècle. Rêveur…

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • visitorq le 10 mai 2011 - 9:20 Signaler un abus - Permalink

    Faire confiance ou pas, n’est pas vraiment la question que je me pose, je reste en général assez septique quand on annonce des robots militaires ou autres. Je crois qu’il faut faire avec et être conscient des dangers et des opportunités que la technologie peut créer. Toute technologie reste pour le moment un outil de l’homme et c’est donc la nature de l’homme qui est le plus à craindre. Reste que si on donne de plus en plus d’autonomie aux robots et autres systèmes d’information, nous aurons à nous soucier d’une autre “nature” qui nous sera étrangère. Alors ca peut aussi avoir un effet positif, dans l’adversité on a tendance à se regrouper. Un groupe se définit par rapport à un autre, les humains se définiront par rapport aux robots ce qui peut élargir notre tolérance.
    Bon je m’éloigne un peu trop du sujet désolé.

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
    • Pasteleria le 6 mai 2014 - 12:55 Signaler un abus - Permalink

      Great stuff. BIG LULU is an exciting ppoerrty, for sure. Drop that inky pen and fly out to Hollywood and pitch, pitch, pitch! I’d like to see Michael Bay do a series of remakes on those pokey British Merchant/Ivory films. ROOM WITH A BOOOOM!, WHERE ANGELS FEAR TO BLOW UP, HOWITZER’S END, THE REMAINS OF THE D-DAY … gee whiz … these titles just write themselves. Scary.

      • Vous aimez
      • Vous n'aimez pas
      • 0
      Lui répondre
  • David20cent le 10 mai 2011 - 9:55 Signaler un abus - Permalink

    ” La planète hurlante” Film assez intéressant,tourné pour rentabiliser les investissements d’Alien.
    Les enfants ne portent pas les bombes…les bombes ont l’apparence d’enfants.
    Et les robots se bricolent eux-mêmes…Sympa :)
    Quand je vois la photo du militaire avec sa manette (avec fil) de sa Playstation, les chenilles de la guerre 14/18…j’ai pas l’impression d’avoir affaire à des génies. On en est toujours à l’exploitation de la même découverte a savoir l’électricité :) Et là on en est à la Xième variante du mixer ou du robot Marie. Et là ce super internet …une simple paire de ciseaux et je coupe la chique à tout votre quartier, en moins de 5 mn. C’est en cela que je dis de ne pas trop compter sur la technologie…pour l’instant elle n’a servie qu’à éclairer un peu la caverne.

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre
  • visitorq le 10 mai 2011 - 10:24 Signaler un abus - Permalink

    En plus d’éclairer elle a aussi salopé l’entrée et l’intérieur de la galerie…

    • Vous aimez
    • Vous n'aimez pas
    • 0
    Lui répondre

Derniers articles publiés