«Robots tueurs»: encadrement ou interdiction?

13 Novembre 2017

Ce 13 novembre 2017, les Nations unies vont ouvrir des discussions officielles sur la problématique des «robots tueurs», avec la première réunion d’un groupe d’experts[1] dédié à ce sujet. Fin août déjà, une centaine de professionnels du secteur de la robotique et de l’intelligence artificielle, dont Elon Musk[2], signaient une lettre ouverte à l’ONU demandant une interdiction des armes létales autonomes. Cette lettre fait écho à un autre appel de juillet 2016 qui avertissait des dangers posés par l’autonomisation croissante de certains systèmes d’armes.

(Crédit photo: système antimissile Goalkeeper - Wikipédia)

Quels sont les enjeux de la conférence de cette semaine et quelles sont les termes de la problématique des « robots tueurs » en général?

Une définition

Si les plateformes d’ONG utilisent le terme accrocheur de « robot tueur », les experts préfèrent utiliser l’acronyme SALA pour « système d’armes létal autonome ». En effet, le mot « robot », s’il a un effet médiatique certain, n’implique pas spécifiquement un degré d’autonomie et peut entrainer une confusion avec d’autres systèmes comme par exemple les drones (qui, dans l’état actuel des technologies, sont toujours pilotés). Un SALA pourrait être défini comme « un système d’arme qui, une fois activé, permet de sélectionner et de traiter des cibles sans intervention d’un opérateur humain »[3].

Pourquoi ce type d’armes est-il développé?

Du point de vue militaire, les SALA présentent plusieurs avantages[4]. Ils peuvent réagir beaucoup plus rapidement qu’un opérateur humain, constituant même parfois l’unique parade face à des menaces de type missile ou artillerie. C’est par exemple le cas des systèmes de défense rapprochée de type Goalkeeper utilisés sur les frégates belges Léopold 1^er et Louise-Marie. Ces canons rotatifs couplés à un radar peuvent, une fois leur mode autonome activé, détecter d’eux-mêmes les menaces et procéder à leur destruction[5].

La vitesse de réaction et la précision du ciblage sont ici cruciales : entre la détection et la destruction d’un missile ennemi, il ne peut se passer plus de quelques secondes.

De plus, les SALA sont capables d’opérer 24h/24 avec le même niveau de précision, ce qui les rend particulièrement adaptés pour les missions de surveillance (frontières, bases militaires), tâches ingrates pour le personnel humain sujet à la fatigue et à l’inattention. La Corée du Sud a ainsi déployé des systèmes SGR-A1, développés par Samsung Techwin, à la limite de la zone démilitarisée qui forme la frontière avec la Corée du Nord. Ce robot-sentinelle équipé de caméras, de microphones, de haut-parleurs et d’une mitrailleuse est doté d’un mode de sélection et de traitement des cibles automatiques. Toutefois, la décision de tir revient à un opérateur humain.

Mise à l’agenda

Le débat sur les SALA et les implications de leur développement et de leur utilisation a pris de l’ampleur à partir des années 2010 avec plusieurs appels d’ONG ou de personnalités du monde académique demandant une interdiction des armes autonomes[6]. En 2013, sept ONG dont Pax, Human Rights Watch, Article 36, International Committee for Robot Arms Control, se sont regroupées pour former une plateforme de campagne dénommée Campaign to Stop Killer Robots. C’est au sein de la Convention des Nations unies sur certaines armes classiques que se déroule la majorité des débats, avec l’adoption fin 2013 par les États parties d’un mandat de travail sur le sujet des SALA.

Points clés du débat

Parmi les éléments qui font polémique entre les États, le premier est évidemment la question de la définition des SALA, qui sera essentielle pour cadrer le débat et servir de base à une éventuelle réglementation. Si la définition proposée en introduction de cet éclairage est plus ou moins consensuelle, il n’y a pas de définition juridiquement acceptée d’un SALA. Deux éléments sont saillants dans le débat : la question de l’autonomie et la question de la létalité.

L’autonomie dont est dotée un SALA n’est elle-même pas facile à définir : il existe un large spectre de possibilités allant d’un contrôle total à distance à un système doté d’une intelligence artificielle capable de prendre des décisions sans intervention d’un opérateur humain[7]. L’enjeu est donc de savoir à partir de quel niveau d’autonomie un système devient « pleinement autonome ». Une première distinction a émergé avec les catégories « homme dans la boucle », « sur la boucle » ou « hors de la boucle » de décision[8]. Dans le premier cas, l’humain décide et la machine exécute (cas du robot téléguidé ou du missile guidé). Dans le deuxième, la machine propose et l’opérateur peut apposer son veto. Dans le dernier cas, la machine est totalement indépendante. Ces catégories sont toutefois trop vagues pour refléter l’entièreté du spectre de la prise de décision.

L’ONG britannique Article 36 a donc proposé de recentrer le débat sur l’autonomie autour de la notion de « contrôle humain effectif » comme base pour une future législation. Mais cet élément de définition pose de nouvelles questions : quelles sont les fonctions de la machine qui doivent être contrôlées (navigation, choix des cibles, tir, etc.)? Le contrôle humain doit-il s’opérer à chaque décision critique ou le paramétrage « a priori » de la machine par un opérateur humain suffit-il[9]? La question du contrôle effectif est importante car il est généralement admis que des armes totalement autonomes n’ont pas beaucoup d’utilité opérationnelle : personne ne veut d’une machine incontrôlable[10].

Le risque envisagé par les ONG est que les États soutiennent l’interdiction des SALA mais posent le seuil de l’autonomie tellement haut que cette interdiction ne concerne aucun système actuellement en fonction ou en développement. C’est donc dans la portion médiane de l’autonomie que se décidera une régulation vraiment contraignante et qui aura un impact sur le terrain.

La létalité constitue un autre point de débat. Les systèmes d’armes semi-autonomes existants sont majoritairement des systèmes de défense antimissiles (tels les canons navals Goalkeeper ou Phalanx) ou antiroquettes (Iron Dome israélien) qui n’ont pas pour but de tuer des êtres humains mais d’intercepter des cibles très véloces. Ces systèmes, à usage majoritairement défensif et anti-matériel, n’ont pas suscité d’opposition particulière au niveau éthique.

Le respect du DIH

La capacité (ou non) des SALA à respecter le droit international humanitaire (DIH ou droit des conflits armés) constitue un des points forts de la campagne pour l’interdiction des robots tueurs. Tous les États parties aux Protocoles additionnels aux Conventions de Genève doivent évaluer la compatibilité des nouvelles armes qu’ils produisent ou acquièrent avec les dispositions du DIH[11]. Les principes fondamentaux du DIH sont le principe de distinction (combattants/non-combattants), l’interdiction de causer des souffrances superflues et le principe de précaution (limiter au maximum les victimes civiles). Ces principes, exposés ici de manière très succincte, dépendent largement du contexte et sont donc très difficiles à programmer dans un logiciel. En plus de la question du respect du DIH, se pose la question de la responsabilité en cas de violations. La personne responsable sera-t-elle le fabricant du système, le programmeur du logiciel ou la personne qui a déployé ou supervisé la mise en œuvre des SALA?

À ce propos, il est important de noter que la majorité des experts, partisans ou non des SALA, estiment que la mise en œuvre de SALA dans des contextes urbains au milieu de civils a peu de sens[12]. C’est dans d’autres contextes opérationnels qu’ils acquièrent une réelle valeur-ajoutée.             

Interdiction ou régulation?

La campagne pour l’interdiction des « robots tueurs » avance le risque de prolifération de ce type d’équipements et leur usage potentiel à des fins terroristes pour justifier une interdiction préventive[13].

Le fait de tuer ou d’être tué par une machine soulève également, selon les ONG, des questions morales spécifiques. Du côté des militaires, utiliser des « robots tueurs » dans des zones habitées présente également des inconvénients. Partant de l’expérience des exécutions ciblées par drones au Pakistan, le lieutenant-colonel Pryer de l’US Army démontre l’importance d’apparaître humain si l’on veut gagner les cœurs et les esprits dans le cadre de guerres contre-insurrectionnelles[14]. Du côté des partisans d’une régulation, on soutient que l’interdiction n’empêchera pas les détournements de technologie (les organisations terroristes ne respectent pas les instruments internationaux) et priverait les armées de systèmes utiles (lutte contre les mines, défense anti-missile, etc.). Parmi les mesures de régulation, on retrouve l’utilisation de SALA dans des contextes bien déterminés (environnement sous-marin, spatial ou aérien), ce qui évacue en grande partie la question du respect du DIH, ; la programmation des SALA pour traiter uniquement des objectifs militaires par nature (chars, artillerie, etc.) ; la programmation d’un principe de subsidiarité (le SALA n’est utilisé que lorsqu’un humain n’est pas capable de prendre une décision, par exemple en raison de la vitesse de réaction exigée) ; la possibilité permanente de désactivation du SALA à distance[15].

Le débat entre interdiction et régulation n’est pour l’instant pas tranché. Le plus important sera de se mettre d’accord sur une définition des SALA (soumis à interdiction ou à encadrement) qui oblige à maintenir un contrôle humain effectif sur les fonctions de ciblage et de tir.

L’auteur

Denis Jacqmin est chercheur au GRIP, au sein de l’axe « armes légères et transferts d’armes ». Il a été observateur international pour les missions SMM Ukraine (2014‑2015) et EUMM Georgia (2012-2013).