Descargo de responsabilidad editorial: En todas sus publicaciones y productos, Military Review presenta información profesional. Sin embargo, las opiniones expresadas en ella son las de los autores y no son necesariamente las de Army University, el Departamento del Ejército o cualquier otra agencia del gobierno de EUA.

---

 

Los pros y los contras de los sistemas de armamento autónomos

Amitai Etzioni

Oren Etzioni

Descargar PDF

Los sistemas de armamento autónomos y robots militares avanzan desde películas de ciencia ficción hasta los tableros de dibujo de diseñadores, laboratorios de ingeniería, e incluso el campo de batalla. Estas máquinas han impulsado un debate entre planificadores como expertos en la robótica y en ética sobre el desarrollo y despliegue de armas que pueden hacer funciones cada vez más avanzadas, incluso la selección de blancos y la aplicación de fuerza con poca o ninguna supervisión humana.

Algunos expertos militares sostienen que los sistemas de armamento autónomos no solo proporcionan grandes ventajas estratégicas y tácticas en el campo de batalla, sino también basado en principios morales, son preferibles, por sobre el uso de combatientes humanos. En cambio, los críticos alegan que esta armas deben ser limitadas e incluso completamente prohibidas por una variedad de razones morales y legales. En el presente artículo, se revisan primero los argumentos de los defensores de los sistemas de armamento autónomos seguidos por los puntos de vista de los que se oponen a estas armas. A continuación, se discuten los desafíos para limitar y definir las armas autónomas. En último lugar, se concluye con una recomendación de política.

Argumentos a favor de los sistemas de armamento autónomos

El apoyo de los sistemas de armamento autónomos se encuentra en dos categorías generales. Algunos miembros de la comunidad de defensa propugnan las armas autónomas debido a las ventajas militares. Otros hacen hincapié en las justificaciones morales para su uso.

Las ventajas militares. Las personas que abogan por más el desarrollo y despliegue de los sistemas de armamento autónomos normalmente resaltan varias ventajas militares. En primer lugar, los sistemas de armamento autónomos actúan como un multiplicador de fuerza. Es decir, se necesita un menor número de soldados para cumplir una misión dada y se incrementa la eficacia de cada soldado. En segundo lugar, los defensores adscriben la expansión del campo de batalla a los sistemas de armamento autónomos, que permite que el combate alcance áreas que previamente eran inaccesibles. En último lugar, los sistemas de armamento autónomos pueden reducir el número de bajas al quitar a los combatientes humanos de las misiones peligrosas¹.

En el Unmanned Systems Roadmap: 2007-2032 del Departamento de Defensa da a conocer otras razones para continuar con la adquisición de sistemas de armamento autónomos. Estas coinciden en que los robots son más adecuados que los humanos para llevar a cabo las «misiones aburridas, sucias o peligrosas»². Un ejemplo de una misión aburrida son los vuelos de larga duración, un ejemplo de una misión sucia es una tarea que expone a humanos a materiales radiológicos posiblemente dañinos, y un ejemplo de una misión peligrosa es la eliminación de municiones explosivas. El mayor Jeffrey S. Thurnher, Ejército de EUA, agrega, «[los robots autónomos letales] tienen el potencial inigualable de operar a un ritmo más rápido que los humanos pueden lograr y atacar con letalidad aún cuando ha sido cortada toda forma de comunicación»³.

Asimismo, se han destacado los ahorros de recursos que a largo plazo podría lograrse a través del despliegue de un ejército de robots militares. En un artículo publicado en 2013 en The Fiscal Times, David Francis cita cifras del Departamento de Defensa que demuestran que «cada soldado en Afganistán le cuesta al Pentágono aproximadamente US$ 850.000 por año»⁴. Sin embargo, otros estiman que el costo por año es más alto. En cambio, según Francis, el «robot TALON,—el cual es un pequeño vehículo explorador que puede dotarse con armas, cuesta US$ 230.000»⁵. Según Defense News, el general Robert Cone, excomandante del Comando de Adiestramiento y Doctrina del Ejército de EUA, sugirió en el Simposio de Aviación del Ejército de 2014 que depender de más «robots de apoyo», con el tiempo, el Ejército podría reducir el tamaño de una brigada de cuatro mil a tres mil soldados sin una reducción que afecte su eficiencia⁶.

En la Air Force Law Review, el mayor Jason S. DeSon, Fuerza Aérea de EUA, destaca las posibles ventajas de los sistemas de armamento autónomos⁷. Según DeSon, la tensión física de las maniobras de alto impacto gravitacional, la concentración mental intensa y la conciencia situacional necesaria de los pilotos de caza los hacen propensos a la fatiga y al cansancio excesivo; sin embargo, los pilotos robots no estarían sujetos a estas limitaciones psicológicas y mentales. Además, los aviones completamente autónomos podrían ser programados para tomar acciones impredecibles al azar que podrían confundir a un adversario. Aún más impactante, el capitán Michael Byrnes, Fuerza Aérea de EUA, estima que un solo vehículo aéreo no tripulado que maniobre y tenga precisión controlada por una maquina «con unos centenares de proyectiles de municiones y reservas de combustible suficientes» podría destruir una flota entera de aviones, presumiblemente con pilotos humanos⁸.

En 2012, un informe elaborado por el Consejo de Ciencia de Defensa en apoyo a la Oficina del Subsecretario de Defensa para la Adquisición, Tecnología y Logística, identificó «seis áreas clave en que los avances en la autonomía tendrían grandes beneficios para [un] sistema no tripulado: percepción, planificación, aprendizaje, interacción entre humanos y robots, comprensión del lenguaje natural y la coordinador multiagente»⁹. La percepción o procesamiento perceptivo, se refiere a sensores y detección. Los sensores incluyen hardware y la detección incluye software¹⁰.

El Consejo de Ciencia de Defensa, se refiere a la planificación como «el cálculo de una secuencia o una orden parcial de acciones que... [logra] un estado deseado»¹¹. Este proceso depende de procesos eficaces y «algoritmos necesarios para tomar decisiones sobre las acciones (proporcionando autonomía) en las situaciones en que los humanos no están en el ambiente (p. ej. el espacio, el océano)»¹². Respecto del aprendizaje, se refiere cómo las máquinas pueden recolectar y procesar grandes cantidades de datos para producir conocimiento. En el informe se afirma que la investigación ha demostrado que las máquinas procesan datos para producir conocimientos más eficazmente que los humanos¹³. Asimismo, da a conocer como ejemplo el aprendizaje automático para la navegación autónoma en vehículos terrestres y robots¹⁴.

La interacción entre humanos y robots se refiere a «cómo las personas trabajan o juegan con robots»¹⁵. En general, los robots son bastante distintos de otras computadoras o herramientas ya que son «agentes físicamente situados», y los usuarios humanos interactúan con estos de maneras distintas¹⁶. La investigación sobre la interacción necesita cruzar un número de campos más allá de la ingeniería, incluyendo la sicología, ciencias cognitivas y comunicaciones, entre otros.

«El procesamiento del lenguaje natural trata de… sistemas que pueden comunicarse con personas por medio de idiomas humanos comunes»¹⁷. Además, «el lenguaje natural es la manera más normal e intuitiva para que humanos instruyan los sistemas autónomos; les permite proporcionar metas y diversas estrategias de alto nivel en lugar de un control remoto detallado»¹⁸. Por lo tanto, se necesita más desarrollo de la capacidad de los sistemas de armamento autónomos para responder a órdenes bajo un lenguaje natural.

En último lugar, el Consejo de Ciencia de Defensa usa el término coordinador multiagente para las circunstancias en que se distribuye una tarea entre «múltiples robots, agentes de software o humanos»¹⁹. Las tareas podrían ser planificadas o coordinadas a través de interacciones de los agentes. Este tipo de coordinación va más allá de una simple cooperación debido a que «se presume que los agentes tienen una comprensión cognitiva de las capacidades de los otros, pueden monitorear el progreso hacia su objetivo e interactuar en la colaboración más parecido a los humanos»²⁰.

Las justificaciones morales. Varios expertos militares y de robótica han argumentado que los sistemas de armamento autónomos no solo deben ser considerados moralmente aceptables, sino también que serían éticamente preferibles a los combatientes humanos. Por ejemplo, el experto en robótica Ronald C. Arkin estima que los robots autónomos del futuro podrán actuar más «humanamente» en el campo de batalla por varias razones, incluyendo que no necesitan una programación con instinto de autopreservación, y eliminando la necesidad de una actitud de «disparar primero y preguntar después»²¹. La percepción de estos sistemas de armas autónomos no serían ofuscados por emociones como el miedo o la histeria y estos sistemas podrán procesar mucha más información entrante que los humanos sin descartar o distorsionarla para responder a conceptos preconcebidos. En último lugar, según Arkin, en los equipos compuestos de soldados humanos y robots, se podría depender más de los robots para denunciar infracciones a la ética observadas por sobre un grupo de personas que podrían ocultar la verdad²².

El teniente coronel Douglas A. Pryer, Ejército de EUA, sostiene que podrían existir ventajas éticas al no emplear a los humanos en zonas de combate sumamente estresantes por robots. Él destaca la investigación de neurociencia que sugiere que los circuitos neurales responsables del autocontrol consciente pueden dejar de funcionar cuando son sobrecargados por el estrés, lo que lleva al acoso sexual y otros delitos que, normalmente los soldados estarían menos dispuestos a cometer. Sin embargo, Pryer separa la pregunta respecto a si hacer la guerra por medio de robots es teóricamente ético. En cambio, sugiere que puesto existe tanta ira moral entre las poblaciones de las cuales Estados Unidos necesita el mayor nivel de apoyo, la guerra con robots tendría serias desventajas estratégicas y podría tener como consecuencia un alargamiento de la guerra hasta ser perpetua²³.

Argumentos opuestos a los sistemas de armamento autónomos

Si bien algunos argumentan que el uso de los sistemas de armamento autónomos es válido, otros se oponen por razones éticas. Aún así, existen otras personas que sostienen que los argumentos morales contra los sistemas de armamento autónomos serían erróneos.

La oposición por razones éticas. En julio de 2015, una carta abierta que exigió una prohibición de las armas autónomas fue publicada en una conferencia conjunta internacional sobre la inteligencia artificial. En la carta se advierte que «la tecnología de Inteligencia Artificial (AI) ha llegado al punto donde el despliegue de tales sistemas será—prácticamente— posible en unos años, no décadas, y los riesgos son altos: se han descrito las armas autónomas como la tercera revolución en la guerra, después de la pólvora y las armas nucleares»²⁴. En esta carta también se observa que la inteligencia artificial tiene el potencial de beneficiar a la humanidad, pero si ocurre una carrera armamentista con la inteligencia artificial militar, la reputación de la inteligencia artificial podría ser manchada y una reacción pública negativa podría reducir los futuros beneficios de la misma. La carta tiene una lista impresionante de signatarios, incluyendo Elon Musk (inventor y fundador de la empresa Tesla), Steve Wozniak (cofundador de la empresa Apple), el físico Stephen Hawking (de la Universidad de Cambridge) y Noam Chomsky (del Instituto de Tecnología de Massachusetts), entre otros. Más de tres mil investigadores de inteligencia artificial y robótica han firmado la carta. La carta abierta simplemente exige una «prohibición de armas autónomas ofensivas más allá del control humano»²⁵.

A modo de inciso, destacamos que a menudo es ambiguo definir si un arma es ofensiva o defensiva. Por lo tanto, muchas personas presumen que un escudo antimisiles es exclusivamente defensivo, pero el mismo puede ser sumamente desestabilizador si permite que una nación lance un ataque nuclear contra otra sin temer una represalia.

En abril de 2013, un relator especial de las Naciones Unidas (ONU) sobre las ejecuciones extrajudiciales, sumarias o arbitrarias presentó un informe al Consejo de Derechos Humanos de la ONU. En el informe, se recomendó que los Estados miembros deberían declarar e implementar un sistema de fiscalización sobre las pruebas, producción, transferencia y despliegue de la robótica autónoma letal (LAR) hasta que se establezca un marco legal internacional sobre las LAR²⁶.

En el mismo año, un grupo de ingenieros expertos de inteligencia artificial y robótica, y otros científicos e investigadores de 37 países publicaron el «Scientists’ Call to Ban Autonomous Lethal Robots» [El llamado de científicos para la prohibición de robots autónomos letales]. En la declaración, se observa la falta de pruebas que, en el futuro, los robots podrían tener «la funcionabilidad necesaria para la identificación precisa de blancos, conciencia situacional y la toma de decisiones relativa al uso de fuerza proporcional»²⁷. Por lo tanto, podrían causar un alto nivel de daños colaterales. Esta declaración concluye insistiendo que «las decisiones sobre la aplicación de fuerza violenta no debe ser delegada a máquinas»²⁸.

De hecho, la delegación de la toma de decisiones de vida o muerte por agentes no humanos es una preocupación recurrente de las personas que se oponen a los sistemas de armamento autónomos. La manifestación más clara de esta preocupación tiene que ver con los sistemas que pueden escoger sus propios blancos. Por lo tanto, el muy respetado informático Noel Sharkey ha exigido una prohibición de «la selección autónoma de blancos con fines letales» porque que viola el Principio de Distinción considerado una de las reglas más importantes del conflicto armado—será muy difícil para los sistemas de armamento autónomos determinar quién es civil y quien es combatiente, aspecto que ya es difícil para los humanos²⁹. El permitir que la inteligencia artificial tome decisiones respecto a la selección de blancos probablemente resultará en bajas civiles y daños colaterales inaceptables.

Otra gran preocupación es el problema de responsabilidad cuando se despliegan los sistemas de armamento autónomos. El experto en ética Robert Sparrow destaca este asunto ético observando que una condición fundamental del derecho internacional humanitario, o jus in bello, requiere que se deba responsabilizar a alguna persona por muerte de civiles. Cualquier arma u otro medio de guerra que hace imposible la determinación de responsabilidad por las bajas que causa no satisfacen los requerimientos de jus in bello y, por lo tanto, no se deberían usar en la guerra³⁰.

Este asunto surge porque las máquinas dotadas con la inteligencia artificial toman decisiones independientes, a tal grado que es difícil determinar si una mala decisión se debe a defectos en el programa o en las deliberaciones autónomas de las máquinas equipadas con la inteligencia artificial, también conocidas como máquinas inteligentes. La naturaleza del problema fue subrayada cuando un automóvil sin conductor violó el límite de velocidad porque iba demasiado lento en una carretera y no era evidente a quien se debe dar la multa³¹. En las situaciones en que un ser humano toma la decisión de usar la fuerza contra un blanco, hay una clara cadena de responsabilidad que empieza por «quién apretó el gatillo», hasta el comandante que dio la autorización. En el caso de los sistemas de armamento autónomos, tal claridad no existe. No es claro a quien se debe culpar o responsabilizar.

Lo que proponen Sharkey, Sparrow y los signatarios de la carta abierta podría ser llamado una «regulación de corriente arriba», es decir, una propuesta para establecer los límites en el desarrollo de la tecnología de sistemas de armamento autónomos y levantar líneas restrictivas en que los futuros avances tecnológicos no pueden cruzar. Este tipo de planteamiento de corriente arriba intenta prever el curso de desarrollo tecnológico y prevenir los peligros que presentarían tales avances. Otras personas prefieren la «regulación de corriente abajo», que toma un planteamiento de esperar y ver para desarrollar las regulaciones cuando ocurren nuevos avances. Los expertos legales Kenneth Anderson y Matthew Waxman, que propugnan este planteamiento sostienen que la regulación tendrá que surgir junto con la tecnología porque ellos piensan que la moralidad evolucionará paralelamente con el desarrollo tecnológico³².

Por lo tanto, puede ser necesario volver a tratar con los argumentos sobre la capacidad irreemplazable de la consciencia y juicio moral humano³³. Además, ellos sugieren que cuando los humanos se tornan más acostumbrados a las máquinas que hacen funciones con implicaciones o consecuencias de vida o muerte (tales como manejar automóviles o hacer cirugías), los humanos probablemente se tornen más cómodos con la incorporación de la inteligencia artificial en las armas. Como resultado, Anderson y Waxman proponen lo que podría ser considerado una solución comunitaria, sugiriendo que Estados Unidos debe formular normas y principios (en lugar de reglas legales obligatorias) que guían y limitan la investigación y desarrollo —y el despliegue probable— de sistemas de armamento autónomos. Estas normas podrían establecer expectativas con respecto a la conducta legal o éticamente adecuada. Anderson y Waxman escriben,

Para lograr el éxito, el Gobierno de Estados Unidos tendría que resistir dos situaciones extremas. Primero tendría que resistir sus propios instintos de resguardarse detrás de la clandestinidad para evitar la discusión y la defensa de incluso los principales rectores. También tendría que rehusar a ceder la autoridad moral a los críticos de los sistemas autónomos letales, potenciales adversarios que exigen algún gran tratado internacional o sistema de control multilateral para controlarlos o aún prohibirlos³⁴.

Los argumentos en contra. En su respuesta, algunas personas se oponen a cualquier esfuerzo por aplicar a los robots el lenguaje de moralidad que se aplica en los agentes humanos. Por ejemplo, el experto en ética militar, George Lucas Jr, enfatiza que los robots no sienten la ira o un deseo de «ajustar cuentas», buscando la venganza por daños ocasionados a sus compatriotas³⁵. Lucas asevera que el debate hasta ahora ha estado entrampado por la confusión de la autonomía de las máquinas respecto de la autonomía moral. Tanto la aspiradora Roomba como el sistema de mísiles Patriot «son autónomos para cumplir sus misiones asignadas, incluyendo encontrar y enfrentar obstáculos, problemas y circunstancias imprevistos con un mínimo de supervisión humana», pero no en el sentido que pueden cambiar o abandonar su misión si tienen «objeciones morales»³⁶. Por lo tanto, Lucas sostiene que la preocupación principal de los ingenieros y diseñadores que desarrollan los sistemas de armamento autónomos no debe ser la ética sino la seguridad y confiabilidad que significa tener cuidado debido a los posibles riesgos de funcionamientos defectuosos, errores o mal uso que presentarían los sistemas de armamento autónomos. Sin embargo, destaca que la seguridad sin lugar a dudas, también es un valor moral.

El teniente coronel Shane R. Reeves y el mayor William J. Johnson, auditores militares en el Ejército de EUA, observan que hay campos de batalla sin civiles tales como bajo el agua y en el espacio, en donde las armas autónomas podrían reducir la posibilidad de sufrimiento o muerte con la eliminación de combatientes humanos²⁷. Reconocemos que esta observación válida no va en contra de una prohibición en estos escenarios de posibles combates.

Michael N. Schmitt, de la Escuela Superior de Guerra Naval, distingue entre las armas que son ilegales en sí y el uso ilegal de armas que en otras circunstancias son legales. Por ejemplo, no se prohíbe un rifle bajo el derecho internacional, pero usarlo en contra de civiles constituiría un uso ilegal. Por otra parte, algunas armas (p. ej. armas biológicas) son ilegales en sí, incluso cuando se usan contra tropas. Por lo tanto, Schmitt admite que algunos sistemas de armamento autónomos podrían contravenir el derecho internacional, pero «categóricamente no es el caso que todos sistemas de este tipo lo harán»³⁸. Por lo tanto, incluso un sistema autónomo que no puede distinguir entre civiles y combatientes no necesariamente deben ser ilegal en sí, porque los sistemas de armamento autónomos podrían ser usados en situaciones donde no hay civiles presentes, tal como en contra de formaciones de tanques en el desierto o contra buques de guerra. Este mismo sistema podría ser usado ilegalmente si accionara en los contextos donde hay civiles presentes. Sostenemos que deben exigirse algunas limitaciones sobre tales armas.

En su análisis del debate, los expertos jurídicos Gregory Noone y Diana Noone concluyen que todo el mundo está de acuerdo en que todo sistema de armas autónomo tendría que estar en conformidad con las leyes de los conflictos armados (LOAC), y como consecuencia, ser capaz de distinguir entre combatientes y no combatientes. Ellos escriben «Ningún académico o practicante no declara nada al contrario; por lo tanto, esta parte del argumento de cualquier parte debe ser ignorado como una distracción falsa. En términos sencillos, nadie estaría de acuerdo en emplear cualquier arma que ignora las obligaciones de las leyes de los conflictos armados»³⁹.

Los límites en los sistemas de armamento autónomos y las definiciones de la autonomía

La comunidad internacional está de acuerdo con los límites sobre minas, armas químicas y biológicas, pero un acuerdo que limite a los sistemas de armamento autónomos enfrentaría numerosos desafíos. Un desafío es la falta de consenso en definir la autonomía de los sistemas de armas incluso entre los integrantes del Departamento de Defensa. Una definición estándar que tome en cuenta los niveles de autonomía podría guiar en planteamiento creciente para proponer los límites.

Los límites sobre los sistemas de armamento autónomos. Tomamos por entendido que ninguna nación no se comprometerá a abandonar el uso de los sistemas de armamento autónomos a menos que sus adversarios hagan lo mismo. A primera vista, puede parecer que no está más allá del mundo de posibilidades obtener un acuerdo internacional para prohibir los sistemas de armamento autónomos o, como mínimo, algunas formas de los mismos.

Hay muchas prohibiciones respecto a una categoría u otra de las armas, las que han sido bien respetadas e implementadas. Estas incluyen el Convenio sobre la Prohibición del empleo, almacenamiento, producción y transferencia de minas antipersonal y sobre su destrucción (conocido como el Tratado de Ottawa, que formó parte del Derecho Internacional en 1999); el Convenio de armas químicas (ratificado en 1997); el Convenio sobre la prohibición del desarrollo, producción y almacenamiento de armas bacteriológicas (biológicas) y toxínas y sobre su destrucción (conocido como el Convenio de armas biológicas, adoptado en 1975). El historial del Tratado de no proliferación de armas nucleares (adoptado en 1970) es más complejo, pero es reconocido por haber prevenido que varias naciones desarrollaran las armas nucleares y causar que, por lo menos, una nación dejara de abandonarlas.

Algunos defensores de estas prohibiciones de sistemas de armamento autónomos buscan prohibir no solo la producción y despliegue, sino también la investigación, desarrollo y pruebas de estas máquinas. Esto podría ser imposible porque los sistemas de armamento autónomos son desarrollados y probados en pequeños talleres y este proceso no deja huellas. Tampoco podrían dependerse de satélites para obtener datos de inspección por las mismas razones. Por lo tanto, presumimos que si fuera posible establecer este tipo de prohibición, se centraría principalmente en el despliegue y producción en masa.

Aun así, tal prohibición enfrentaría considerables dificultades. Aunque es posible determinar qué es y qué no es un arma química (a pesar de algunos desacuerdos en el margen, por ejemplo, sobre el uso de armas químicas irritantes por la policía), y claramente definir las armas nucleares y minas terrestres, los sistemas de armas autónomas conllevan distintos niveles de autonomía⁴⁰. Una prohibición sobre todas las armas autónomas requeriría pasar por alto muchas armas modernas actualmente ya producidas y desplegadas en masa.

Las definiciones de autonomía. Se han atribuido distintas definiciones al concepto de «autonomía» en una variedad de documentos del Departamento de Defensa y los conceptos resultantes sugieren puntos de vista bien diferentes respecto del futuro de la guerra robótica. Una definición, usada por el Consejo de Ciencia de Defensa, considera la autonomía solo como la automatización avanzada: «una capacidad (o conjunto de capacidades) que permite que una acción específica de un sistema sea automática o, dentro de los límites de programación, “autogobernante”»⁴¹. Según esta definición, las capacidades que ya existen, tal como el piloto automático usado en aeronaves, podrían ser calificadas como autónomas.

Otra definición, usada en la Unmanned Systems Integrated Roadmap FY2011–2036, sugiere un punto de vista cualitativamente distinto de la autonomía: «un sistema autónomo puede tomar una decisión basada en un conjunto de reglas y/o limitaciones. Puede discriminar qué información es importante en la toma de decisiones»⁴². En este punto de vista, los sistemas autónomos actúan de manera menos predecible que los sistemas que son simplemente automatizados porque la inteligencia artificial no solo desempeña una acción específica sino que también toma decisiones y, por lo tanto, posiblemente tomaría una acción que no fue ordenada por un humano. Un humano todavía es responsable de la programación del comportamiento del sistema autónomo y las acciones tomadas por el sistema tendrían que ser consistentes con las leyes y estrategias proporcionadas por humanos. Sin embargo, ninguna acción individual sería completamente predecible ni preprogramada.

Es fácil encontrar aún más definiciones de la autonomía. El Comité Internacional de la Cruz Roja define las armas autónomas como las que pueden «independientemente seleccionar y atacar blancos, p. ej., con autonomía en las “funciones críticas” de adquisición, rastreo, selección y ataque de blancos»⁴³.

Un informe de Bonnie Docherty, publicado por Human Rights Watch, Losing Humanity: The Case against Killer Robots, define tres categorías de la autonomía basadas en el tipo de interacción humana, estas son: humano-en-el-ciclo, humano-sobre-el-ciclo y humano-fuera-del-ciclo⁴⁴.

Las «armas de humano-en-el-ciclo [son] robots que solo pueden seleccionar blancos y entregar la decisión al mando humano»⁴⁵. Numerosos ejemplos del primer tipo ya están en uso. Por ejemplo, el sistema Domo de Hierro de Israel detecta los cohetes entrantes, predice su trayectoria y luego envía esta información a un soldado humano que decide lanzar un cohete interceptador⁴⁶.

Las «armas de humanos-sobre-el-ciclo [son] robots que pueden seleccionar blancos y decidir su accionar con la supervisión de un operario humano que puede controlar las acciones de los robots»⁴⁷. Un ejemplo mencionado por Docherty incluye el SGR-A1, fabricado por la empresa Samsung, un robot centinela que se usa a lo largo de la Zona desmilitarizada en Corea. Usa una cámara de baja luz y software de reconocimiento de patrones para detectar intrusos y luego emitir advertencias verbales. Si no se rinde el intruso, el robot tiene una ametralladora que puede ser disparada por un soldado que el robot ha alertado, o por el mismo robot, si se encuentra en un modo completamente automático⁴⁸.

Estados Unidos también despliega los sistemas de armas de humanos-sobre-el-ciclo. Por ejemplo, el Sistema de Armamento de Proximidad Phalanx MK 15 ha sido usado en los buques navales desde los años 80 y puede detectar, evaluar, rastrear y enfrentar y emplear la fuerza con misiles antibuques y amenazas de aeronaves de alta velocidad sin mandos de humanos⁴⁹. El Center for a New American Security publicó un libro blanco en que se estimó que desde 2015, al menos 30 países han desplegado o desarrollan sistemas supervisados por humanos⁵⁰.

Las «armas de humano-fuera-del-ciclo [son] robots que pueden seleccionar blancos y resolver el uso de la fuerza sin aporte humano»⁵¹. Este tipo de sistema de armamento autónomo es la fuente de mucha preocupación con las «máquinas de matar». El estratega militar Thomas K. Adams advirtió que, en el futuro, los humanos serían relegados a solo tomar las decisiones de política iniciales sobre la guerra y solo tendrían una autoridad simbólica sobre los sistemas automatizados⁵². En el informe de Human Rights Watch, Docherty advierte «Con la eliminación de la participación humana en la decisión de usar la fuerza letal en el conflicto armado, las armas completamente autónomas socavarían otras protecciones no legales de civiles»⁵³. Por ejemplo, un dictador represivo podría desplegar robots sin emociones para matar e inculcar el miedo en una población sin tener que preocuparse con soldados que podrían sentir empatía con sus víctimas (que podrían ser vecinos, conocidos o aun familiares) y luego volverse en contra del dictador.

Para los fines del presente artículo, estimamos que la palabra autonomía significa que una máquina tiene la capacidad de tomar decisiones basado en la información recolectada por esta, más allá de las instrucciones y parámetros proporcionados por sus fabricantes, programadores y usuarios.

Una manera de comenzar un acuerdo internacional que limita las armas autónomas

Resulta difícil el imaginar que las naciones estén de acuerdo en transitar a un mundo en que las armas no tengan alguna medida de autonomía. Al contrario, con los avances en la inteligencia artificial, se debe anticipar que más y más máquinas e instrumentos de todo tipo se tornarán más autónomos. Parece que será inevitable tener aviones de bombardeo y caza sin piloto humano. Aunque es verdad que, por definición, cualquier nivel de autonomía conlleva alguna pérdida de control humano, este genio se ha escapado de la botella y no vemos ninguna manera de ponerlo adentro de nuevo.

¿Por dónde comenzar? La manera más prometedora de avanzar es determinar si puede obtenerse un acuerdo internacional para prohibir las armas completamente autónomas con misiones que no puedan ser abortadas ni puedan ser retornadas una vez lanzadas. Si funcionan mal y seleccionan un centro de población civil como blanco, no habría manera de detenerlas. Es similar a las minas terrestres sin detonar que han sido arrojadas indiscriminadamente, estas armas continuarán matando aún después de que las partes hayan resuelto sus diferencias y lleguen a la paz.

Se podría debatir que lograr este tipo de acuerdo no debiera ser difícil porque no existirían políticos que favorezcan tales armas. De hecho, el Pentágono ha ordenado que «los sistemas autónomos y semiautónomos sean diseñados para permitir que los comandantes y operarios ejerzan adecuados niveles de juicio humano sobre el empleo de la fuerza»⁵⁴.

¿Por qué empezar? Sin embargo, cabe destacar que las armas de humano-fuera-del-ciclo son muy eficaces en el refuerzo de una línea roja (bajo fuego de combate). Una declaración hecha por representantes de una nación de que si otra nación comete un tipo específico de comportamiento hostil, seguirá una represalia rápida y severa, está abierta a la mala interpretación por la otra parte, aun si es reforzada por el despliegue de tropas u otros medios militares.

Los mandos, aprovechando experiencias históricas considerables podrían pensar que son capaces de cruzar la línea roja sin sufrir consecuencias por una razón u otra. Por lo tanto, las armas sin un humano en el ciclo permitirían enfrentar líneas rojas mucho más creíbles. (Esto es una forma de la «estrategia de precompromiso» discutido por Thomas Schelling en el libro Arms and Influence, en que una parte limita sus propias opciones con la obligación de tomar represalias, haciendo así su disuasión más creíble)⁵⁵.

Sugerimos que las naciones estén más dispuestas a pasar por alto la ventaja de las armas completamente autónomas con el propósito de tener la confianza de que una vez finalizadas las hostilidades, podrían evitar involucrarse a que algunos aviones de bombardeo aún se encontraban activos y atacando a la otra parte, o porque algunos aviones bombarderos podrían funcionar mal y atacar a centros civiles. En último lugar, si se determinara una prohibición sobre las armas completamente autónomas y se desarrollaran los medios de verificación, podría aspirarse a avanzar hacia limitar las armas con un alto grado, pero no completo, de autonomía.

Los autores están muy agradecidos a David Kroeker Maus por su investigación considerable en el presente artículo.

Notas

1. Gary E. Marchant y col., «International Governance of Autonomous Military Robots», Columbia Science and Technology Law Review 12 (junio de 2011): págs. 272–76, accedido 27 de marzo de 2017, http://stlr.org/download/volumes/volume12/marchant.pdf.
2. James R. Clapper Jr. y col., Unmanned Systems Roadmap: 2007-2032 (Washington, DC: Departamento de Defensa [DOD], 2007), pág. 19, accedido 28 de marzo de 2017, http://www.globalsecurity.org/intell/library/reports/2007/dod-unmanned-systems-roadmap_2007-2032.pdf.
3. Jeffrey S. Thurnher, «Legal Implications of Fully Autonomous Targeting», Joint Force Quarterly 67 (4^o Trimestre, octubre de 2012): pág. 83, accedido 8 de marzo de 2017, http://ndupress.ndu.edu/Portals/68/Documents/jfq/jfq-67/JFQ-67_77-84_Thurnher.pdf.
4. David Francis, «How a New Army of Robots Can Cut the Defense Budget», Fiscal Times, 2 de abril de 2013, accedido 8 de marzo de 2017, http://www.thefiscaltimes.com/Articles/2013/04/02/How-a-New-Army-of-Robots-Can-Cut-the-Defense-Budget. Francis atribuye el cálculo de costo de US$ 850.000 a una fuente anónima del DOD, presumiblemente de 2012 o 2013.
5. Ibíd.
6. Citado en Evan Ackerman, «U.S. Army Considers Replacing Thousands of Soldiers with Robots», IEEE Spectrum, 22 de enero de 2014, accedido 28 de marzo de 2016, http://spectrum.ieee.org/automaton/robotics/military-robots/army-considers-replacing-thousands-of-soldiers-with-robots.
7. Jason S. DeSon, «Automating the Right Stuff? The Hidden Ramifications of Ensuring Autonomous Aerial Weapon Systems Comply with International Humanitarian Law», Air Force Law Review 72 (2015): págs. 85–122, accedido 27 de marzo de 2017, http://www.afjag.af.mil/Portals/77/documents/AFD-150721-006.pdf.
8. Michael Byrnes, «Nightfall: Machine Autonomy in Air-to-Air Combat», Air & Space Power Journal 23, nro. 3 (mayo-junio de 2014): pág. 54, accedido 8 de marzo de 2017, http://www.au.af.mil/au/afri/aspj/digital/pdf/articles/2014-May-Jun/F-Byrnes.pdf?source=GovD.
9. Defense Science Board, Task Force Report: The Role of Autonomy in DoD Systems (Washington, DC: Office of the Under Secretary of Defense for Acquisition, Technology and Logistics, julio de 2012), pág. 31.
10. Ibíd., pág. 33.
11. Ibíd., págs. 38-39.
12. Ibíd., pág. 39.
13. Ibíd., pág. 41.
14. Ibíd., pág. 42.
15. Ibíd., pág. 44.
16. Ibíd.
17. Ibíd., pág. 49.
18. Ibíd.
19. Ibíd., pág. 50.
20. Ibíd.
21. Ronald C. Arkin, «The Case for Ethical Autonomy in Unmanned Systems», Journal of Military Ethics 9, nro. 4 (2010): págs. 332-41.
22. Ibíd.
23. Douglas A. Pryer, «La sublevación de las máquinas: ¿Por qué máquinas cada vez más “perfectas” contribuyen a perpetuar nuestras guerras y ponen en peligro a nuestra Nación?», Military Review 93, nro. 3 (2013): págs. 69-81.
24. «Autonomous Weapons: An Open Letter from AI [Artificial Intelligence] & Robotics Researchers», página web del Future of Life Institute, 28 de julio de 2015, accedido 8 de marzo de 2017, http://futureoflife.org/open-letter-autonomous-weapons/.
25. Ibíd.
26. Report of the Special Rapporteur on Extrajudicial, Summary, or Arbitrary Executions, Christof Heyns, septiembre de 2013, United Nations Human Rights Council, 23rd Session, Agenda Item 3, United Nations Document A/HRC/23/47.
27. International Committee for Robot Arms Control (ICRAC), «Scientists’ Call to Ban Autonomous Lethal Robots», página web del ICRAC, octubre de 2013, accedido 24 de marzo de 2017, icrac.net.
28. Ibíd.
29. Noel Sharkey, «Saying ‘No!’ to Lethal Autonomous Targeting», Journal of Military Ethics 9, nro. 4 (2010): págs. 369–83, accedido 28 de marzo de 2017, doi:10.1080/15027570.2010.537903. Véase Peter Asaro, «On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-making», International Review of the Red Cross 94, nro. 886 (2012) para más información sobre este tema: págs. 687-709.
30. Robert Sparrow, «Killer Robots», Journal of Applied Philosophy 24, nro. 1 (2007): págs. 62-77.
31. Para más discusión sobre este tema, véase Amitai Etzioni y Oren Etzioni, «Keeping AI Legal», Vanderbilt Journal of Entertainment & Technology Law 19, nro. 1 (otoño de 2016): págs. 133–46, accedido 8 de marzo de 2017, http://www.jetlaw.org/wp-content/uploads/2016/12/Etzioni_Final.pdf.
32. Kenneth Anderson y Matthew C. Waxman, «Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can», Stanford University, Hoover Institution Press, Jean Perkins Task Force on National Security and Law Essay Series, 9 de abril de 2013.
33. Ibíd.
34. Anderson y Waxman, «Law and Ethics for Robot Soldiers», Policy Review 176 (diciembre de 2012): pág. 46.
35. George Lucas Jr., «Engineering, Ethics & Industry: the Moral Challenges of Lethal Autonomy», en Killing by Remote Control: The Ethics of an Unmanned Military, editor Bradley Jay Strawser (Nueva York: Oxford, 2013).
36. Ibíd., pág. 218.
37. Shane Reeves y William Johnson, «Autonomous Weapons: Are You Sure these Are Killer Robots? Can We Talk About It?», en Department of the Army Pamphlet 27-50-491, The Army Lawyer (Charlottesville, Virginia: Judge Advocate General’s Legal Center and School, abril de 2014), págs. 25–31.
38. Michael N. Schmitt, «Autonomous Weapon Systems and International Humanitarian Law: a Reply to the Critics», Harvard National Security Journal, 5 de febrero de 2013, accedido 28 de marzo de 2017, http://harvardnsj.org/2013/02/autonomous-weapon-systems-and-international-humanitarian-law-a-reply-to-the-critics/.
39. Gregory P. Noone y Diana C. Noone, «The Debate over Autonomous Weapons Systems», Case Western Reserve Journal of International Law 47, nro. 1 (primavera de 2015): pág. 29, accedido 27 de marzo de 2017, http://scholarlycommons.law.case.edu/jil/vol47/iss1/6/.
40. Neil Davison, editor, ‘Non-lethal’ Weapons (Houndmills, Inglaterra: Palgrave Macmillan, 2009).
41. DOD Defense Science Board, Task Force Report: The Role of Autonomy in DOD Systems, pág. 1.
42. DOD, Unmanned Systems Integrated Roadmap FY2011-2036 (Washington, DC: Government Printing Office [GPO], 2011), pág. 43.
43. International Committee of the Red Cross (ICRC), Expert Meeting 26–28 March 2014 report, «Autonomous Weapon Systems: Technical, Military, Legal and Humanitarian Aspects» (Ginebra: ICRC, noviembre de 2014), pág. 5.
44. Bonnie Docherty, Losing Humanity: The Case against Killer Robots (Cambridge, Massachusetts: Human Rights Watch, 19 de noviembre de 2012), pág. 2, accedido 10 de marzo de 2017, https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots.
45. Ibíd.
46. Paul Marks, «Iron Dome Rocket Smasher Set to Change Gaza Conflict», New Scientist Daily News online, 20 de noviembre de 2012, accedido 24 de marzo de 2017, https://www.newscientist.com/article/dn22518-iron-dome-rocket-smasher-set-to-change-gaza-conflict/.
47. Docherty, Losing Humanity, pág. 2.
48. Ibíd.; Patrick Lin, George Bekey y Keith Abney, Autonomous Military Robotics: Risk, Ethics, and Design (Arlington, Virginia: Department of the Navy, Office of Naval Research, 20 de diciembre de 2008), accedido 24 de marzo de 2017, http://digitalcommons.calpoly.edu/cgi/viewcontent.cgi?article=1001&context=phil_fac.
49. «MK 15—Phalanx Close-In Weapons System (CIWS)» Navy Fact Sheet, 25 de enero de 2017, accedido 10 de marzo de 2017, http://www.navy.mil/navydata/fact_print.asp?cid=2100&tid=487&ct=2&page=1.
50. Paul Scharre y Michael Horowitz, «An Introduction to Autonomy in Weapons Systems» (working paper, Center for a New American Security, febrero de 2015), 18, accedido 24 de marzo de 2017, http://www.cnas.org/.
51. Docherty, Losing Humanity, pág. 2.
52. Thomas K. Adams, «Future Warfare and the Decline of Human Decisionmaking», Parameters 31, nro. 4 (invierno de 2001–2002): págs. 57-71.
53. Docherty, Losing Humanity, pág. 4.
54. DOD Directive 3000.09, Autonomy in Weapon Systems (Washington, DC: U.S. GPO, 21 de noviembre de 2012), pág. 2, accedido 10 de marzo de 2017, http://www.dtic.mil/whs/directives/corres/pdf/300009p.pdf.
55. Thomas C. Schelling, Arms and Influence (New Haven: Yale University, 1966).

 

Cuarto Trimestre 2017