• Arquivo de Artigos Exclusivamente On-line

Os Prós e os Contras dos Sistemas de Armas Autônomos

Amitai Etzioni, PhD
Oren Etzioni, PhD

Artigo publicado em: 31 de agosto de 2017

Baixar PDF

Os sistemas de armas autônomos e os robôs militares estão progredindo dos filmes de ficção científica para as pranchetas de projetistas, para os laboratórios de engenharia e para o campo de batalha. Essas máquinas têm provocado um debate entre planejadores militares, especialistas em robótica e analistas de assuntos éticos sobre o desenvolvimento e o emprego de armas que podem realizar funções cada vez mais avançadas, incluindo a escolha de alvos e a aplicação de força, sem pouca, ou nenhuma, supervisão humana.

Alguns peritos militares sustentam que os sistemas de armas autônomos não só conferem significativas vantagens estratégicas e táticas no campo de batalha, mas, também, são preferíveis, por razões morais, ao emprego de combatentes humanos. Por outro lado, os críticos defendem que essas armas devem ser limitadas, se não totalmente proibidas, por uma variedade de razões morais e legais. Este artigo analisa, primeiro, os argumentos daqueles que defendem os sistemas de armas autônomos e, depois, daqueles que se lhes opõem. Depois, discute os desafios para limitar e definir as armas autônomas. Finalmente, termina com a recomendação de algumas normas.

Os Argumentos em Favor dos Sistemas de Armas Autônomos

O apoio ao uso dos sistemas de armas autônomos se enquadra em duas categorias gerais. Alguns integrantes da comunidade de Defesa defendem as armas autônomas devido às vantagens militares. Outros apoiadores enfatizam justificativas morais para o seu emprego.

Vantagens militares. Aqueles que recomendam mais desenvolvimento e emprego dos sistemas de armas autônomos geralmente ressaltam várias vantagens militares. Primeiro, os sistemas de armas autônomos agem como um multiplicador de força. Quer dizer, menos militares são necessários para uma dada missão, e a eficácia de cada combatente é maior. Segundo, os proponentes atribuem aos sistemas de armas autônomos uma expansão do campo de batalha, permitindo que o combate atinja áreas que, anteriormente, estavam inacessíveis. Finalmente, os sistemas de armas autônomos podem reduzir as baixas ao remover combatentes humanos de missões perigosas¹.

O relatório Unmanned Systems Roadmap: 2007-2032 (“Mapa dos Sistemas Não Tripulados: 2007-2032”), do Departamento de Defesa, fornece razões adicionais para a busca do emprego cada vez maior de sistemas de armas autônomos. Uma dessas razões é que robôs são mais adaptados do que seres humanos para “missões ‘tediosas, contaminadas e perigosas’”². Um exemplo de uma missão tediosa são incursões militares de longa duração. Um exemplo de uma missão contaminada é uma que expõe seres humanos a material radiológico potencialmente nocivo. Um exemplo de uma missão perigosa é a remoção de artefatos explosivos. O Maj. Jeffrey S. Thurnher, do Exército dos EUA, acrescenta, “[os robôs autônomos letais] têm o potencial único de operar em um ritmo mais rápido do que os seres humanos teriam possibilidade de executar e atacar letalmente, mesmo quando as ligações de comunicações tenham sido cortadas”³.

Além disso, a economia de custos que poderia ser alcançada, ao longo prazo, por meio do emprego de um exército de robôs militares também tem sido ressaltada. Em um artigo publicado, em 2013, no The Fiscal Times, David Francis cita os cálculos do Departamento de Defesa que mostram que “cada militar no Afeganistão custa ao Pentágono aproximadamente US$ 850.000, por ano”⁴. Alguns estimam que o custo anual seja até mais elevado. Por outro lado, segundo Francis, “o robô TALON — um pequeno veículo explorador que pode ser equipado com armas — custa US$ 230.000”⁵. Segundo a Defense News, o Gen Ex Robert Cone, ex-Comandante do Comando de Instrução e Doutrina (TRADOC) do Exército dos EUA, sugeriu em um Simpósio de Aviação do Exército que ao se valer mais dos “super robôs”, o Exército pode, com o tempo, reduzir o efetivo de uma brigada de 4.000 para 3.000 militares, sem que haja uma redução equivalente na efetividade⁶.

O Maj Jason S. DeSon, da Força Aérea dos EUA, escrevendo na Air Force Law Review, observa as vantagens potenciais dos sistemas de armas aéreas autônomos⁷. Segundo DeSon, a tensão física das manobras de alta Força G e a concentração mental intensa e consciência situacional requeridos dos pilotos de caça fazem com que eles sejam mais expostos à fadiga e à exaustão; os pilotos robôs, por outro lado, não seriam sujeitos a essas limitações fisiológicas e mentais. Além disso, as aeronaves completamente autônomas podem ser programadas para fazer ações realmente aleatórias e imprevisíveis que podem confundir um oponente. Mais impressionante ainda, o Cap Michael Byrnes, da Força Aérea dos EUA, prevê que um único veículo aéreo não tripulado, com movimento e precisão controlados automaticamente por máquinas, pode, “com umas centenas de cartuchos de munição e reservas suficientes de combustível”, eliminar uma frota inteira de aeronaves, presumivelmente pilotadas por humanos⁸.

Em 2012, um relatório do Defense Science Board, em apoio ao Office of the Under Secretary of Defense for Acquisition, Tecnology and Logistics (Gabinete do Subsecretário de Defesa para Aquisição, Tecnologia e Logística), identificou “seis áreas principais onde avanços na autonomia teriam benefícios significativos para [um] sistema não tripulado: percepção, planejamento, aprendizagem, interação entre humanos e robôs, entendimento de idiomas naturais e coordenação entre vários agentes”⁹.A percepção, ou processamento perceptivo, se refere aos sensores e sensoriamento. Os sensores incluem hardware, e sensoriamento inclui software¹⁰.

O próximo, segundo o Defense Science Board, o planejamento se refere ao “cálculo de uma sequência oude uma ordem de ações parciais que ... [atinge] um estado desejado”¹¹. Esse processo depende de processos efetivos e de “algoritmos necessários para tomar decisões sobre ação (proporcionar autonomia) em situações em que seres humanos não estão presentes (e.g., espaço, o oceano)”¹².A aprendizagem se refere a como as máquinas podem coletar e processar grandes quantidades de dados e transformá-los em conhecimento. O relatório afirma que a pesquisa tem mostrado que as máquinas transformam dados em conhecimento mais efetivamente que pessoas¹³. Fornece o exemplo do emprego de aprendizagem mecânica para a navegação autônoma em veículos e robôs terrestres¹⁴.

A interação entre humanos e robôs se refere a “como pessoas trabalham ou brincam com robôs”¹⁵. Os robôs são bastante diferentes de outros computadores ou ferramentas porque são “agentes fisicamente situados” e os usuários humanos interagem com eles de maneiras distintas¹⁶.A pesquisa sobre a interação precisa abranger uma variedade de domínios muito além da engenharia, incluindo a psicologia, a ciência cognitiva e as comunicações, entre outros.

O “processamento em idiomas naturais se refere a ... sistemas que podem se comunicar com pessoas usando línguas humanas comuns”¹⁷. Além disso, um “idioma natural é a maneira mais normal e intuitiva para que humanos possam dar ordens a sistemas autônomos; permite-lhes prover objetivos e estratégias diversos e de alto nível, em vez da teleoperação detalhada”¹⁸. Portanto, maior desenvolvimento da capacidade de sistemas de armas autônomos responderem a comandos em um idioma natural é necessário.

Finalmente, o Defense Science Board emprega o termo coordenação entre vários agentes para as circunstâncias em que uma tarefa é distribuída entre “vários robôs, agentes de software ou seres humanos”¹⁹. As tarefas podem ser planejadas e coordenadas centralmente por meio de interações entre os agentes. Esse tipo de coordenação vai além da cooperação simples porque “presume que os agentes possuem um entendimento cognitivo das capacidades mútuas, podem monitorar os progressos para à consecução do objetivo e engajar-se em trabalho de equipe mais no estilo humano”²⁰.

Justificativas morais. Vários peritos militares e especialistas em robótica têm defendido que os sistemas de armas autônomos não apenas devem ser considerados aceitáveis moralmente, mas que, também, seriam eticamente preferíveis aos combatentes humanos. Por exemplo, o especialista em robótica Ronald C. Arkin acredita que robôs autônomos, no futuro, serão capazes de agir mais “humanamente” no campo de batalha por várias razões, incluindo que não precisam ser programados com um instinto de autopreservação, potencialmente eliminando a necessidade de uma atitude “atira primeiro e faz perguntas depois”²¹. As decisões tomadas pelos sistemas de armas autônomos não serão ofuscados por emoções, como medo ou histeria, e os sistemas serão capazes de processar muito mais informações sensoriais do que humanos, sem descartar ou distorcê-las para encaixá-las em noções pré-concebidas. Finalmente, segundo Arkin, nas equipes compostas de soldados humanos e robotizados, os robôs podem ser mais confiáveis em reportar infrações éticas observadas do que equipes humanas, que poderiam cerrar fileiras e ficar caladas²².

O Ten Cel Douglas A. Pryer, do Exército dos EUA, afirma que poderia haver vantagens éticas para a remoção de humanos das zonas de combate de alto estresse em favor de robôs. Ele aponta para pesquisas neurocientíficas que sugerem que os circuitos neurais responsáveis pelo autocontrole consciente podem se desligar quando sobrecarregados com estresse, levando a assaltos sexuais e outros crimes que militares seriam, de outra forma, menos prováveis de cometer. No entanto, Pryer deixa de lado a questão se o combate por meio de robôs é ético na teoria. Em vez disso, ele sugere que como isso produz muita indignação moral entre as populações das quais os Estados Unidos precisam de mais apoio, o combate com robôs tem sérias desvantagens estratégicas e alimenta o ciclo de guerra perpétua²³.

Os Argumentos Contrários aos Sistemas de Armas Autônomos

Embora alguns apoiem o uso dos sistemas de armas autônomos com argumentos morais, outros baseiam a sua oposição, também, em motivos morais. Outros, ainda, afirmam que argumentos morais contra os sistemas de armas autônomos são equivocados.

Oposição baseada em motivações morais. Em julho de 2015, uma carta aberta recomendando a proibição de armas autônomas foi divulgada durante uma conferência internacional conjunta sobre a inteligência artificial. A carta adverte, “A tecnologia da Inteligência Artificial (IA) tem chegado ao ponto onde o emprego de tais sistemas será viável — na prática, se não o for legalmente — em anos, não décadas, e o risco é alto: as armas autônomas têm sido descritas como a terceira revolução da guerra, após a pólvora e as armas nucleares”²⁴. A carta observa, também, que a IA possui o potencial de beneficiar a humanidade, mas se uma corrida armamentista militar nessa área ocorrer, a reputação da IA pode ser manchada e uma reação pública adversa pode diminuir os benefícios futuros oriundos desse meio. A carta tem uma lista admirável de signatários, incluindo Elon Musk (inventor e fundador da Tesla), Steve Wozniak (cofundador da Apple), Stephen Hawking (físico da University of Cambridge) e Noam Chomsky (do Massachusetts Institute of Technology), entre outros. Mais de 3.000 pesquisadores da IA e da robótica assinaram a carta, também. A carta aberta simplesmente recomenda “uma proibição das armas autônomas ofensivas que vão além do controle humano significativo”²⁵.

Observamos, de passagem, que frequentemente é pouco claro se uma arma é ofensiva ou defensiva. Assim, muitos presumem que um efetivo escudo defensivo de mísseis é somente defensivo, mas pode ser extremamente desestabilizador se permite que uma nação possa lançar um ataque nuclear contra outra sem medo de retaliação.

Em abril de 2013, o inspetor especial da Organização das Nações Unidas (ONU) sobre execuções extrajudiciais, sumárias e arbitrárias apresentou um relatório ao Conselho dos Direitos Humanos da ONU. O relatório recomendou que os Estados-Membros deveriam declarar e implementar uma moratória no teste, produção, transferência e distribuição de armas robóticas autônomas letais (LAR, na sigla em inglês), até que um enquadramento internacionalmente aceito para as LAR seja estabelecido²⁶.

Durante o mesmo ano, um grupo de engenheiros, especialistas em IA e em robótica e outros cientistas e pesquisadores 37 países promulgou a “Scientists’ Call to Ban Autonomous Lethal Robots” (“Recomendação dos Cientistas para Proibir os Robôs Letais Autônomos”, em tradução livre). A declaração observa a falta de evidência científica que robôs poderiam, no futuro, ter “a funcionalidade requerida para precisão na identificação de alvos, na consciência situacional ou em decisões relacionadas com o emprego proporcional da força”²⁷. A declaração conclui insistindo que “decisões sobre a aplicação de força violenta não devem ser delegadas a máquinas”²⁸.

De fato, a delegação da tomada de decisões relacionadas à vida ou à morte a agentes não humanos é uma preocupação recorrente daqueles que se opõem aos sistemas de armas autônomos. A manifestação mais óbvia dessa preocupação se relaciona aos sistemas que são capazes de escolher seus próprios alvos. Assim, Noel Sharkey, um cientista de computação bem conceituado, tem recomendado uma proibição da “escolha autônoma e letal de alvos” porque infringe o Princípio de Distinção, considerado uma das regras mais importantes do conflito armado — seria muito complicado para os sistemas de armas autônomos determinar quem é um civil e quem é um combatente, o que é difícil mesmo para humanos²⁹. Permitir que a IA tome decisões sobre a escolha de alvos provavelmente resultará em baixas civis e danos colaterais inaceitáveis.

Outra grande preocupação é o problema da responsabilidade quando sistemas de armas autônomos são empregados. Robert Sparrow, um especialista em ética, ressalta esse problema ético, observando que a condição fundamental da lei humanitária internacional, ou jus in bello, exige que alguém precisa ser responsabilizado pela morte de civis. Qualquer arma ou outro meio de guerra que faz com que seja impossível identificar a responsabilidade pelas baixas causadas não satisfaz as exigências de jus in bello, e, portanto, não deve ser empregado em combate.

Esse problema surge porque as máquinas equipadas com IA tomam decisões por conta própria, então fica difícil determinar se uma decisão errada é devido a defeitos no programa ou nas deliberações autônomas das máquinas (supostamente inteligentes) equipadas com IA. A natureza desse problema foi ressaltada quando um carro sem motorista violou os limites de velocidade ao mover-se demasiadamente devagar em uma rodovia, deixando incerto quem devia receber a multa³¹. Nas situações em que um ser humano toma a decisão de empregar força contra um alvo, há uma cadeia de responsabilidade clara, estendendo-se de quem efetivamente “puxou o gatilho” até o comandante que deu a ordem. No caso de sistemas de armas autônomos, não existe tal clareza. É incerto quem, ou o que, deve ser culpado ou responsabilizado.

O que Sharkey, Sparrow e os signatários da carta aberta propõem pode ser rotulado “regulamento a montante”, quer dizer, uma proposta para o estabelecimento de limites no desenvolvimento de tecnologia de sistemas de armas autônomos e para a definição de linhas limitadoras que desenvolvimentos tecnológicos futuros não devem ser permitidos atravessar. Esse tipo de abordagem a montante tenta prever a direção do desenvolvimento tecnológico e prevenir os perigos que tais avanços representariam. Outros preferem “regulamento a justante”, que segue uma atitude de esperar para ver, desenvolvendo regulamentos conforme novos avanços ocorrem. Os juristas acadêmicos Kenneth Anderson e Matthew Waxman, que defendem esse método, argumentam que o regulamento terá de aparecer juntamente com a tecnologia porque acreditam que a moralidade evoluirá ao passo com o desenvolvimento tecnológico³².

Assim, os argumentos sobre a impossibilidade de substituição da consciência humana e do julgamento moral talvez tenham de ser revisados³³. Além disso, sugerem que, conforme seres humanos se tornem mais acostumados a máquinas desempenhando funções com implicações ou consequências de vida ou morte (como a condução de carros ou a realização de uma cirurgia), as pessoas ficarão mais confortáveis com a tecnologia da IA nas armas. Assim, Anderson e Waxman propõem o que pode ser considerado uma solução comunitária ao sugerir que os Estados Unidos devem trabalhar no desenvolvimento de normas e princípios (em vez de regras legais limitantes), que orientem e restrinjam a pesquisa e desenvolvimento — e um eventual emprego — de sistemas de armas autônomos. Essas normas podem ajudar a estabelecer expectativas sobre a adequada conduta legal e ética. Anderson e Waxman escrevem,

Para ser bem-sucedido, o governo dos Estados Unidos teria de resistir a dois instintos extremos. Teria de resistir aos seus próprios instintos de entrincheirar-se atrás do sigilo e evitar a discussão e a defesa, até de princípios de orientação. Teria, também, que se recusar a ceder a superioridade moral aos críticos dos sistemas letais autônomos e aos oponentes que exigem algum grande acordo internacional ou regime multilateral para regular ou mesmo proibi-los³⁴.

Os contra-argumentos. Em resposta, alguns argumentam contra qualquer tentativa de instilar nos robôs a linguagem de moralidade que se aplica aos agentes humanos. George Lucas Jr., um especialista em ética militar, ressalta, por exemplo, que robôs não sentem raiva ou um desejo de “se vingar”, ao buscar retaliação por danos feitos aos seus compatriotas³⁵. Lucas sustenta que o debate, até agora, tem sido ofuscado pela confusão entre a autonomia de máquinas e a autonomia moral. O aspirador Roomba e o míssil Patriot “são ‘autônomos’ no que desempenham suas missões designadas, incluindo engajar e reagir a obstáculos, problemas e circunstâncias imprevistas com mínima supervisão humana”, mas não no sentido que podem mudar ou abortar a sua missão se tenham “objeções morais”³⁶. Portanto, Lucas sustenta que a preocupação principal de engenheiros e projetistas que desenvolvem sistemas de armas autônomos não devem ser a ética, mas em vez disso, a segurança e a confiabilidade, que significa ter certeza de levar em conta os riscos possíveis de avarias, erros e uso indevido representados pelos sistemas de armas autônomos. Observamos, no entanto, que a segurança é obviamente um valor moral, também.

O Ten Cel Shane R. Reeves e o Maj William J. Johnson, assessores jurídicos do Exército dos EUA, observam que há campos de batalha livres de civis, como na área subaquática e no espaço, onde as armas autônomas podem reduzir a possibilidade de sofrimento e de morte ao eliminar a necessidade de combatentes³⁷. Notamos que essa pertinente observação não se opõe a uma proibição em outros campos de batalha, em efeito, na maioria deles.

Michael N. Schmitt do Naval War College faz a distinção entre as armas que são ilegais per se e o emprego ilícito das armas que seriam legais em outros contextos. Por exemplo, um fuzil não é proibido sob a lei internacional, mas usá-lo para disparar em civis se constituiria em um emprego ilícito. Por outro lado, algumas armas (e.g., armas biológicas) são ilegais per se, mesmo quando usadas somente contra combatentes. Assim, Schmitt concidera que alguns sistemas de armas autônomos podem violar a lei internacional, mas “categoricamente, não é o caso de que todos esses sistemas farão isso”³⁸. Portanto, mesmo um sistema autônomo que é incapaz de distinguir entre civis e combatentes não deve ser necessariamente ilegal per se, considerando que sistemas de armas autônomos podem ser usados em situações onde nenhum civil está presente, como contra formações de carros de combate no deserto ou contra navios de guerra. Tal sistema pode ser usado ilicitamente, contudo, se for empregado em contextos onde civis estão presentes. Afirmamos que algumas limitações para essas armas devem ser recomendadas.

Durante a sua análise sobre esse debate, os juristas acadêmicos Gregory Noone e Diane Noone concluem que todos estão de acordo que qualquer sistema de armas autônomo teria se adequar ao Direito Internacional dos Conflitos Armadas (DICA) e, assim, ser capaz de distinguir entre combatentes e não combatentes. Eles escrevem, “Nenhum acadêmico ou projetista está declarando algo ao contrário; portanto, esse argumento feito por qualquer um dos lados precisa ser descartado como uma falácia. Simplesmente, ninguém concordaria com qualquer arma que ignora as obrigações do DICA”³⁹.

As Limitações dos Sistemas de Armas Autônomos e as Definições da Autonomia

A comunidade internacional tem concordado em limites para o uso de minas e de armas químicas e biológicas, mas um acordo sobre a limitação dos sistemas de armas autônomos enfrentaria vários desafios. Um desses é a falta de consenso de como definir os sistemas de armas autônomos, mesmo entre os integrantes do Departamento de Defesa. Uma definição padrão que leva em conta todos os níveis da autonomia pode ajudar a orientar uma abordagem incremental para a proposta de limites.

Limites de sistemas de armas autônomos. Partimos do princípio que nenhuma nação concordaria em renunciar ao emprego de sistemas de armas autônomos, a não ser que seus adversários fizessem o mesmo. À primeira vista, talvez pareça que não seja fora da esfera das possibilidades obter um acordo internacional para proibir os sistemas de armas autônomos ou, pelo menos, alguns tipos deles.

Muitas proibições existem em uma categoria ou outra de armas e essas têm sido bastante respeitadas e aplicadas. Essas incluem a Convenção sobre a Proibição do Uso, Armazenamento, Produção e Transferência de Minas Antipessoais e sobre a sua Destruição (conhecida como o Tratado de Ottawa, que se tornou lei internacional, em 1999); a Convenção sobre as Armas Químicas (ratificada em 1997); e a Convenção sobre a Proibição do Desenvolvimento, da Produção e do Armazenamento das Armas Bacteriológicas (Biológicas) e Tóxicas e sobre a sua Destruição (conhecida como a Convenção sobre as Armas Biológicas, adotada em 1975). O histórico do Tratado de Não Proliferação de Armas Nucleares (adotado em 1970) é mais complicado, mas atribui-se a ele ter impedido o desenvolvimento de armas nucleares por várias nações e causado que, pelo menos, uma desistisse delas.

Alguns dos proponentes de uma proibição dos sistemas de armas autônomos buscam evitar não apenas a produção e o emprego, mas também a pesquisa, desenvolvimento e teste dessas máquinas. Talvez isso seja impossível considerando que os sistemas de armas autônomos podem ser desenvolvidos e testados em pequenas oficinas e não deixam rastros. Tampouco pode-se contar com satélites para a checagem de dados, pelas mesmas razões. Portanto, presumimos que se tal proibição fosse possível, se concentraria principalmente no emprego e na produção em massa.

Mesmo assim, tal proibição enfrentaria consideráveis dificuldades. Embora seja possível determinar o que é uma arma química e o que não é (apesar de algumas discordâncias menores, por exemplo, sobre o uso de armas químicas irritantes pelas autoridades policiais) e definir claramente as armas nucleares ou as minas terrestres, os sistemas de armas autônomos possuem muitos diferentes graus de autonomia⁴⁰. Uma proibição de todas as armas autônomas exigiria o abandono de muitas armas modernas já produzida em massa e distribuídas.

As definições da autonomia. Definições diferentes têm sido ligadas à palavra “autonomia” em diversos documentos do Departamento de Defesa e os conceitos resultantes sugerem opiniões bastante diferentes sobre o futuro da guerra robótica. Uma definição, usada pelo Defense Science Board, considera a autonomia simplesmente como a automatização de alto nível: “a capacidade (ou um conjunto de capacidades) que possibilita uma ação particular de um sistema para que seja automática ou, dentro de limitações de programação, ‘autogovernada’”⁴¹. Segundo essa definição, as capacidades já existentes, como o piloto automático usado em aeronaves, podem se qualificar como autônomas.

Outra definição, usada no documento Unmanned Systems Integrated Roadmap FY2011–2036 (“Mapa Integrado dos Sistemas Não Tripulados: 2011-2036”), sugere uma visão qualitativamente diferente da autonomia: “um sistema autônomo é capaz de tomar uma decisão com base em um conjunto de regras e/ou limitações. É capaz de determinar quais informações são importantes na tomada de uma decisão”⁴². Nessa concepção, os sistemas autônomos são menos previsíveis do que os meramente automatizados, considerando que a IA não somente desempenha uma ação específica, mas também toma decisões e, assim, potencialmente fazendo uma ação não comandada por um ser humano. Uma pessoa é ainda responsável pela programação do comportamento do sistema autônomo e as ações tomadas pelo sistema teriam de ser coerentes com as leis e as estratégias fornecidas por humanos. No entanto, nenhuma ação individual seria completamente previsível ou pré-programada.

É fácil encontrar, ainda, outras definições da autonomia. O Comitê Internacional da Cruz Vermelha define as armas autônomas como as capazes de “escolher e atacar alvos, independentemente, i.e., com autonomia nas ‘funções críticas’ de aquisição, rastreamento, escolha e ataque aos alvos”⁴³.

Um relatório, de 2012, da Human Rights Watch, feito por Bonnie Docherty, Losing Humanity: The Case against Killer Robots (“A Perda da Humanidade: O Caso contra Robôs Assassinos”, em tradução livre”), definiu três categorias da autonomia. Com base no tipo de envolvimento humano, as categorias das armas são humano-dentro-do-ciclo, humano-acima-do-ciclo e humano-fora-do-ciclo⁴⁴.

“As armas humano-dentro-do-ciclo [são] robôs que podem escolher alvos e empregar força somente com um comando humano”⁴⁵. Numerosos exemplos do primeiro tipo já estão em uso. Por exemplo, o sistema Cúpula de Ferro de Israel detecta foguetes entrantes, prevê a sua trajetória e depois envia essa informação a um soldado humano que decide se deve lançar um foguete de intercepção⁴⁶.

“As armas humano-acima-do-ciclo [são] robôs que podem escolher alvos e empregar força sob a supervisão de um operador humano que pode anular as ações do robô”⁴⁷. Um exemplo mencionado por Docherty inclui o SGR-A1 construído pela Samsung, um robô sentinela usado ao longo da Zona Desmilitarizada da Coreia. Ele emprega uma câmera de baixa luminosidade e software de reconhecimento de padrões para detectar intrusos e depois transmite uma advertência verbal. Se o intruso não se render, o robô possui uma metralhadora que pode ser disparada remotamente por um soldado alertado pelo sistema ou pelo próprio robô se estiver no modo totalmente automático⁴⁸.

Os Estados Unidos, também, empregam sistemas de armas humano-acima-do-ciclo. Por exemplo, o MK 15 Phalanx Close-In Weapons System tem sido usado nos navios da Marinha dos EUA, desde os anos 80, e é capaz de detectar, avaliar, rastrear, engajar e destruir ameaças oriundas de mísseis e aeronaves de alta velocidade [na área de defesa aproximada], sem quaisquer comandos humanos⁴⁹. O Center for a New American Security publicou um documento que estimou, já em 2015, que pelo menos 30 países dispõem ou estão desenvolvendo sistemas supervisionados por humanos⁵⁰.

“As armas humano-fora-do-ciclo [são] robôs capazes de escolher alvos e empregar a força sem qualquer contribuição ou interação humana”⁵¹. Esse tipo de sistema de armas autônomas é a fonte de muita preocupação sobre “máquinas assassinas”. O estrategista militar Thomas K. Adams advertiu que, no futuro, os seres humanos seriam reduzidos a tomar apenas decisões iniciais sobre as políticas da guerra e que teriam somente a autoridade simbólica sobre os sistemas automatizados⁵². No relatório da Human Rights Watch, Docherty adverte, “Ao eliminar o envolvimento humano nas decisões de empregar a força letal no conflito armado, as armas totalmente autônomas minariam outras proteções extrajurídicas de civis”⁵³. Por exemplo, um ditador repressivo pode empregar robôs sem emoção para matar e instilar medo entre o povo, sem ter que se preocupar com militares que podem ter empatia com as suas vítimas (que talvez sejam vizinhos, conhecidos ou mesmo parentes) e depois se virar contra o ditador.

Para as finalidades deste artigo, aceitamos que a autonomia significa que uma máquina tem a capacidade de tomar decisões com base nas informações autonomamente colhidas e agir com base nas suas próprias deliberações, fora das instruções e dos parâmetros que seus produtores, programadores e usuários forneceram à máquina.

Uma Maneira para Iniciar um Acordo Internacional para Limitar as Armas Autônomas

Achamos difícil imaginar nações concordando em voltar a um mundo em que as armas não tinham nenhuma medida de autonomia. Pelo contrário, o desenvolvimento da IA leva a se esperar que mais e mais máquinas e instrumentos de todos os tipos ficarão cada vez mais autônomos. Parece inevitável que bombardeiros aéreos e caças não tenham mais pilotos humanos. Embora seja verdade que qualquer grau de autonomia acarreta, por definição, alguma perda de controle humano, este gênio já saiu da lâmpada e não vemos uma maneira para colocá-lo de volta.

Por onde começar? A maneira mais promissora para progredir é determinar se é possível obter um acordo internacional para proibir as armas totalmente autônomas em missões que não possam ser abortadas e que elas não possam ser chamadas de volta, uma vez lançadas. Se elas funcionarem incorretamente e visarem centros civis, não haverá uma maneira para detê-las. Como campos de minas terrestres ativados e não delimitados, essas armas continuarão a matar, mesmo depois dos oponentes resolverem as suas diferenças e iniciarem um processo da paz.

Pode-se argumentar que a obtenção de tal acordo não deve ser tão difícil porque nenhum formulador de política racional favoreceria uma arma assim. De fato, o Pentágono já determinou que “os sistemas de armas autônomos e semiautônomos precisam ser concebidos para permitir que comandantes e operadores exerçam os devidos níveis de julgamento humano sobre o emprego de força”⁵⁴.

Por que começar? No entanto, deve-se observar que as armas humano-fora-do-ciclo são muito efetivas em reforçar a linha vermelha das hostilidades. Uma declaração feita por representantes de uma nação que se outra nação se engajar em um certo tipo de comportamento hostil, uma retaliação rápida e severa se seguirá, está sujeita a interpretações erradas pelo outro lado, mesmo se é respaldada com um desdobramento de tropas ou outros meios militares.

Os líderes nacionais, recorrendo a uma considerável experiência histórica, podem apostar que possam atravessar a linha vermelha e ficar livres de represália, devido a uma razão ou outra. Portanto, armas sem um ser humano no ciclo criam linhas vermelhas muito mais críveis (Isso é uma forma da “estratégia de pré-compromisso” discutida por Thomas Schelling em Arms and Influence [“Armas e Influência”, em tradução livre”], em que um partido limita as suas próprias opções ao obrigar-se a retaliar, assim fazendo com que a sua dissuasão seja mais crível)⁵⁵.

Sugerimos que nações podem estar dispostas a evitar essa vantagem das armas totalmente autônomas para obter a garantia de que, uma vez cessadas as hostilidades, podem evitar envolvimento em novos ciclos de combate porque alguns bombardeiros ainda estavam soltos e atacando o outro lado, ou porque alguns bombardeiros podem ter avarias e atacar centros civis. Finalmente, se uma proibição de armas totalmente autônomas fosse acordada e medidas de verificação fossem desenvolvidas, poderia-se aspirar a progredir para a limitação de armas com um alto, mas não total, grau de autonomia.

Os autores são gratos a David Kroeker Maus por sua pesquisa bastante profunda associada com este artigo.

Referências

1. Gary E. Marchant et al., “International Governance of Autonomous Military Robots,” Columbia Science and Technology Law Review 12 (June 2011): p. 272–76, acesso em: 27 mar. 2017, http://stlr.org/download/volumes/volume12/marchant.pdf.
2. James R. Clapper Jr. et al., Unmanned Systems Roadmap: 2007-2032 (Washington, DC: Department of Defense [DOD], 2007), p. 19, acesso em: 28 mar. 2017, http://www.globalsecurity.org/intell/library/reports/2007/dod-unmanned-systems-roadmap_2007-2032.pdf.
3. Jeffrey S. Thurnher, “Legal Implications of Fully Autonomous Targeting,” Joint Force Quarterly 67 (4th Quarter, October 2012): p. 83, acesso em: 8 mar. 2017, http://ndupress.ndu.edu/Portals/68/Documents/jfq/jfq-67/JFQ-67_77-84_Thurnher.pdf.
4. David Francis, “How a New Army of Robots Can Cut the Defense Budget,” Fiscal Times, 2 Apr. 2013, acesso em: 8 mar. 2017, http://www.thefiscaltimes.com/Articles/2013/04/02/How-a-New-Army-of-Robots-Can-Cut-the-Defense-Budget. Francis atribui a estimativa de custos, de US$ 850.000, a uma fonte não designada do Departamento de Defesa, presumivelmente entre 2012 e 2013.
5. Ibid.
6. Citado em Evan Ackerman, “U.S. Army Considers Replacing Thousands of Soldiers with Robots,” IEEE Spectrum, 22 Jan. 2014, acesso em: 28 mar. 2016, http://spectrum.ieee.org/automaton/robotics/military-robots/army-considers-replacing-thousands-of-soldiers-with-robots.
7. Jason S. DeSon, “Automating the Right Stuff? The Hidden Ramifications of Ensuring Autonomous Aerial Weapon Systems Comply with International Humanitarian Law,” Air Force Law Review 72 (2015): p. 85–122, acesso em: 27 mar. 2017, http://www.afjag.af.mil/Portals/77/documents/AFD-150721-006.pdf.
8. Michael Byrnes, “Nightfall: Machine Autonomy in Air-to-Air Combat,” Air & Space Power Journal 23, no. 3 (May-June 2014): p. 54, acesso em: 8 mar. 2017, http://www.au.af.mil/au/afri/aspj/digital/pdf/articles/2014-May-Jun/F-Byrnes.pdf?source=GovD.
9. Defense Science Board, Task Force Report: The Role of Autonomy in DoD Systems (Washington, DC: Office of the Under Secretary of Defense for Acquisition, Technology and Logistics, July 2012), p. 31.
10. Ibid., p. 33.
11. Ibid., p. 38-39.
12. Ibid., p. 39.
13. Ibid., p. 41.
14. Ibid., p. 42.
15. Ibid., p. 44.
16. Ibid.
17. Ibid., p. 49.
18. Ibid.
19. Ibid., p. 50.
20. Ibid.
21. Ronald C. Arkin, “The Case for Ethical Autonomy in Unmanned Systems,” Journal of Military Ethics 9, no. 4 (2010): p. 332–41.
22. Ibid.
23. Douglas A. Pryer, “The Rise of the Machines: Why Increasingly ‘Perfect’ Weapons Help Perpetuate Our Wars and Endanger Our Nation,” Military Review 93, no. 2 (2013): p. 14–24.
24. “Autonomous Weapons: An Open Letter from AI [Artificial Intelligence] & Robotics Researchers,” Future of Life Institute website, 28 Jul. 2015, acesso em: 8 mar. 2017, http://futureoflife.org/open-letter-autonomous-weapons/.
25. Ibid.
26. Report of the Special Rapporteur on Extrajudicial, Summary, or Arbitrary Executions, Christof Heyns, September 2013, United Nations Human Rights Council, 23rd Session, Agenda Item 3, United Nations Document A/HRC/23/47.
27. International Committee for Robot Arms Control (ICRAC), “Scientists’ Call to Ban Autonomous Lethal Robots,” ICRAC website, October 2013, acesso em: 24 mar. 2017, icrac.net.
28. Ibid.
29. Noel Sharkey, “Saying ‘No!’ to Lethal Autonomous Targeting,” Journal of Military Ethics 9, no. 4 (2010): p. 369–83, acesso em: 28 mar. 2017, doi:10.1080/15027570.2010.537903. Para mais informações sobre o assunto, veja Peter Asaro, “On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-making,” International Review of the Red Cross 94, no. 886 (2012): p. 687–709.
30. Robert Sparrow, “Killer Robots,” Journal of Applied Philosophy 24, no. 1 (2007): p. 62–77.
31. Para mais discussão sobre este assunto, veja Amitai Etzioni e Oren Etzioni, “Keeping AI Legal,” Vanderbilt Journal of Entertainment & Technology Law 19, no. 1 (Fall 2016): p. 133–46, acesso em: 8 mar. 2017, http://www.jetlaw.org/wp-content/uploads/2016/12/Etzioni_Final.pdf.
32. Kenneth Anderson e Matthew C. Waxman, “Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can,” Stanford University, Hoover Institution Press, Jean Perkins Task Force on National Security and Law Essay Series, 9 Apr. 2013.
33. Ibid.
34. Anderson e Waxman, “Law and Ethics for Robot Soldiers,” Policy Review 176 (December 2012): p. 46.
35. George Lucas Jr., “Engineering, Ethics & Industry: the Moral Challenges of Lethal Autonomy,” in Killing by Remote Control: The Ethics of an Unmanned Military, ed. Bradley Jay Strawser (New York: Oxford, 2013).
36. Ibid., p. 218.
37. Shane Reeves e William Johnson, “Autonomous Weapons: Are You Sure these Are Killer Robots? Can We Talk About It?,” in Department of the Army Pamphlet 27-50-491, The Army Lawyer (Charlottesville, VA: Judge Advocate General’s Legal Center and School, April 2014), p. 25–31.
38. Michael N. Schmitt, “Autonomous Weapon Systems and International Humanitarian Law: a Reply to the Critics,” Harvard National Security Journal, 5 Feb. 2013, acesso em: 28 mar. 2017, http://harvardnsj.org/2013/02/autonomous-weapon-systems-and-international-humanitarian-law-a-reply-to-the-critics/.
39. Gregory P. Noone e Diana C. Noone, “The Debate over Autonomous Weapons Systems,” Case Western Reserve Journal of International Law 47, no. 1 (Spring 2015): p. 29, acesso em: 27 mar. 2017, http://scholarlycommons.law.case.edu/jil/vol47/iss1/6/.
40. Neil Davison, ed., ‘Non-lethal’ Weapons (Houndmills, England: Palgrave Macmillan, 2009).
41. DOD Defense Science Board, Task Force Report: The Role of Autonomy in DOD Systems, p. 1.
42. DOD, Unmanned Systems Integrated Roadmap FY2011-2036 (Washington, DC: Government Publishing Office [GPO], 2011), p. 43.
43. International Committee of the Red Cross (ICRC), Expert Meeting 26–28 March 2014 report, “Autonomous Weapon Systems: Technical, Military, Legal and Humanitarian Aspects” (Geneva: ICRC, November 2014), p. 5.
44. Bonnie Docherty, Losing Humanity: The Case against Killer Robots (Cambridge, MA: Human Rights Watch, 19 Nov. 2012), p. 2, acesso em: 10 mar. 2017, https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots.
45. Ibid.
46. Paul Marks, “Iron Dome Rocket Smasher Set to Change Gaza Conflict,” New Scientist Daily News online, 20 Nov. 2012, acesso em: 24 mar. 2017, https://www.newscientist.com/article/dn22518-iron-dome-rocket-smasher-set-to-change-gaza-conflict/.
47. Docherty, Losing Humanity, p. 2.
48. Ibid.; Patrick Lin, George Bekey e Keith Abney, Autonomous Military Robotics: Risk, Ethics, and Design (Arlington, VA: Department of the Navy, Office of Naval Research, 20 Dec. 2008), acesso em: 24 mar. 2017, http://digitalcommons.calpoly.edu/cgi/viewcontent.cgi?article=1001&context=phil_fac.
49. “MK 15—Phalanx Close-In Weapons System (CIWS)” Navy Fact Sheet, 25 Jan. 2017, acesso em: 10 mar. 2017, http://www.navy.mil/navydata/fact_print.asp?cid=2100&tid=487&ct=2&page=1.
50. Paul Scharre e Michael Horowitz, “An Introduction to Autonomy in Weapons Systems” (working paper, Center for a New American Security, February 2015), p. 18, acesso em: 24 mar. 2017, http://www.cnas.org/.
51. Docherty, Losing Humanity, p. 2.
52. Thomas K. Adams, “Future Warfare and the Decline of Human Decisionmaking,” Parameters 31, no. 4 (Winter 2001–2002): p. 57–71.
53. Docherty, Losing Humanity, p. 4.
54. DOD Directive 3000.09, Autonomy in Weapon Systems (Washington, DC: U.S. GPO, 21 November 2012), p. 2, acesso em: 10 mar. 2017, http://www.dtic.mil/whs/directives/corres/pdf/300009p.pdf.
55. Thomas C. Schelling, Arms and Influence (New Haven: Yale University, 1966).

Voltar ao início