Algunos problemas éticos de las tecnologías militares ... · Drones, Artificial Intelligence,...

Documento

Opinión

*NOTA: Las ideas contenidas en los Documentos de Opinión son de responsabilidad de sus autores, sin

que reflejen, necesariamente, el pensamiento del IEEE o del Ministerio de Defensa.

Documento de Opinión 16/2018 1

16/2018 19 de febrero 2018

Juan A. Moliner González*

Algunos problemas éticos de las

tecnologías militares emergentes

Algunos problemas éticos de las tecnologías militares

emergentes

Resumen:

Las tecnologías que ha desarrollado el ser humano se han ido incorporando en todos los

fenómenos sociales, y en la guerra también. En ocasiones, ha sido el conflicto bélico el

que ha impulsado nuevos avances científicos y tecnológicos.

El desarrollo ético de la humanidad ha sido capaz de establecer preceptos morales y

legales para contener los efectos terribles de las guerras, desde la justicia de su inicio

hasta su desarrollo y las condiciones para una paz efectiva.

En nuestros días, se desarrollan a una velocidad increíble nuevas y emergentes

tecnologías, la mayoría de las ocasiones de aplicación dual civil y militar. Sin embargo,

la consideración de las implicaciones y aspectos éticos y legales que su empleo trae

consigo no avanzan a la par que lo hace la tecnología.

Para que la reflexión ética avance en línea con la investigación, desarrollo, innovación y

utilización de los avances científicos, exigencia para el ser humano y su dignidad

inviolable, el primer paso es poner de manifiesto alguno de los problemas éticos que las

tecnologías emergentes presentan.

Palabras clave:

Drones, Inteligencia Artificial, Vehículos no Tripulados, ciberespacio, ética militar

Visitar la WEB

Recibir BOLETÍN ELECTRÓNICO

http://www.ieee.es/

mailto:[email protected]

Algunos problemas éticos de las tecnologías militares emergentes

Juan A. Moliner González


Some ethical problems of emerging military technologies

Abstract:

Technologies developed by humankind have been incorporated and used in social

phenomena, and so is the case in war. More often, warfare has been the driver of new

scientific and technological developments.

Progress in human ethics has produced moral and legal rules to contain the terrible

effects of war, from a just cause from its dawn to its expansion and the conditions of a

successful peace.

Nowadays, emerging technologies are developed at an incredible pace and many have

both civil and military application. Nevertheless, the analysis of ethical and legal

implications of their improvement is not advancing in parallel with technology.

Ethical thinking must evolve in line with research, development, innovation and the use

of scientific advances and this is a must for humanity and its inviolable dignity. To that

end, the first step is to clarify some ethical problems in relation to emerging technologies.

Keywords:

Drones, Artificial Intelligence, Unmanned Vehicles, Cyberspace, Military Ethics




Introducción. Desarrollo tecnológico y ética

«Our is a world of nuclear giants and ethical infants. We know more about war that we know

about peace, more about killing that we know about living». Omar N. Bradley1

En nuestras sociedades occidentales industrializadas ha sido históricamente el

fenómeno de la guerra uno de los que más ha impulsado el desarrollo de nuevos

armamentos, propiciado por la enorme progresión en el conocimiento científico-técnico.

Siempre ha habido «guerra asimétrica», con participación de combatientes irregulares

contra fuerzas convencionales, pero tras el fin de la Guerra Fría este concepto ha sido

ampliado con el de «guerra hibrida», en la que fuerzas militares se enfrentan a

contendientes convencionales y no convencionales que a veces incluyen elementos

criminales.

Estos, entre otras características, tienen las de ser de muy difícil identificación y

atribución, intentan utilizar capacidades tecnológicas de forma sorpresiva, y aparecen y

desaparecen de los escenarios haciendo imposible doblegarles de forma definitiva en su

voluntad de lucha, produciendo que nunca haya una finalización clásica del conflicto y

que los límites entre guerra y paz se difuminen y desaparezcan2. Pero lo que resulta

evidente es que esa amenaza atenta contra nuestro sistema de vida en común y los

valores fundamentales que lo sustentan.

Por otra parte, en estos comienzos del siglo XXI más que nunca, los ciudadanos de

países occidentales muestran un profundo desasosiego ante las víctimas que se

producen en conflictos bélicos, tanto si son combatientes como víctimas civiles. Esa

alarma social se traslada eficientemente a los políticos y actúa como limitador moral en

el empleo de la fuerza militar. Fuerza que, por su propia naturaleza, -no se puede olvidar-

produce destrucción y muerte.

Esas realidades justifican defender la existencia de una reflexión ética específica

centrada sobre todo en las funciones exclusivas de la profesión militar y que tiene en el

combate su último exponente. Esto es la ética militar y lo que se quiere decir cuando se

1 https://www.brainyquote.com/quotes/omar_n_bradley_161930. Visitado el 21.01.2018. 2 El concepto de hybrid warfare lo introduce en 1998 el marine Robert Walker en su tesis El cuerpo de

Marines y las operaciones especiales, siendo en 2005 cuando los oficiales estadounidenses Mattis y

Hofman publican Future warfare: the rise of hybrid wars, considerado punto de partida del análisis

conceptual de la guerra híbrida. Recogido de GAMBOA, J.A., Amenaza híbrida, ¿un concepto doctrinal?

Revista Ejército, diciembre 2017, núm. 921, pp.26-27.

https://www.brainyquote.com/quotes/omar_n_bradley_161930




expresa que la profesión militar «imprime carácter» o que la formación del militar

contribuye a crear una mentalidad profesional, ya que la naturaleza de la función

«combatir» posibilita reflexionar sobre el ejercicio profesional del militar3.

Importante característica común a la ética militar y al derecho internacional de los

Conflictos Armados (DICA), que España ha firmado y decidido incorporar a su

ordenamiento jurídico, es la imperiosa necesidad de su difusión. A los militares

profesionales les atañe conocer con detalle y formarse en sus principios, contenidos y

aplicación, además de una activa difusión en todos los escalones. Desde el primer centro

de instrucción hasta el último día en el ejercicio de la profesión, el militar tiene la exigencia

ética permanente de profundizar y alcanzar rigor en el conocimiento de la ética militar y

el derecho de la guerra mediante la enseñanza en academias, la instrucción en las

unidades, los cursos de perfeccionamiento en centros de enseñanza, el entrenamiento

en ejercicios, y la preparación individual y colectiva.

La seguridad exige tener en cuenta y, llegado el caso, hacer frente a los conflictos

armados mediante la utilización de la fuerza militar, es decir, de las Fuerzas Armadas.

Son Ejércitos y Armadas que no desean ni promueven las guerras y que, como

institución, en las sociedades occidentales como España, están comprometidos

solidariamente al servicio de la paz, la libertad, la justicia y la democracia.

Estos valores son el punto de partida sobre los que se asienta hoy en día la seguridad

en nuestra civilización occidental, ya que constituyen los principios éticos esenciales que

deben guiar la actuación de los militares, junto a la inviolable dignidad de la persona

humana4.

A la hora de afrontar esas dificultades también se consideran las soluciones que puedan

proporcionar la ciencia y el desarrollo tecnológico. Así, es habitual que las políticas de

defensa promuevan programas de armamento de avanzada tecnología, en ocasiones

apoyándose en la investigación civil bajo el paraguas del concepto de tecnologías de

doble uso.

Si aceptamos el derecho de nuestras sociedades a la defensa militar, sustentada en

todos los supuestos de legalidad y legitimidad, como un servicio público que contribuye

3 Como dice Huntington: “La ética militar, en consecuencia, es un patrón constante por el cual es posible

juzgar el profesionalismo de cualquier cuerpo de oficiales –personalmente opino que militares sería una

más adecuada expresión- en cualquier momento y lugar”. Similar a lo que ocurre en otros fenómenos

sociales. 4 Reales Ordenanzas para las Fuerzas Armadas. Artículo 15. RD 96/2009, de 06.02.09.




a la salvaguardia de los valores e intereses de un sistema político que promueve la

libertad, la dignidad del ser humano (con su sentido moral) y los principios democráticos,

el apoyo que recibe de la tecnología la defensa militar en la búsqueda de la disuasión y

superioridad, hace que esa tecnología se ponga, en nuestras sociedades, al servicio de

consideraciones éticas. Así, la tecnología ha contribuido, por ejemplo, con las

municiones guiadas de alta precisión a reducir exponencialmente el error en el objetivo

y el número de víctimas colaterales. La precisión de sensores y procesadores también

ha reducido enormemente el error humano.

Pero no solo en la eticidad de los fines, sino también con los nuevos medios tecnológicos

y en la forma de conducir las operaciones militares persigue Occidente mantener en el

desarrollo de las guerras y conflictos unos estándares morales de conducta bélica que

estén alineados con los valores y principios que rigen la convivencia en sus sociedades,

consecuencia del progreso moral alcanzado. Los valores que nuestra civilización

promueve habrá ocasiones en que se defiendan con el empleo de la violencia legítima,

pero el modo en que esa utilización se lleva a cabo (ius in bello) también contribuye a la

promoción de los mismos.

Las consideraciones éticas y legales en el campo de batalla siempre han jugado un

importante papel en las operaciones. El impulso ético, la naturaleza moral y la empatía

del ser humano permitieron el desarrollo de los convenios de Ginebra y La Haya, y que

se hayan establecido las reglas de enfrentamiento para encauzar el desarrollo de las

intervenciones militares. Sin embargo, creemos que en el combate el respeto a la ley

ejerce una influencia menor que el vital y humano respeto a la ética militar. Es el

asentimiento a las reglas morales y al honor del soldado profesional. Como recoge

Prudencio García5 es el «principio de autolimitación moral» surgido de las propias

convicciones morales del militar, arraigado en su espíritu y conciencia y no solo por

obligación legal o normativa.

Por esto se plantea la cuestión de si la evolución tecnológica mantendrá una doctrina de

empleo y utilización de los modernos sistemas de armas también ajustada a rigurosas

consideraciones éticas. Las implicaciones de los nuevos sistemas de armas afectan,

desde esa perspectiva ética, incluso a convicciones y principios morales profundamente

arraigados en los profesionales de las Fuerzas Armadas.

5 GARCIA, P. (2005). El genocidio de Guatemala a la luz de la sociología militar. SEPHA Ediciones y

Diseño, Madrid, p. 63.




Hoy día todo está sujeto a cambio acelerado. Factores del mismo son la innovación

tecnológica, la variedad que se produce en la evolución de los riesgos y las amenazas,

la trasformación en la naturaleza de los conflictos que deben enfrentar los Ejércitos y,

por todo ello, también las respuestas cambian en sus componentes éticos6. En

consecuencia, en esta era de la globalización es absolutamente necesaria no solo la

legalidad, sino imprescindible la legitimidad moral a la hora de utilizar la fuerza que en

última instancia, no se debe olvidar, es fuerza letal.

Al final, los cambios que se van produciendo condicionan el modelo de Fuerzas Armadas

y obligan a considerar otros instrumentos además de los medios militares, los Ejércitos

y Armadas, la defensa, en su sentido tradicional. Pero, en todo caso, esas Fuerzas

Armadas y los militares que las componen no pueden perder el norte de su

imprescindible papel de punta de lanza en la defensa de sus sociedades democráticas.

Todo ello demuestra que se ha ensanchado el papel del militar, que tiene que asumir no

solo las responsabilidades propias de su condición esencial y primordial de combatiente,

sino también las que se derivan de sus nuevos cometidos y tareas como cooperante,

asistente, o incluso, y a veces al mismo tiempo, como agente policial. Se podría decir

que el paradigma militar no cambia, se amplía.

Intuimos que el avance científico y tecnológico, que es una producción humana, y puede

ser en sí mismo causa de conflicto, está haciendo aflorar cuestiones éticas que afectan

al desarrollo, empleo y control de nuevas armas y sistemas incorporados al conjunto de

las capacidades militares. Esto exige que se analicen los aspectos éticos y legales, y

podría producirse una revisión de los códigos éticos que han regulado tradicionalmente

la guerra.

Nuevas tecnologías: los drones

El impetuoso desarrollo de los drones en los últimos años proporciona evidentes ventajas

militares7. El piloto no puede ser abatido o capturado; sobrevuelan terreno hostil, sin

6 Los últimos conflictos, como Afganistán Siria o Irak muestran cómo se han desarrollado

fundamentalmente en ciudades y áreas urbanas, a menudo densamente pobladas, con la población civil

expuesta permanentemente, utilizada como escudo humano y que es la que ha sufrido el mayor número

de bajas. 7 También podrían mencionarse los Vehículos Submarinos no Tripulados (UUV en sus siglas en inglés), que están experimentando un rápido desarrollo y ya están en servicio en la Armada de EE. UU. operando

desde buques y submarinos en misiones de minado, desminado, reconocimiento y cartografía del fondo

marino, entre otros cometidos.




cansarse, con amplísima autonomía; tienen una precisión muy refinada en sus sensores

que proporciona información de gran valor, lo que a su vez permite evaluaciones mucho

más precisas para evitar y reducir daños colaterales, y un coste menor que los aviones

tripulados. Por otro lado, el riesgo de que la información que proporcionan, o incluso el

propio dron, caiga en manos del enemigo es una desventaja, como puede serlo el tiempo

de latencia, las condiciones meteorológicas y otras. Merece la pena recordar que no solo

nos referimos a drones estratégicos, sino también a micro y nano drones, con

características y peculiaridades distintas en su utilización y objetivos.

Pero avancemos en los componentes y posibles dilemas éticos que se presentan con el

avance de esta tecnología, que llevó a decir al secretario de Defensa de EE. UU., Robert

Gates, que «la próxima generación de aviones de combate, el F-35 cuyo desarrollo llevó

décadas a un coste de más de 500 millones de dólares por unidad, será el último avión

de combate del Pentágono pilotado por humanos»8.

Un valor esencial al piloto militar es la acometividad. Pues bien, el futuro avión de

combate seguirá necesitando la acometividad de su piloto, pero posiblemente

acompañada de mucha más capacidad y destreza técnica y computacional, dado el

creciente entorno informático, además de preparación emocional y psicológica. La

valentía, entendida como impulso psicológico que, despreciando el riesgo y la exposición

física, lleva a la acción heroica en el combate, exige nuevas consideraciones y para ello

puede resultar ilustrativo considerar el caso del nuevo tipo de piloto que es el responsable

de los sistemas aéreos tripulados remotamente, el ser humano que desde la lejanía

tripula los drones.

Un piloto de dron que lo dirige a miles de kilómetros de distancia lo que está exponiendo

es una máquina, muy valiosa en términos tecnológicos, pero no su vida. Quizá expone

su prestigio y conocimiento. Su valentía se apoya en su competencia digital, capacidad

de integración de información y destreza técnica, algo diferente a la valentía y arrojo del

piloto que se lanza con su avión en un entorno aéreo afrontando aeronaves, misiles y

sistemas de defensa aérea enemigos. Y no menor es el cambio que supone que, donde

antes había un oficial capacitado y de exigente, duradera y costosa formación y

entrenamiento, ahora podría haber un militar con la graduación de soldado (formado en

la cultura de los videojuegos) que pilote un dron desde la distancia. Como dice el general

8 BENJAMIN, M. Drone warfare. Killing by remote control. Verso, London and New York, 2013, p. 17.




Charles Dunlap: «El coraje físico, por muy admirable que sea, no es la única cualidad

que se necesita para la victoria en el siglo XXI, y quizá siempre»9.

Esto supone un cambio en la propia naturaleza de la guerra. Algunos, de forma quizá un

poco ligera, como Philip Altson, han insinuado sobre el «riesgo de desarrollar una

mentalidad de “PlayStation” a la hora de matar [en una guerra], pero eso es ciertamente

para lo que la tecnología ha sido diseñada»10, llegando algunos líderes religiosos y

expertos en ética a decir que «la guerra de drones es un modo particular de hacer la

guerra que viola los preceptos de la teoría de la guerra justa»11, cuestionando si evitar el

riesgo para la vida de combatientes propios está por encima del riesgo a que se exponen

los no combatientes, según esa teoría. Aún más, algunos califican como «guerra de

cobardes» el empleo de estos sistemas dada la ausencia de riesgo y con menos

limitaciones12.

Ante estos plausibles cambios que la tecnología produciría en valores y principios del

ethos militar, hay que constatar que hay un elemento que debe permanecer y es el de

las exigencias morales que impone el combate. El piloto de dron, al igual que el de

aeronaves, mantiene su responsabilidad respecto a los efectos de sus acciones al

emplear la violencia letal. Y ello, aunque pueda parecer que esa responsabilidad se

desvanece por la enorme distancia entre su posición en un ordenador desde el que

ejecuta sus acciones y los resultados que se producen en el objetivo.

Así, algunos consideran que «el hecho de seguir la guerra a través de unas pantallas y

manejarla con un mando introduciría un elemento de desapego emocional que podría

traducirse en la indiferencia ante la muerte o incluso en una excesiva facilidad para

matar, tanto a los objetivos del dron como a individuos no combatientes, las llamadas

víctimas colaterales»13. Estos analistas parecen olvidar que la razón ética y el derecho

internacional humanitario favorecen el menor daño, por ejemplo capturar como prisionero

9 DUNLAP, C.J., Mayor General, USAF-RET (2012). La intersección de la Ley y la Ética en la Ciberguerra.

Air&Space Power Journal (En Español). Vol. 34, No 3, tercer trimestre 2012, pp.11-23.

http://scholarship.law.duke.edu/cgi/viewcontent.cgi?filename=0&article=5357&context=faculty_scholarshi

p&type=additional. Visitado el 31.01.2018 10 BENJAMIN, M., op. cit., p. 86. 11 BENJAMIN, M., op. cit., p. 160. 12 MONBIOT, G. (2012). With its deadly drones, the US is fighting a coward´s war.

https://www.theguardian.com/commentisfree/2012/jan/30/deadly-drone-us-cowards Visitado el 31.01.2018 13 YOUSEF SANDOVAL, L. (2007). La desaparición del combate clásico: un nuevo tipo de guerra. La

sustitución del soldado por el dron. En Guerra y Tecnología. GAJATE BLANCO, M. y GONZALEZ PLOTE,

L. (eds.). Centro de Estudios Ramón Areces, Madrid, p. 534.

http://scholarship.law.duke.edu/cgi/viewcontent.cgi?filename=0&article=5357&context=faculty_scholarship&type=additional

http://scholarship.law.duke.edu/cgi/viewcontent.cgi?filename=0&article=5357&context=faculty_scholarship&type=additional

https://www.theguardian.com/commentisfree/2012/jan/30/deadly-drone-us-cowards




al enemigo antes que eliminarlo, lo primero de imposible ejecución para un dron en la

actualidad.

Por el contrario, se argumenta que, así como los pilotos de un avión de combate lanzan

sus bombas y, en muchas ocasiones, no perciben el resultado y las consecuencias

directas (lo que facilita su deshumanización), los responsables de dirigir un dron y lanzar

un misil viven en directo y con detalle los resultados en la pantalla, además de tener un

estrecho conocimiento previo del individuo objetivo, su entorno, familias, etc. «Pero uno

conocía esas personas estrechamente, por lo que puede llegar a ser bastante

personal»14. Y se producen problemas mentales y morales, además de fatiga, cansancio

emocional y altos niveles de tensión, contradiciendo la argumentación anterior.

En todo caso, si la distancia física produce desapego emocional de forma que el

alejamiento del objetivo reduce la contención a la hora de la toma de decisiones, si las

restricciones morales en el uso de la violencia letal se desvanecieran, se perdería la

justificación ética que permite defender y luchar en una causa justa manteniendo

determinados comportamientos en el combate.

Por esto el piloto de dron no puede dejarse llevar por la sensación de que la distancia y

lejanía del blanco, así como la disminución absoluta del riesgo propio, hacen que se

considere el objetivo, en el que están implicadas personas, algo menos real y menos

humano y, en consecuencia, no puede dejarse llevar por la consideración de que esa

distancia también le aleja de la exigencia de adecuada implicación y atención moral.

En el ejemplo considerado se plantea otro problema de naturaleza ética. El ataque con

drones se justifica con el argumento económico de que es un arma barata y con los

argumentos éticos de «que mueren menos soldados y que apenas causan bajas

civiles»15. Esto último merece una reflexión.

En las guerras y conflictos bélicos convencionales, los principios de necesidad y

proporcionalidad, la reducción del número de víctimas en el logro de los objetivos

militares y el respeto a los no combatientes, además de estar en las bases morales de

la guerra se han convertido en norma jurídica.

La utilización de drones elimina el riesgo de víctimas entre los pilotos propios, pero

plantea dudas ante el riesgo de aumentar las víctimas colaterales no combatientes, a las

14 BENJAMIN, M., op. cit., p. 90. 15 YOUSEF SANDOVAL, L., op. cit., p.535.




que tan sensible resulta la ética militar y que, según las leyes internacionales de la

guerra, son siempre víctimas inocentes.

Tenemos así el problema del tiempo de latencia entre la imagen obtenida del objetivo y

la llegada al operador del dron. En ese intervalo, el objetivo ha podido desplazarse y lo

que es peor, ser sustituido por no combatientes, que sufrirían la violencia letal y ello a

pesar de haber seleccionado cuidadosamente los objetivos para que no afectaran a no

combatientes.

Este es un problema tecnológico que quizá la misma ciencia podrá resolver en el futuro,

pero la guerra, incluso con los sistemas tecnológicos más avanzados, tiene de momento

al ser humano detrás. Y el combatiente, de acuerdo con su nivel de responsabilidad no

puede ni debe olvidar que sus acciones siguen produciendo violencia letal y destrucción,

de cuyas consecuencias de acuerdo con principios éticos y sujeto a condiciones jurídicas

sigue siendo responsable moral y legal.

Más desarrollos tecnológicos: la inteligencia artificial y los robots

No cabe duda de que los desarrollos científicos en inteligencia artificial (AI en sus siglas

en inglés) y robótica plantean nuevos problemas que también deben ser abordados,

entre otros aspectos, desde el punto de vista de la ética.

Ya en 1942, Isaac Asimov en su libro: Yo, robot, enunciaba a modo de código ético del

funcionamiento de los robots unas leyes encaminadas a que su funcionamiento

garantizara, en todo momento, la seguridad de los seres humanos. Estas leyes, extraídas

de una novela, han tomado carta de naturaleza como prescriptores de las normas éticas

y jurídicas de la robótica moderna. Precisamente la utilización de los robots surge del

deseo de evitar pérdidas humanas, aumentando incluso la capacidad y energía en el

combate, pues un robot no tendría, como máquina, instinto de supervivencia.

En este sentido, y como recuerda José A. Plaza16, hay que mencionar al manifiesto que

en julio de 2005 alertaba de los peligros de la inteligencia artificial y pedía su regulación,

manifiesto apoyado por prestigiosos expertos como Stephen Hawking, Steve Wozniak o

Noam Chomsky, entre otros. En septiembre de 2016 se creó la asociación Partnership

on AI con participación de Amazon, Apple, Google, IBM, Microsoft y otras empresas.

Otras iniciativas han manifestado su preocupación por el uso inapropiado, prematuro o

16 PLAZA LOPEZ, J.A. (2017). Lecciones de ética para máquinas que `piensan´ y toman decisiones.

https://retina-elpais-com/retina/2017/12/19/innovacion/1513661054_305253. Visitado el 16.01.2018

https://retina-elpais-com/retina/2017/12/19/innovacion/1513661054_305253




malicioso de las nuevas tecnologías proponiendo códigos de conducta éticos que

promuevan un uso apropiado de la inteligencia artificial. Destaca la de Elon Musk,

presidente de Tesla, que ha lanzado una iniciativa cuyo objetivo es que la inteligencia

artificial tenga siempre como finalidad el ser beneficiosa para la humanidad.

Otros expertos, como Yoshua Bengio,17 de la Universidad de Montreal, consideran que

se ha sobredimensionado la inteligencia de los ordenadores «por los medios de

comunicación, por la ciencia ficción y, también, es importante decirlo, por la proyección

psicológica de nuestros miedos»,…«Les otorgamos demasiadas características

humanas»,…«No hay que olvidar que los ordenadores son diseñados por nosotros; no

evolucionan solos. Esa es la diferencia».

Aunque el autor anterior también se refiere al posible mal uso de la AI, como podría ser

«crear armas letales autónomas». Por esto resulta de particular interés este nuevo

concepto de «Sistemas de Armas Letales Autónomas» (SALAS y LAWS en inglés: Lethal

Autonomous Weapon Systems), y que algunos refieren como «robots asesinos».

Como indica Irene Savio18, tienen el riesgo de ser utilizados en el futuro como armas que

podrían tomar la decisión de herir o matar, de forma independiente a cualquier control

del ser humano, existiendo en la actualidad un vacío en el derecho internacional

humanitario. Para avanzar en esa dirección, la propia ONU celebró en Ginebra a finales

de 2017 y en el marco de la Convención sobre Armas Convencionales (CCW en inglés),

una reunión para lograr un marco regulador internacional. En la misma se han debatido

cuestiones tecnológicas, militares, legales y éticas, que han quedado abiertas a futuras

discusiones en las que se tratará de enmarcar definiciones y otros conceptos que faciliten

posteriores consideraciones de alcance político.

Los riesgos de estos sistemas afectan a aspectos éticos, además de jurídicos, como la

evitación de víctimas inocentes, la diferenciación entre civiles y combatientes, la

responsabilidad del que decide su utilización y su rendición de cuentas, además de su

17 El País. IDEAS, entrevista a Yoshua BENGIO, 28.01.18, p.7. Se le considera, junto a Geoffrey Hinton

(Univ. de Toronto) y Yann Lecun (Univ. de Nueva York), el trio de expertos más avanzados en el

aprendizaje profundo, enfoque dentro de la Inteligencia Artificial que avanza hacia el diseño y construcción

de computadoras capaces de aprender a través de la experiencia para mejorar sus habilidades predictivas

y asimilarse al aprendizaje humano. 18 SAVIO, I. ¿Quién ganará la guerra de las Armas Letales Autónomas? https://www.esglobal.org/la-onu-

frente-lasmaquinas-asesinas/ visitado el 16.01.2018

https://www.esglobal.org/la-onu-frente-lasmaquinas-asesinas/

https://www.esglobal.org/la-onu-frente-lasmaquinas-asesinas/




falta de empatía si llegan a tener «la capacidad de seleccionar a los objetivos y atacar a

estos por su cuenta en un conflicto»19.

Por otro lado, y en sentido favorable a estos desarrollos, se argumenta, además de evitar

muertes militares causadas por el conflicto, que «al no caer bajo el influjo de la rabia, el

miedo o la ira, estas máquinas no cometerían violaciones ni crímenes de guerra»20.

De hecho, científicos como Ronald Arkin consideran que los robots con capacidad letal

pueden llevar a cabo su trabajo de forma más eficiente y también más ética que los

soldados humanos. Para este científico: «La esperanza es que si estos sistemas pueden

ser diseñados apropiadamente y utilizados en situaciones donde pueden ser empleados

adecuadamente, pueden reducir el daño colateral de forma significativa»21.

La principal idea de Arkin es que estos sistemas puedan programarse con determinadas

restricciones éticas que salvaguardarían el respeto al derecho internacional humanitario

en el campo de batalla sin el riesgo del fallo humano que puede llevar al acto ilegal y,

sobre todo, inmoral, en el desarrollo de las operaciones militares.

Aunque los robots soldados estarían programados para matar, obedecer órdenes de

superiores (recordemos que el soldado tiene el derecho y el deber de no obedecer

órdenes que supongan un acto ilegal o sean manifiestamente inmorales) y no tener

preocupación por su propia supervivencia, en ese hipotético modelo ético traducido en

las instrucciones de programación y los algoritmos del robot, se deberían incluir la

posibilidad de que estos sistemas pudieran abandonar la misión ante circunstancias

imprevistas y sobrevenidas, ya que si llegaran a ejecutarla tendría la consideración de

inmoral o ilegal. Y todo ello gracias a que los «robots» podrían procesar más información,

más rápido y de forma más completa que los humanos antes de utilizar la fuerza letal.

Sin embargo, se plantean algunas dificultades y no es la menor que ni los científicos de

la AI y la robótica han trabajado bajo las disposiciones de un código deontológico, al

estilo del código médico hipocrático, y otros que deberían estar más implicados, los

filósofos de la ética, apenas empiezan a considerar los problemas éticos que pueden

presentar la AI y la robótica22. Por no mencionar que la industria, y la de la robótica

19 TRAVIESO, J. las consecuencias de mandar a la guerra a `robots asesinos´.

https://www.eldiario.es/.../debate-torno-robots-asesinos_0_378312866.html Visitado el 16.01.2018 20 TRAVIESO, J. https citada. 21 BERES, D. The ethical case for killer robots. Visitado el 25.01.2018 22 SINGER, P.W. (2009). Wired for war. The robotics revolution and conflict in the 21st century. The Penguin

Press, New York, p. 418 y ss.

https://www.eldiario.es/.../debate-torno-robots-asesinos_0_378312866.html




también lo es, nunca ha dado pasos teniendo en cuenta (o demasiado en cuenta) las

consecuencias éticas de sus desarrollos (tabaco, automóvil o genoma humano así lo

atestiguan).

Ya se ha acuñado el término de Moral machines23 (Maquinas morales) y resulta

especialmente útil seguir a P.W. Singer en las condiciones que ese «diseño ético»

debería cumplimentar24. Menciona:

- Mantener que el funcionamiento responde a un diseño que no sea capaz de

cambiarse o desarrollarse a sí mismo originando algo inesperado y quizá peligroso,

a menos que se quiera que sea así, lo que va contra esa prevención ética.

- Diseñar mecanismos que aseguren el control humano para desactivar a las máquinas

cada vez más autónomas. Esto debería incluir controles de seguridad que eviten a

todo tipo de hackers que puedan hacerse con el control o reprogramar las máquinas.

- Construir múltiples redundancias en los sistemas (resiliencia).

- Mantener la información recogida en un sistema que esté fuera del alcance general

para evitar su mal empleo, pero que permita el acceso por parte de las autoridades

públicas.

El concepto crítico que se abre paso y se analiza en los foros internacionales es el de

«control humano significativo»25. Es decir, que siempre sea el ser humano el último

responsable de la actuación de una máquina, no solo en la identificación de objetivos,

sino en su selección y operación final. En sentido más amplio, parece que la AI no

debería ser utilizada para reemplazar la toma de decisiones que hacemos los humanos

cuando los asuntos son delicados y tenemos que basarnos en juicios éticos.

Que el avance de la ciencia en el campo de la AI y la robótica, y en otros muchos,

mantenga esa preocupación por las implicaciones éticas se pone de manifiesto en el

«principio de prevención» requerido por Martin Rees y que demanda que los científicos

no dejen su investigación si algo malo o inapropiado ocurre, sino que desde el inicio

hagan un esfuerzo para «prevenir los potenciales malos efectos que podrían venir de

sus inventos»26. Esta exigencia de que la seguridad sea una consideración a tener en

23 WALLACH, W. y ALLEN, C. (2010). Moral machines: Teaching Robots Right from Wrong, Oxford

University Press. 24 SINGER, P.W., op. cit., p. 424. 25 Los americanos distinguen entre human in the loop, el ser humano controla los sistemas automatizados

o robotizados; human on the loop, el ser humano meramente supervisa; y human out of the loop, el ser

humano está fuera de la cadena o ciclo de toma de decisión y acción de los sistemas. 26 SINGER, P.W., op. cit., p. 426.




cuenta en el mismo diseño de los sistemas parte de lo intrínsecamente inseguros que

han sido diseñados los sistemas digitales desde su inicio.

Las cuestiones éticas que emergen en el diseño, desarrollo y utilización de las

tecnologías robóticas son reales y muy dignas de tomar en consideración. Los

ciudadanos, la sociedad, deben implicarse en el debate y ser conscientes de los riesgos

y los desafíos que implican. Considerar estas cuestiones ahora, no como elementos de

ciencia ficción, permitirá prevenir desarrollos inesperados e indeseados en el futuro. Las

guerras son asunto muy serio para que la mayor implicación en ellas de las máquinas

disminuya la contención y esfuerzos de las sociedades en evitarlas, incluso si el riesgo

de pérdidas de soldados y su presencia sobre el terreno (boots on the ground) se reduce

drásticamente.

La ciberdefensa y el ciberataque

El desarrollo de la informática se ha convertido en un instrumento de repercusión

estratégica para las Fuerzas Armadas. «El Departamento de Defensa [EE. UU.] inventó

Internet y la posibilidad de usar la red en la guerra no se pasó por alto ni siquiera en sus

primeros días»27.

Se habla de guerra informática o ciberguerra, pero parece más adecuado considerar que

el ciberespacio es ya un dominio bélico, como lo recoge la doctrina española y la de la

OTAN, donde se desarrollan ciberataques y ciberdefensas que provocan daños físicos y

que ponen en peligro, a menudo con consecuencias muy serias, las vidas humanas.

En este dominio la actuación es asimétrica, barata y el atacante tiene toda la ventaja en

esta violación de la soberanía de los Estados, siendo su atribución complicada y donde

la legislación internacional no ayuda demasiado.

La OTAN, que empezó con medidas de protección pasiva, considera en su Concepto

Estratégico en vigor que es un elemento independiente e incluso las amenazas

cibernéticas son consideradas como posible causa de «defensa colectiva» de acuerdo

con el artículo 5 del Tratado de la Alianza.

Hasta ahora ha habido una cierta tendencia a considerar que el ciberespacio es un

dominio en el que la ley aún no ha entrado en toda su capacidad compulsiva y que es un

lugar inmune a la ética. Por esto, «hay personas que promueven la necesidad de una

27 CLARKE, A.C. (2011). Guerra en la red. Los nuevos campos de batalla. Ariel, Barcelona, p. 58.




ética con múltiples definiciones (infoética, internética, ética de la red, tecnoética, ética

informática, ética ciberespacial, etc.)»28. En todo caso, la ciberguerra tiene que respetar

el derecho internacional humanitario, incluyendo los nuevos desarrollos que se

incorporen al mismo en este campo29.

La capacidad de alcance global e instantáneo que Internet ha dado a la información

presenta riesgos de naturaleza ética. Entre ellos su divulgación incontrolada,

emitiéndose sin filtros, con urgencia, sin verificar hechos engañosos o exagerados, y a

la que por su gran difusión se presta mucha atención asumiéndola sin crítica,

considerando el mensaje como verdadero a fuerza de ser profusamente repetido.

O la utilización inapropiada de sistemas informáticos que pueden llegar a poner en riesgo

a civiles y militares. A modo de ejemplo, y directamente relacionado con esto, hemos

tenido noticias recientemente de una aplicación que monitoriza la actividad deportiva,

denominada Strava. Se ha detectado que recopila información sobre ubicaciones y rutas

de aquellos que las utilizan, entre los cuales hay militares que así han dejado al

descubierto sus bases y recorridos, no solo deportivos, sino también operativos. Hasta

su prohibición o no en operaciones militares, los posibles usuarios militares deben ser

conscientes de su compromiso ético en la evitación de riesgos para sus compañeros y

su obligación con el cumplimiento de la misión. Hace ya años que el coronel Ángel

Gómez de Agreda viene alertando respecto de los riesgos que tienen otras muchas

aplicaciones asociadas a wearables como pulseras o, incluso, teléfonos móviles con

GPS30.

En el último Foro Económico Mundial de Davos se ha considerado un informe que

explora los riesgos emergentes que amenazan nuestro futuro y de los cuales presenta

en el numero dos los «algoritmos incontrolables» en los que «a medida que nos volvamos

más dependientes de los códigos que pueden escribir su propio código (el quid de la

28 SIERRA GUTIÉRREZ, L.I. (2009). Alcances de una ética en el ciberespacio o el giro hacia una ética

floreciente. Revista “Signo y Pensamiento”, Vol. XXVII, No 55, julio-diciembre, pp. 92-107, Pontificia

Universidad, Bogotá, Colombia. http://www.redalyc.org/articulo.oa?id=86020246006 Visitado el

30.01.2018. 29 De particular interés ante la falta de legislación aplicable a las nuevas guerras en el ciberespacio está el

Manual de Tallín (Tallinn Manual on the International Law Applicable to Cyber Warfare), desarrollado a

iniciativa del Centro de Excelencia en Ciberdefensa de la OTAN y cuya primera versión se presentó en

Londres el 15 de marzo de 2013, habiéndose presentado la segunda (Tallinn Manual 2.0: International

Law Applicable to Cyber Operations) el 7 de febrero de 2018. Entre sus objetivos está el buscar el

consenso de los Estados sobre los límites éticos y jurídicos en el ciberespacio. 30 http://revistes.uab.cat/tdevorado/article/view/v3-n3-gdagreda/pdf_74 Visitado el 06.02.2018.

http://www.redalyc.org/articulo.oa?id=86020246006

http://revistes.uab.cat/tdevorado/article/view/v3-n3-gdagreda/pdf_74




inteligencia artificial), perderemos la capacidad de rastrearlo y controlarlo. El mundo

depende en gran medida de Internet»31.

La primera responsabilidad es cumplir la ley, pero los deberes de la ética militar van un

paso más allá de los deberes legales. Sobre todo, porque la claridad con que están

enunciados los preceptos jurídicos tiene a menudo difícil interpretación en el fragor del

campo de batalla. Si, además, este escenario de combate es el ciberespacio, con

ausencia de fronteras físicas, y en el que apenas ha comenzado su regulación la ley, las

consideraciones éticas se hacen más problemáticas.

Desde la perspectiva ética, el aspecto inicial a analizar se refiere a lo que se debe -o

puede- considerar en el ciberespacio como acto de guerra, ataque armado o uso de la

fuerza. Relacionado con él vendrían a continuación otros dos: identificación del daño

causado y atribución de la autoría del supuesto ataque cibernético.

Aunque hay definiciones legales de esos conceptos, el asunto desde la perspectiva ética

refiere a la justicia de la intervención y el derecho de legítima defensa ante el supuesto

ataque cibernético a la luz de la teoría de la guerra justa. Atribuir el origen y

responsabilidad de un ataque es, desde el punto de vista ético y legal, en muchas

ocasiones, ciertamente difícil de determinar y también es complejo precisar el alcance

de los daños causados para actuar con proporcionalidad y necesidad, principios que la

ética y el DICA exigen a la guerra. Aunque ambos aspectos son, al final, problemas

tecnológicos, la ética y la ley se tienen que enfrentar a los mismos y están por desarrollar

principios que den respuestas y soluciones.

La implicación de civiles en el dominio del ciberespacio plantea problemas que también

tienen su vertiente ética. Aunque las Fuerzas Armadas han hecho un gran esfuerzo en

su organización, formación y operación en el campo de la ciberdefensa, dada la

especialización que el ámbito civil ha desarrollado en el ciberespacio, la necesidad de

colaboración civil y militar resulta esencial.

Así lo recoge las Estrategia de Seguridad Nacional de España, aprobada el 1 de

diciembre de 2017, que recoge como uno de sus objetivos la ciberseguridad. Entre las

31 Boletín Atalayar. Choques futuros: 10 riesgos emergentes que amenazan nuestro mundo, enero, 19-

2018. http://www.atalayar.con/content/drones-futuros-10-riesgos-emergentes-que-amenazan... Visitado el

01.02.2018.

http://www.atalayar.con/content/drones-futuros-10-riesgos-emergentes-que-amenazan...%20Visitado%20el%2001.02.2018

http://www.atalayar.con/content/drones-futuros-10-riesgos-emergentes-que-amenazan...%20Visitado%20el%2001.02.2018




líneas de acción establecidas se menciona el «Reforzar y mejorar las estructuras de

cooperación público-público y público-privada nacionales en materia de seguridad»32.

Precisamente en los días de redacción de este artículo se ha recogido en la prensa la

posibilidad de que en España se constituya un grupo de reservistas voluntarios, que

incluiría desde hackers y expertos en derecho internacional hasta analistas de datos y

matemáticos. Parece ser que el objetivo es crear una «Reserva Estratégica de talento

en Ciberseguridad» que contaría con unos 2 000 civiles capaces de responder a una

amenaza ciberespacial con tareas de contención, defensa y prevención, y sin potestades

ofensivas.

Si bien estos reservistas, durante sus periodos de activación, tendrían la consideración

de militares, no cabe duda de que su conocimiento experto viene del campo civil, donde

desarrollan su vida cotidiana y como civiles se recuerda que pueden participar en actos

como «interferir electrónicamente en redes de computadoras militares» y ser

considerados combatientes. En consecuencia, existe el riesgo de que bajo esa

consideración de combatientes fueran considerados objetivos militares. Aunque

estuvieran respaldados por el derecho internacional, desde un punto de vista ético deben

ser conscientes del riesgo que corren, ya que no se les puede pedir que asuman «el

proverbial contrato de responsabilidad ilimitada del servicio militar para ponerse en

peligro»33.

Algunas previsiones, que otros tachan de pesimistas, apuntan a que la ciberguerra será

la más rápida, global e incluso letal. Su consideración desde la ética militar plantea el

problema de que, a diferencia de otras armas (nucleares o biológicas), las armas de la

ciberguerra no pueden destruirse.

Finalmente, con los nuevos desarrollos tecnológicos en el ciberespacio va a ser cada

vez más difícil diferenciar entre la paz y ese estado de ciberguerra, pues las operaciones

pueden llevarse a cabo derivando su ejecución con mucha diferencia en el tiempo y

escalando en plazos realmente breves.

Ante la gravedad de estas amenazas que la tecnología cibernética impulsa con tanto

ímpetu, los Estados tienen que protegerse y defenderse. Para ello son cada vez más

numerosas las voces que demandan el desarrollo de leyes internacionales. Los militares

32 Estrategia de Seguridad Nacional 2017. Un proyecto compartido de todos y para todos. Presidencia del

Gobierno, Imprenta del Boletín Oficial del Estado, diciembre 2017. 33 DUNLAP, C.J., op. cit., p.15.




deberán organizar sus capacidades para cumplir su misión de defensa también en este

nuevo dominio, y deberán continuar integrando no solo las consideraciones legales, sino

también las éticas, en todas sus acciones cibernéticas.

Conclusión

Los robots van a marcar las guerras del futuro. Doctrinas, estrategias, planes y

operaciones aún están por establecerse e incluso es muy posible que en el desarrollo

futuro de esos conceptos las máquinas estén llamadas a desempeñar un papel

determinante. Incluso las prospectivas demográficas adelantan la mudanza de los seres

humanos a las máquinas en la realidad humana de conflictos y guerras.

Los militares del futuro tendrán poco que ver con los del pasado en su equipación,

entrenamiento e incluso en las relaciones con su jefes y líderes. Es por ello necesaria

una permanente adaptación y completa educación de los profesionales en las

Academias y Escuelas, que ha de extenderse al campo ético y moral de igual forma que

las modernas tecnologías y novedosas misiones que no son de guerra convencional

prescriben nuevas demandas, capacidades y conocimientos al profesional de la milicia.

La incorporación de avances científicos, algunos impensables hace pocos años, ha

transformado las FAS. Ello exige cambios orgánicos y doctrinales, impone nuevas

misiones, demanda mejores instrumentos y reclama apertura de las mentalidades. Con

ello, la institución militar se adapta a las modificaciones de las últimas décadas, por lo

que habrá que encajar las novedades tecnológicas, sociales e incluso culturales en un

sistema eficiente.

En el sistema formativo de las Fuerzas Armadas, además de la tecnología y el talento,

tiene que perfeccionarse la educación ética de los líderes militares, recogiendo la

importancia que tienen en nuestras sociedades avanzadas las actitudes críticas con la

violencia y las exigencias de responsabilidad social e individual. El liderazgo y su

desarrollo adquieren así un valor estratégico de primer orden, pues es el instrumento

más eficaz para lograr la interiorización consciente del deber moral intrínseco al

profesional militar y que va más allá del deber legal.

Los cambios que producen la ciencia y la tecnología modifican y trasforman la forma de

afrontar y gestionar los conflictos, las estructuras militares y la disposición psicológica de

los soldados y marineros ante el combate. Por ello, se modifican las conductas en

misiones de combate y de apoyo al combate y, por supuesto, en misiones de paz.




En ellas, las formas heroicas que se producían con los medios y formas de hacer la

guerra en épocas anteriores son muy diferentes de los conflictos y operaciones actuales,

y no impiden al militar demostrar su valor heroico, pero este se expresa, además, de

otras maneras. Heroísmo que solo alcanza su cumbre si se apoya en la base de una

conducta éticamente inspirada y que no pierda de vista, ni en el combate, el valor

esencial de la dignidad humana.

Los nuevos conflictos del siglo XXI, inspirados por el desarrollo científico y tecnológico,

necesitan una modificación de los principios legales y éticos que inspiraron las guerras y

conflictos del siglo XX, pues nuevas armas y tipos de combate aparecen y cuestionan la

validez de aquellos, así como nuevas sensaciones y sentimientos que se añaden a las

crudas emociones y pasiones que tradicionalmente han implicado al combatiente. En su

control y dirección habrá que tener en cuenta, además, que muy frecuentemente el

«guerrero» al que se enfrenta no tendrá, previsiblemente, ninguna restricción ética ni

legal en el combate ni en su comportamiento militar.

Desde un punto de vista ético, las sociedades occidentales se han impuesto contención

a la hora de implicarse en conflictos bélicos, y las reglas jurídicas y morales se aplican

con rigor creciente. La utilización de drones y otras máquinas letales no debe producir

una disminución del rigor y convicción ética con que la civilización occidental ha

avanzado, de igual modo que lo ha hecho con la tecnología. Ética y ciencia deben

avanzar en paralelo con el ser humano en el centro de sus objetivos.

La guerra preventiva podría encontrar la razón moral que satisfaga la exigencia de causa

justa para el inicio de un conflicto armado, no ya un ataque recibido contra la soberanía

de un Estado, sino un ataque inminente que esté a punto de ocurrir y del que se tiene

una evidencia concluyente y decisiva. Esa consideración, como la de si estamos en

presencia de un ciberataque o de simples ciberhostilidades resulta aún más difícil de

determinar dados los avances tecnológicos producidos y de los que drones, robots,

armas letales autónomas o medios del ciberespacio, recogidos en las páginas anteriores,

son ejemplos.

El que la reflexión ética avance en línea con la investigación, desarrollo, innovación y

utilización de los avances científicos es una exigencia para que el ser humano y su

dignidad inviolable se mantengan en todas las relaciones y fenómenos humanos,

incluyendo las guerras y los conflictos bélicos desarrollados con las tecnologías

emergentes, en el nivel de desarrollo moral que hemos alcanzado.




Otro asunto que nos llevaría mucho más allá es la posibilidad de que algún día la ciencia

desarrolle máquinas que escapen al control y se trasformen en algo más inteligente que

el propio ser humano, pudiendo diseñar y construir otros artilugios por su cuenta. La

cuestión entonces sería establecer si esas máquinas también disponen de juicio moral

para convertirse en responsables de las acciones que adopten en el campo de batalla.

Pero este asunto nos llevaría, incluso nos hace temer, a la idea de la guerra contra las

máquinas y el fin de la humanidad.

Juan A. Moliner González* General de División E.A. (Res.)

Subdirector del Instituto Universitario Gutiérrez Mellado

Algunos problemas éticos de las tecnologías militares ... · Drones, Artificial Intelligence,...

Documents

Transcript of Algunos problemas éticos de las tecnologías militares ... · Drones, Artificial Intelligence,...