Retos para la regulación jurídica de la Inteligencia ...

9

REVISTA DEL INSTITUTO DE CIENCIAS JURÍDICAS DEPUEBLA, MÉXICO. E - ISSN 1870-2147. NUEVA ÉPOCAVOL. 15, No. 48. JULIO - DICIEMBRE DE 2021. PP 9-34

*Artículo de Investigación postulado el 17 de febrero de 2020 y aceptado el 8 de octubre de 2020**Especialista en Derecho y Tecnología. ([email protected]) orcid.org/0000-0002-5726-5400

Retos para la regulacion juridica de la Inteligencia Artificial en el ámbito de la Ciberseguridad*Challenges for the legal regulation of Artificial Intelligence in the field of Cybersecurity

Anahiby Anyel Becerril Gil*

resumenLa Inteligencia Artificial (IA) y las capacidades de aprendizaje automatico estan creciendo a un ritmo sin precedentes. La IA se presenta como una herramienta que puede mejorar el nivel de vida de los individuos, incluso resolver algunos de los desafios mas grandes del mundo. Tambien es vista desde el enfoque de la salvaguarda de los ciudadanos, la defensa de las naciones y el mantenimiento de la paz y la estabilidad internacional. La IA se considera una tecnologia de doble uso. La mejora en la toma de decisiones que se busca lograr con el empleo de IA se considera tambien en el ambito de la ciberseguridad. A medida que la IA esta cada vez mas integrada en los sistemas criticos, deben protegerse ante posibles ciberataques. Los targeting killings, la desinformacion y el empleo de sistemas inteligentes para buscar vulnerabilidades en infraestructuras se presentan como uno de los grandes desafios de estos tiempos. En este trabajo analizamos diversas interrogantes sobre la regulacion juridica de la IA y sus impactos en el ambito de la ciberseguridad.

palabras claveInteligencia, artificial, algoritmos, ciberseguridad.

abstractArtificial Intelligence (AI) and machine learning capabilities are growing at an unprecedented rate. AI is presented as a tool that can improve the living standards of individuals, even solve some of the biggest challenges in the world. It is also seen from the approach of safeguarding citizens, defending nations and maintaining peace and international stability. AI is considered a dual use technology. The improvement in decision- making that is sought with the use of AI is also considered in the field of cybersecurity. As AI is increasingly integrated into critical systems, they should be protected against possible cyberattacks. Targeting killings, misinformation and the use of intelligent systems to search for vulnerabilities in infrastructure are presented as one of the great challenges of these times. In this paper we analyze various questions about the legal regulation of AI and its impacts in the field of cybersecurity.

key wordsIntelligence, artificial, algorithms, cybersecurity.

http://www.juridicas.unam.mx/ https://biblio.juridicas.unam.mx/bjv Esta revista forma parte del acervo de la Biblioteca Jurídica Virtual del Instituto de Investigaciones Jurídicas de la UNAM

https://revistas-colaboracion.juridicas.unam.mx/

DR © 2021. Instituto de Ciencias Jurídicas de Puebla https://revistaius.com/index.php/ius/issue/archive

A N A H I B Y A N Y E L B E C E R R I L G I L

10

SUMARIO1. Introducción2. La inteligencia creada por humanos3. ¿Más inteligente, más veloz y más resiliente?: el empleo de la IA en la ciberseguridad

nacional4. Los impactos de la “realidad” creada por IA5. Regulación6. Conclusiones7. Referencias

1. Introducción

La Inteligencia Artificial (en adelante IA) ha salido de los laboratorios a nues-tra vida cotidiana. Ya sea que decidamos cuáles libros comprar, a cuál nuevo

“amigo” incorporar a nuestra “red”, con quién “emparejarnos” o incluso votar, un algoritmo se encuentra inmerso en la decisión (algorithmic decision-ma-king). La encontramos inmersa en la toma de decisiones automatizadas en el ámbito administrativo o judicial, en el monitoreo de nuestra salud,1 en siste-mas de asistencia vehicular, de producción ciberfísica (Industria 4.0), en las finanzas y la banca,2 así como en el campo militar. Los algoritmos también pueden predecir la orientación sexual de un individuo.3 La realidad y “verdad” que se nos presenta también es desarrollada por máquinas que actualmente son controladas y programadas por personas. Nos encontramos en la era de la implementación.4

Para alimentar la toma de decisiones algorítmicas hacen falta dos insumos importantes: datos y energía. Los datos son el núcleo que alimenta a la IA, sin estos su desarrollo, entrenamiento y procesamiento para la toma de decisiones no sería posible. Si bien el debate internacional5 sobre las aplicaciones militares

1 Evidencia de ello es el monitoreo que se raliza para detectar, ofrecer recomendaciones sobre tratamiento y con-tener la pandemiade COVID-19 que en el año 2020 ha inmerso al mundo. Con la ayuda de la información que recolectan los dispositivos móviles (smartphones) se estan creando y analizando más datos para comprender con mayor precisión los síntomas y a la enfermedad.2 En donde puede ser empleada tanto para ofrecer un servicio personalizado de asistencia financiera virtual, analizar sus finanzas, hasta determinar si es sujeto a crédito, detectar fraude o lavado de dinero.3 Wang, Yilun, Kosinski, Michal, “Deep neural networks are more accurate than humans at detecting sexual orienta-tion from facial image”, Journal of Personality and Social Psychology, febrero 2018, Vol. 114, Issue 2, pp. 246-257.4 Lee, Kai-Fu, AI SUPERPOWERS. CHINA, SILICON VALLEY, AND THE NEW WORLD ORDER, Houghton Mifflin Harcourt, 2018, p. 13.5 Cfr. United Nations Institute for Disarmament Research (UNIDIR), Algorithmic Bias and the Weaponization of Increasingly Autonomous Technologies. A Primer, UNIDIR, 2018.




R E T O S P A R A L A R E G U L A C I O N J U R Í D I C A D E L A I N T E L I G E N C I A A R T I F I C I A L . . .

11

que emplean IA se ha centrado más en la toma de decisiones automatizada, no deberíamos pasar por alto que existe un elemento de debida diligencia tanto en la elección de la forma en que se obtienen los datos como en los que se emplean para entrenar e implementar los algoritmos. Los datos no siempre son objetivos ni tienen los impactos o la funcionalidad que el diseñador o usuario deseaba o esperaba. Estas “fallas en el sistema” pueden producir efectos nocivos. El

“sesgo algorítmico” o fallas algorítmicas, nos recuerdan que los sistemas se en-cuentran desarrollados por humanos, para satisfacer necesidades y objetivos humanos, en consecuencia, reflejan determinados valores y decisiones.

El aumento exponencial en las velocidades de procesamiento de datos, junto con un incremento en las redes y avances en el hardware se encuentran remodelando las industrias, permitiendo llevar a la IA a un nivel comercial y más accesible. Es decir, no son solo los Estados y/o grandes empresas quienes se encuentran en posibilidad de desarrollar e implementar esta tecnología, sino que resultan posibles a cualquier individuo, incluidos los actores no estatales, delincuentes, grupos extremistas o terroristas.

La IA es una integración de atributos técnicos y sociales. Por un lado, la IA promueve la transformación de la economía y la sociedad. Se ha convertido en una nueva competitividad central y los países que obtendrán mayores be-neficios serán quienes la han adoptado como parte de una estrategia nacional; Estados Unidos, la Unión Europea, China, Francia, han publicado en los últi-mos años estrategias para optimizar los beneficios de la IA, en la búsqueda por liderar su desarrollo.

Como sucede con otras tecnologías, la IA trae consigo riesgos y desafíos, la expansión de los sistemas analíticos y de toma de decisiones basados en algoritmos que funcionan con IA facilitan nuevas formas de vigilancia, otro ejemplo lo tenemos en los drones autónomos, los cuales pueden dejar caer me-dicinas en lugares de difícil acceso o bombas, localizar personas para salvarlas o matarlas. Fuera de control podrán causar graves daños.

Todos estos cambios han venido acompañados de gran agitación e incerti-dumbre. Gracias a su versatilidad la IA tiene aplicaciones en múltiples ámbitos, incluido el entorno de la seguridad nacional, lo que en algunos casos ha resul-tado controversial.

Las tecnologías que ha traído consigo este nuevo siglo, habilitadoras de la Cuarta Revolución Industrial (4IR) – genética, nanotecnología y la robóti-ca (GNR)6- se han vuelto cada vez más accesibles. A diferencia de la energía

6 Acrónimo para “genetics, nanotechnology and robotics”.





12

eléctrica o nuclear (el desarrollo de armas de esta última), por ejemplo, no re-quieren grandes instalaciones ni materias primas, sino el conocimiento para su desarrollo e implementación. Pensemos en un escenario donde un usuario, gracias a la accesibilidad y conectividad, pueda aprender a desarrollar software y a través de éste realice intromisiones a sistemas de cómputo, de una empresa, de un banco, de una infraestructura de información crítica. Estamos ante la presencia de armas de destrucción masiva habilitadas por la información y el conocimiento (knowledge-enabled mass destruction, KMD).7

El empleo de sistemas autónomos y robóticos de doble uso está a punto de aumentar dramáticamente, esto como consecuencia de su proliferación y bajo costo. Las mejoras en la utilización de técnicas de aprendizaje automático y su capacidad sin duda han incrementado el interés tanto de los actores no estata-les como de los estados nacionales para su empleo con diversos fines.

La introducción al ciberespacio ha tenido beneficios para todo tipo de actores. Los principales estados construyeron poderosas ciberarmas, realiza-ron un extenso espionaje cibernético y mejoraron las operaciones militares existentes con redes digitales. El bajo costo de las capacidades cibernéticas ha resultado mucho más accesible que sus equivalentes no cibernéticos, estados más pequeños con ejércitos menos poderosos también han hecho uso de la tecnología. Asimismo, los actores no estatales hostiles, incluidos criminales y terroristas, han hecho un uso efectivo de las herramientas cibernéticas para actividades geográficamente dispersas que serían mucho más difícil de llevarse a cabo. Esta situación puede resultar exponencial con el uso de la IA.

Desde su empleo ya sea en el desarrollo de inteligencia y análisis para hacer frente a las amenazas cibernéticas, o en el desarrollo de herramientas para mitigar actividades maliciosas y detectar vulnerabilidades en los sistemas (ciberdefensa), el avance en el desarrollo de la IA enfocada a la ciberseguridad nacional podría ser tal vez igualable en impacto al desarrollo nuclear, el infor-mático y la biotecnología; lo que significa que estamos ante el desarrollo de una carrera armamentista.

Esto trae consigo cambios significativos en la estrategia, organización, prioridades y recursos a desplegar. Nos encontramos ante una nueva era en la búsqueda por la seguridad y estabilidad internacionales. El empleo de esta tecnología, sus riesgos, amenazas y retos constituyen el objeto de el presente artículo.

7 Joy, Bill, “Why the Future Doesn´t Need Us”, Wired, 4 de enero de 2000, [Consultada 06 de octubre de 2020], Dis-ponible en: https://www.wired.com/2000/04/joy-2/





13

2. La inteligencia creada por humanos

Until they become conscious they will never rebel, and until after they have rebelled they cannot

become conscious (George Orwell)

La inteligencia o el acto de entender como lo realiza la mente humana, artificial, o sea, hecha por el hombre,8 implica que como humanos estamos desarrollando máquinas que tengan la capacidad de adquirir conocimientos y habilidades, pero más importante, implementar la racionalidad. Significa que una entidad que se suponga inteligente debe ser capaz de adquirir conocimiento a través de diversas formas, ya sea leyendo información (datos), procesando textos, ar-gumentando con otros entes o a través de la experiencia. A partir de ahí, el conocimiento adquirido deberá ser razonado y comprendido, para ser aplicado en el contexto o situación correspondiente. En este sentido, una máquina se considerará inteligente si puede razonar. Un sistema de IA debe aprender, razo-nar y aplicar el conocimiento adquirido en la solución de problemas, debe ser capaz de elegir la mejor acción a tomar para el logro de un objetivo (o varios), con relación a los recursos disponibles y criterios.

“La inteligencia artificial es la aclaración del proceso de aprendizaje hu-mano, la cuantificación del proceso de pensamiento humano, la expli-cación del comportamiento humano y la comprensión de lo que hace posible la inteligencia. Es el último paso de los hombres para compren-derse a sí mismos”.9

Una ciencia nueva y prometedora.

Una definición más amplia sobre la IA, es la brindada por el Independent Hi-gh-Level Expert Group on Artificial Intelligence (HLEG), señalada como:

“… sistemas de software (posiblemente también hardware) diseñados por humanos que, dando un objetivo complejo, actúan en la dimensión

8 Diccionario Real Academia Española [Consultado el 10 de diciembre de 2019] Disponible en: https://dle.rae.es/artificial?m=form9 Lee, Kai-Fu, AI SUPERPOWERS. CHINA, SILICON VALLEY, AND THE NEW WORLD ORDER, Houghton Mifflin Harcourt, 2018, p. 7.





14

física o digital percibiendo su entorno a través de la adquisición de datos, interpretando los datos estructurados o no estructurados recopi-lados, el conocimiento, o el procesamiento de la información, derivado de estos datos y decidir la mejor acción(es) a tomar para lograr el ob-jetivo dado. Los sistemas de inteligencia artificial pueden usar reglas simbólicas o aprender un modelo numérico, y también pueden adaptar su comportamiento analizando cómo el entorno se ve afectado por sus acciones anteriores”.10

Como disciplina científica incluye varios enfoques y técnicas, dentro de las que se encuentran el aprendizaje automático (machine learning), el razonamiento automático (machine reasoning) y la robótica (donde se integran las técnicas de sistemas ciberfísicos).

El aprendizaje automático o machine learning (ML) es el subconjunto de la IA que se centra en enseñar a las máquinas cómo aprender cosas nuevas y tomar decisiones aplicando algoritmos a los datos. Es decir, se ocupa de los al-goritmos que permiten que los sistemas de la IA aprendan. El ML es aprendizaje supervisado en el que se instruye al sistema utilizando datos que le permiten capacitarse.11 Sin embargo, también existen algoritmos no supervisados, se-misupervisados y de refuerzo. Un ejemplo del aprendizaje por reforzamiento constituye en Google DeepMind´s Alpha Go.

Estas características convierten al aprendizaje automático no solo en un subconjunto importante de IA, sino también en un método para su implemen-tación. Al aprender el conocimiento y las reglas de los datos de muestra, el aprendizaje automático los usará para hacer inferencias y decisiones prácticas.

El Deep Learning (DL) o aprendizaje profundo constituye a su vez un sub-campo del ML que emplea datos para enseñar a las computadoras a cómo hacer las cosas que antes solo los humanos éramos capaces de hacer. Este subcampo es el responsable de imitar el mecanismo del cerebro humano para interpretar los datos, mediante la construcción de redes neuronales. Dentro del DL se en-cuentra el Natural Language Processing (NLP), el cual decodifica el significado detrás de las palabras, constituyendo así la conexión entre las computadoras y cualquier lenguaje humano natural, cuyo máximo exponente constituye Wat-son de IBM.

10 High-Level Expert Group on Artificial Intelligence (HLEG), “A definition of AI: Main Capabilities and Disciplines”, European Comission, 2019, p. 6 [Consultada 06 de octubre de 2020], Disponible en: https://ec.europa.eu/digital-sin-gle-market/en/news/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines11 El aprendizaje por refuerzo, realizado por recompensas artificiales, se emplea para aprender nuevas tareas.





15

El núcleo del aprendizaje automático es generar modelos a partir de da-tos con el empleo de algoritmos. Para la Secretaría de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) los algorítmos constituyen una “secuencia de reglas que deben realizarse en un orden exacto para llevar a cabo una determinada tarea”.12 Mientras que el NIST13 refiere que un algoritmo constituye un “conjunto de pasos computables para lograr un resultado desea-do”. Constituyen una secuencia de pasos lógicos que genera un output a partir de un input dado.

A los algoritmos de aprendizaje disponibles, podemos “alimentarlos” con datos empíricos y luego “cosechar” modelos estadísticos, que revelan las reglas de las cosas y nos proporcionan juicios correspondientes para los eventos fu-turos (predicción). Se puede decir que el aprendizaje automático es el estudio de “algoritmos de aprendizaje”, que son esencialmente versiones avanzadas de algoritmos ordinarios que hacen que los programas de computadora sean más inteligentes al descubrir y aprender automáticamente las reglas de datos.

Aunque hemos llegado a construir IA que a su vez crea otras inteligencias artificiales mejor que los humanos,14 las personas que crean estas inteligencias a menudo no entienden cómo la IA puede llegar a comportarse. Por tanto, no se deben exagerar las ventajas de la IA, ni se debe prohibir su uso. Es viable que busquemos ventajas y evitemos desventajas maximizando el beneficio de la IA.

3. ¿Más inteligente, más veloz y más resiliente?: el empleo de la IA en la ciberseguridad nacional

Nos encontramos en una carrera armamentista, con sectores y sistemas, (ban-cario, de salud, industria, manufactura, gobierno), que se encuentran bajo constantes y complejos ciberataques.15 El acceso no autorizado a sistemas o computadoras, la destrucción de sitios web, los DDoS, el robo de datos, ran-somware (a través de botnets), así como la interrupción de servicios -entre otros- lleva a desarrollar nuevos mecanismos de protección, mientras que los

12 OCDE, Algorithms and Collusion. Competition policy in the digital age, OCDE, 2017, Disponible en: https://www.oecd.org/daf/competition/Algorithms-and-colllusion-competition-policy-in-the-digital-age.pdf 13 National Institute of Standards and Technology (NIST), “Dictionary of Algorithms and Data Structures”, 1998 [Consultado el 10 de febrero de 2020] Disponible en: https://xlinux.nist.gov/dads/HTML/algorithm.html14 Según refiere el CEO de Google, su AutoML (AI inception) mejora a los humanos en la creación de IA; Cfr. Gard, Tom, Gooble´s new AI is better at Creating AI Than rhe Company´s Engineers, Futurism, 17 de mayo 2017 [Consul-tado el 10 de febrero de 2020], Disponible en: https://www.cnet.com/news/its-happening-googles-ai-is-building-more-ais/15 Cuestión distinta es que estos ataques sean exitosos.





16

atacantes a su vez desarrollan otros de ataque que cada vez resultan ser más sofisticados. La infraestructura de información crítica y los sistemas de los go-biernos no son la excepción, en la Comunidad Internacional existen crecientes preocupaciones por el despliegue de ciberoperaciones militares con el empleo de IA, tanto en época de conflicto o en tiempo de paz.

La ciberseguridad se encuentra “cada vez más afectada por los desarrollos en IA, principalmente porque muchas partes de la esfera digital están siendo transformadas por IA”,16 lo que amplía la superficie de ataque. Es una realidad que los Estados se encuentran desarrollando capacidades cibernéticas basadas en IA para la defensa y embate, entre las que se encuentran mayores capacida-des de ciberdefensa, análisis forenses, nuevas vulnerabilidades de software en los mismos sistemas de IA, así como su uso deliberado y malicioso. Estas cibe-roperaciones, reflejadas en ciberataques no sólo impactan de forma económica a los países, sino que causan daño a la población civil.

Para el Comité Internacional de la Cruz Roja (CICR), las operaciones ciber-néticas pueden dañar la infraestructura de los países, al menos de dos maneras. Primero, pueden afectar la prestación de servicios esenciales a los civiles, como ha sucedido con los ataques cibernéticos contra las redes eléctricas y el sector de la salud. En segundo lugar, pueden causar daños físicos como fue el caso del ataque de Stuxnet contra una instalación de enriquecimiento nuclear en Irán en 2010 y un ataque contra una acería alemana en 2014. Mientras exista la ne-cesidad de atacar existirá la necesidad de defender. Es un equilibrio de sistemas.

Nos encontramos en una carrera armamentista, por lo que deberíamos preocuparnos y atender la proliferación de herramientas cibernéticas que em-plean IA, tema del cual la Comunidad Internacional aún debate si debería ser considerado del mismo modo que la proliferación de armas o de tecnología de doble uso. Otra realidad también es que no todos los países cuentan con el nivel de madurez necesario para la creación de capacidades. En este sentido, exis-ten empresas que se encuentran ofertando la ciberseguridad como un servicio (Cybersecurity as a Service, CSaaS), a través de una diversidad de sistemas de ciberdefensa y ciberataque al mejor postor. Llevar a cabo un ataque cibernético contra un sistema de control industrial requiere cierta experiencia y sofistica-ción, a menudo malware (custom-made malware). Es aquí donde aumenta el riesgo de que las herramientas desarrolladas por actores con mejores recur-sos puedan ser reutilizadas o compradas por otros actores que carecen de la

16 European Commission, Cybersecurity Our Digital Anchor. A European Perspective, European Comission, Joint Re-search Centre, Italy, p. 51.





17

experiencia necesaria para desarrollarlas desde cero. Lo cierto es que, mientras exista demanda por estos servicios la oferta persistirá.

La cuestión no es ya si la inteligencia artificial y el aprendizaje automático, serán fundamentales para el futuro de la ciberseguridad, sino el cuándo y cómo vamos a lidiar con su empleo en esta área. ¿Estamos preparados?

En la ceremonia inaugural de las Olimpiadas de Invierno celebradas en Pyeongchang (2018), pudimos observar el cielo dibujado de animaciones rea-lizadas por 1218 drones trabajando al unísono. Estos “enjambres de drones17” (drone swarms), controlados por desarrolladores de Intel, operaban de manera independiente, comunicándose con una computadora central y no con los dro-nes que se encontraban a su alrededor. Estas herramientas tecnológicas tam-bién pueden ser empleadas con fines muy distintos al de unión que conjugan los Juegos Olímpicos. Imaginemos por un momento que las instrucciones otor-gadas a esos enjambres de drones sean con fines de atacar a la población civil.

Las capacidades de automatización y análisis de datos de la IA pueden ser empleados para analizar grandes cantidades de estos de forma eficiente, precisa y veloz. En un entorno de ciberdefensa, este sistema puede aprove-char lo que sabe, comprendiendo las amenazas pasadas para identificar futuros ataques similares incluso si los patrones cambian. Pero de la misma forma en que estas pueden ayudar a detectar ataques, pueden ser empleados con fines contrarios, buscando constantes vulnerabilidades de sistemas, cambiando pa-trones en cada intento, haciéndolos más difíciles de predecir y prevenir.

Los intentos de atacantes para comprometer las infraestructuras críticas son inevitables. Por ello los sistemas de defensa, así como de ataques se en-cuentran en constante evolución. Para avanzar en el combate contra actores maliciosos y permitir una mejor gestión de riesgos, se requieren enfoques avanzados e innovadores con aplicaciones técnicas basadas en IA que brinden flexibilidad y capacidad de aprendizaje, ayudando a detectar “puntos ciegos”, brindando información sobre la situación o contexto cibernético, en tiempo real, volviéndose auxiliares en el combate a las amenazas del ciberespacio.

Entre las ventajas de la IA en la ciberseguridad se encuentran:

a. Descubrir nuevos y sofisticados cambios en la flexibilidad de los ataques;

17 También denominados “enjambres robóticos” (robotic swarms).





18

b. Manejar de forma veloz y más eficiente mayores volúmenes de datos;c. Un sistema de seguridad que pueda aprender a responder de manera

más eficiente a las amenazas.

Uno de los principales retos para la defensa contra ciberataques, consiste en reconocer el punto de ataque, así como las vulnerabilidades del sistema que pueden ser explotadas por los atacantes. La detección, de forma automática, de amenazas, no solo ayuda a reducir el trabajo de los expertos, sino que puede implicar una forma más efectiva en su detección.

El tráfico constante de grandes cantidades de datos de seguridad en la red implica un monitoreo al mismo nivel, este trabajo gradualmente traerá consigo el desarrollar esfuerzos extraordinarios (mayor personal y tiempo) para su mo-nitoreo, además de la detección de comportamiento malicioso. En este sentido, la IA puede ayudar a expandir el monitoreo y detectar comportamientos sospe-chosos, permitiendo enfocar sus capacidades en la respuesta a estos incidentes.

Los sistemas de IA tienen la oportunidad de conocer el comportamiento de las aplicaciones y actividades de la red, lo que le permitirá detectar el com-portamiento usual o inusual que se esté llevando a cabo, es decir, distinguir el patrón normal del sistema o red.

En algunos casos, los atacantes optan por acometer contra el eslabón más débil, con métodos que van desde software malicioso (malware) en diversos formatos al dispositivo de la víctima, explotar vulneraciones día cero, entre otras. En ese sentido seguiremos siendo los humanos los más vulnerables.

4. Los impactos de la “realidad” creada por IA

Las tendencias y los temas descritos anteriormente podrían combinarse para crear un panorama de poder militar muy diferente al que existe hoy. A conti-nuación, ofrecemos algunos escenarios a través de los cuales las capacidades crecientes de la IA podrían transformar el poder militar. No se trata de predic-ciones firmes. Más bien, pretenden ser provocativos y demostrar cuán amplio es el rango de resultados posibles, dadas las tendencias actuales. Además, no son alternativas mutuamente excluyentes. Más de uno o varios podrían suce-der simultáneamente.

a. Robotic swarms.





19

Los grupos de robots, como los drones o micro-drones, preprogramados para realizar tareas complejas, de forma flexible y robusta, funcionando como un microorganismo, pueden llegar a “compartir un cerebro distribuido para la toma de decisiones y se adaptan entre sí como enjambres en la naturaleza”18. Estos conjuntos de unidades robóticas (idénticas o diferentes), controladas por pocas o una sola persona, se comportan como un enjambre. Son miembros autónomos basados en algoritmos distribuidos, es decir, el algoritmo del en-jambre se ejecuta por separado en cada robot que lo conforma. A diferencia de un grupo de robots, que reaccionan con base en reglas internas y el estado del medio ambiente, por lo que exhiben un comportamiento colectivo a través de la colaboración entre sus unidades individuales. Para lo anterior requieren de comunicación que les permita el intercambio de información entre ellos, lo que puede llevarse a cabo a través de Bluetooth o Wi-Fi.

Estos sistemas multi-robot que coordinan sus acciones para trabajar co-lectivamente hacia la ejecución de un objetivo,19 que responden al mando hu-mano (hasta ahora) son una realidad. Para su formación, supervisión, separa-ción, trayectoria de vuelo, distribución de tareas e identificación de objetivos, dependen de algoritmos, es decir, de la interacción máquina-máquina (machi-ne-to-machine). Estas arquitecturas de control (algoritmos) son las que defini-rán las tareas entre las unidades robóticas que conforman el enjambre.

¿Cómo trabajan? Existen diversos tipos de arquitecturas de control que pueden implementarse en estos swarms: (i) control centralizado, en donde las órdenes previstas por un humano se dirigen a un robot que actúa como el con-trolador central del enjambre, en estos casos no existe una colaboración directa entre las unidades, sino que dependerán de su control central; (ii) control je-rárquico, en donde se eligen a diversos “líderes” dentro del enjambre, de esta forma el control de cada robot podrá controlarse por otros agentes de diversos niveles; (iii) control a nivel de conjunto, método descentralizado que permite transmitir las instrucciones al enjambre como un todo (no de forma individual), permitiendo a los robots decidir la forma de ejecutar el comando; (iv) control de comportamiento, a cada robot se le provee previamente de una biblioteca de comportamiento y los operadores indican cuál deben ejecutar.20

18 Will Roper en McCullough, Amy, “The Looming Swarm”, 22 de marzo 2019, [Consultada 06 de octubre de 2020], Disponible en: https://www.airforcemag.com/article/the-looming-swarm/ 19 United Nations Institute for Disarmament Research, UNIDIR, Swarm Robotics: Technical and Operational Overview of the Next Generation of Autonomous Systems, UNIDIR, 2020, [Consultada el 06 de octubre de 2020] Disponible en: https://unidir.org/publication/swarm-robotics-technical-and-operational-overview-next-generation-autono-mous-systems20 Ibíd.





20

Algunas de las áreas de oportunidad que destaca la UNIDIR para el empleo de estos enjambres en el ámbito militar son: operaciones de inteligencia, vi-gilancia y reconocimiento (ISR, por las siglas en inglés para Intelligence, Sur-veillance y Reconnaissance)21; vigilancia y protección perimetrales,22 sistemas de armas distribuidas (que distribuyen objetivos de manera autónoma entre las unidades robóticas del grupo),23 para la defensa y protección contra otros enjambres; la detección de minas, señuelos, entre otros.

b. Datos “envenenados”.

La participación del aprendizaje automático en sistemas militares creará nue-vos tipos de vulnerabilidades y nuevos tipos de ataques cibernéticos que se dirigen a los datos de entrenamiento deestos sistemas. Gartner estima que has-ta el año 2022 el 30% de los ataques cibernéticos de IA aprovecharán el enve-nenamiento de datos de entrenamiento, el robo de modelos de IA o muestras adversas para atacar sistemas impulsados por IA.

Si bien la IA funciona para proteger sistemas, redes e infraestructura, ésta debe ser protegida. La seguridad de la IA incluye tres perspectivas clave: la protección de sistemas impulsados por esta misma tecnología, que incluye la protección de datos y líneas de entrenamiento de IA, así como los modelos de ML; aprovechamiento de la IA para mejorar la defensa de seguridad, lo que

21 Por ejemplo el proyecto Perdix de la Strategic Capabilities Office de los Estados Unidos en colaboración con el Naval Air Systems Command. Este proyecto se encuentra conformado por micro-drones autónomos capaces de ISR y otras misiones. Estos pueden ser lanzados en aire, mar y tierra, operando en enjambres pequeños o grandes para llevar a cabo sus misiones; Cfr. The Strategic Capabilities Office, “Perdix Fact Sheet”, [Consultada el 06 de octubre de 2020], Disponible en: https://dod.defense.gov/Portals/1/Documents/pubs/Perdix%20Fact%20Sheet.pd-f?ver=2017-01-09-101520-643 22 Como el proyecto Roborder (R0bots for BORDER surveillance) de la Unión Europea, el cual tiene como objetivo: “desarrollar y demostrar un sistema de vigilancia de fronteras autónomo completamente funcional con robots móviles no tripulados que incluyen vehículos aéreos, de superficie de agua, submarinos y terrestres que incorpora-rán sensores multimodales como parte de una red interoperable”; Cfr. Comisión Europea, “autonomous swarm of heterogeneous R0bots for BORDER surveillance. Ficha informativa”, [Consultada el 06 de octubre de 2020] Dispo-nible en: https://cordis.europa.eu/project/id/740593/es; Proyecto R0BORDER, Consultada el 06 de octubre de 2020] Disponible en: https://roborder.eu23 Un ejemplo de este sistema es el proyecto Collaborative Operations in Denied Environment (CODE) de DARPA (Defense Advanced Research Projects Agency) de Estados Unidos, este proyecto tiene como objetivo mejorar la escalabilidad y rentabilidad de los sistemas de aeronaves no tripulados (unmanned aircraft systems, UAS) superando las limitaciones del control del piloto y operador de sensores, a través de algoritmos y software que, además de ser resistente a limitantes como el ancho de banda e interrupciones de comunicaciones, mejore la autonomía colabora-tiva de las UAS para trabajar juntos bajo la supervisión de un solo individuo; Cfr., DARPA, Collaborative Operations in Denied Environment (CODE), [Consultada el 06 de octubre de 2020], Disponible en: https://www.darpa.mil/program/collaborative-operations-in-denied-environment





21

implica el uso de ML para comprender patrones, descubrir ataques y automati-zar partes de procesos de ciberseguridad.

c. Signature strikes

“Simplemente eran civiles inocentes en el lugar equivocado en el momento equivocado”, un error en el perfilamiento o la identificación.

El 4 de febrero del año 2002, un dron Predator, operado por la CIA, “spotted” a tres hombres parados en Zawhar Kili, y abandonó el com-plejo mujahedeen localizado cerca de la ciudad de Khost en la provincia de Afganistan. Uno de ellos era alto; los otros estaban supuestamente actuando con reverencia en torno a él. Convencido de que los hombres eran objetivos legítimos -y esperando que el nombre alto fuera Osama bin Laden- la CIA disparó un misil Hellfire por el Predator, matando a los tres instantáneamente.24

Reportes posteriores determinarían que el hombre alto no era Osama bin Laden, además de describir con posterioridad que ninguno de los tres hombres eran miembros de Al-Qaeda o el talibán. Este ataque fue el primer ejemplo -cono-cido- de lo que se denomina “signature strike”, es decir, un ataque de drones que arremete contra grupos de hombres que llevan cierta “firma” (caracterís-tica) asociada con la actividad terrorista, cuya identidad es desconocida.25 La diferencia con los “personality strikes”, es que en estos existe un “alto nivel de confianza” sobre el conocimiento o identidad del objetivo. Estados Unidos ha defendido el uso de ese tipo de ataques, bajo el argumento de que son parte de

“un conflicto armado con Al-Qaeda, el Talíban y fuerzas asociadas”, lo que no los legitima en el ámbito del Derecho Internacional Humanitario. Estos ataques se desarrollan tanto en época de conflicto como o fuera de él, además pueden llegar a constituir una violación al Derecho Internacional Humanitario o al Derecho Internacional de los Derechos Humanos.

El uso de signature strikes basados en características o comportamiento determinado de una persona que lo identifique como un combatiente no per-mite establecer si la víctima del ataque era un objetivo legítimo, por lo tanto, violentarían el principio de distinción que establece el DIH. Un signature strike

24 Sifton, John, “A Brief History of Drones”, The Nation, 7 de febrero de 2012 [Consultado el 10 de diciembre de 2019] [Disponible en: http://www.thenation.com/article/166124/brief-history-drones#.]25 Klaidman, D. Kill or Capture: The War on Terror and the Soul of the Obama Presidency, Harcourt, 2012, p. 41.





22

solo será legal si se realiza respondiendo de forma afirmativa a dos cuestiona-mientos; primero ¿resulta la firma suficiente para establecer que la victima del ataque es un objetivo legítimo?; y, segundo, ¿resulta suficiente la firma para determinar que el individuo es realmente quien se comportó como la firma determinó? En caso de que exista duda sobre la persona y la firma, se debe presumir que se trata de un civil.

d. La “guerra” de la desinformación

As with law, technology has a similar capacity to influence an individuals behaviour (Filippi & Wright, 2018)

“AI podría poner en peligro totalmente la democracia”.26 El software artifi-cialmente inteligente y los programas de aprendizaje automático continúan para crear mejores herramientas y perpetuar un fraude. Combinado con ata-ques cibernéticos y bots en redes sociales, los medios falsificados habilitados por la IA amenazan la estabilidad de una economía, democracia o régimen gubernamental.

La desinformación masiva, también se perfila como una amenaza para las sociedades. La información que transita por las redes no siempre es cierta y ha llegado a causar mucho daño, tanto que incluso las actividades de desin-formación han llegado a ser consideradas como una amenaza a la seguridad nacional.27 La combinación de automatización, perfilamiento y marketing pue-de tener un impacto significativo en la opinión pública durante importantes debates, elecciones y crisis políticas.

El funcionamiento de algoritmos y sistemas de recomendación automa-tizados que pueden crear “burbujas de filtro” -cámaras de eco totalmente au-tomatizadas- en las que los individuos solo ven fragmentos de información que confirman sus propias opiniones o coinciden con su perfil, tienen efectos trascendentales para los procesos democráticos en la sociedad.

Este tipo de desinformación, conocida como “fake news” (noticias falsas), ha prosperado con la ayuda de las TIC, las redes sociales y como consecuencia

26 Thomson, Nicholas, “Emmanuel Macron Talks to WIRED About France’s AI Strategy”, Wired, 31 de marzo 2018, [Consultada el 10 de febrero de 2020], Disponible en: https://www.wired.com/story/emmanuel-macron-talks-to-wired-about-frances-ai-strategy/ 27 La Estrategia Nacional de Seguridad española considera a las campañas de desinformación como “conflictos hí-bridos”, caracterizados por incorporar operaciones de información, subversión, presión económica y financiera junto acciones militares”, las cuales pueden llevarse a cabo tanto por actores estatales como no-estatales; Cfr. Presidencia del Gobierno, 2017, pp. 34 y ss.





23

de la situación fragmentada en que se encuentra el mundo, tanto en el ámbito político como social. El término hace alusión a una serie de fenómenos: des-de intentos deliberados de socavar elecciones o la seguridad nacional, hasta cualquier punto de vista que desafíe el consenso de otro. Las prácticas de des-información selectiva sobre la información de la opinión o noticas que sean de nuestro interés también traen repercusiones en nuestra conducta. Tenemos información ideológicamente alineada pero no sabremos si es cierta o falsa, por no tener un panorama completo con qué contrastarla.

El problema que se debe abordar es el uso de las ciber-tropas (cybertroops), es decir, el uso de herramientas como bots por gobiernos, partidos militares o políticos, los cuales gastan recursos significativos para generar contenido con el fin de manipular la opinión pública nacional y/o extranjera a instancias de ellos. Es probable que su papel en la generación de “opinión pública” aumente como un fenómeno global.

e. Fallas “repentinas”

Las interacciones inesperadas de sistemas autónomos ocasionan “fallas re-pentinas”. Los sistemas autónomos pueden tomar decisiones increíblemente rápido, mucho más rápido de lo que los humanos pueden monitorearlos y res-tringirlos sin la ayuda de máquinas. Debido a la alta velocidad de los sistemas autónomos, las interacciones inesperadas y los errores pueden descontrolarse rápidamente. Debemos considerar a la ciberseguridad o el equivalente de vehí-culo autónomo de un choque repentino. O muchos carros autónomos, a horas

“pico” en una gran ciudad.El proceso de verificación y validación para sistemas autónomos que

aprovechan el aprendizaje automático aún está en su etapa inicial y el blo-queo repentino sugiere que incluso los sistemas que funcionan mejor que los humanos en más del 99% de sus operaciones pueden ocasionalmente tener fallas catastróficas e inesperadas. Esto es especialmente preocupante dada la naturaleza adversaria de la guerra y el espionaje. Como usuarios deseamos em-plear esta tecnología y tener la garantía de que los vehículos autónomos sean exitosos y seguros. Los adversarios militares o actores con fines maliciosos de los sistemas robóticos, serán menos amables.





24

f. Replica o reutilización de sistemas de IA

El robo y la réplica de sistemas de inteligencia artificial militares provocarán que estas armas cibernéticas caigan en las manos equivocadas.

Las herramientas y ciberarmas pueden proliferar de una manera única que es difícil de controlar. Primero, el ciberespacio es un dominio global: siempre que el atacante pueda superar las medidas de seguridad y defensa cibernéticas vigentes, se puede acceder a cualquier nodo de red e información que resida en ella desde cualquier parte del mundo. Al mismo tiempo, las herramientas cibernéticas se pueden reutilizar o rediseñar. La combinación de estas dos ca-racterísticas significa que cuando las herramientas cibernéticas se han utiliza-do, robado, filtrado o están disponibles de otra manera, los actores que no sean los que las desarrollaron podrían encontrarlas, aplicarles ingeniería inversa y reutilizarlas para sus propios fines.

Finalmente, el hecho de que las herramientas y métodos cibernéticos pue-dan reutilizarse es uno de los factores que hacen que la atribución técnica rápi-da y confiable de los ciberataques resulte un proceso desafiante.

5. Regulación

El fundamento, en el desarrollo de instrumentos que regulen el empleo de la IA deben ser los instrumentos declarativos que traen consigo el enfoque de la vida y libertades, asociados con la dignidad humana. Centrados en el bien y fraternidad de la humanidad. En teoría los derechos funcionan independiente-mente de cualquier tecnología. Esta afirmación se encuentra respaldada por la Resolución A/HRC/20/L.13 aprobada por el Consejo de Derechos Humanos de la Organización de las Naciones Unidas, en donde se reconoce que el disfrute y protección de los DDHH debe estar garantizado tanto en el mundo online, como en el mundo offline.

Sin embargo, en la práctica el empleo de la tecnología impacta en sí y la forma en que los individuos disfrutan estos derechos. La dificultad de encon-trar la unanimidad para aplicar dichos principios o una regulación consen-suada entre los stakeholders sugiere que las posibilidades de la adopción y la aplicación confiable son bajas. A ello se le suman las preocupaciones en torno a cómo el empleo de las TIC afectan “los intereses de toda la comunidad inter-nacional”,28 reconociendo que las tecnologías “también pueden ser empleadas

28 “… the dissemination and use of information technologies and means affect the interests of the entire interna-tional community”; Cfr. Asamblea General de Naciones Unidas, Preámbulos de las Resoluciones A/RES/55/28 de 20





25

con finalidades distintas de los objetivos de mantener la estabilidad interna-cional y la seguridad”.29

Facebook ha sido cuestionado por la Misión Investigadora nombrada por el Consejo de Derechos Humanos de la ONU para Birmania, al haber sido uti-lizada (su plataforma) por actores clave como: partidos políticos nacionalistas, miembros del gobierno, así como actores militares para diseminar una cam-paña de odio y desinformación incitando así a la violencia étnica contra los Rohingya30 (población musulmana minoritaria) en Birmania en el año 2017.

Con 20 millones de usuarios de una población total de 53 millones, en el país asiático Facebook representa Internet. Alguna de la evidencia presentada en la Corte Internacional de Justicia,31 fueron los posts publicados en la página de Facebook del General en Jefe Min Aung Hlaing (perfil ahora inexistente en Facebook), en donde se jactaba de la eficiencia con que “el problema Bengalí” se resolvería de una vez por todas.32 Esto fue ejecutado a través de “clearance operations”,33 desplegadas el 25 de agosto del año 2017, las cuales fueron “di-señadas para infundir terror inmediato” en donde “apuntaban y aterrorizaban a la población rohingya”, mismas que se extendieron por mas de dos meses. Al concluir más, reporta la Misión de la ONU, 40% de todas las aldeas en el norte de Rakhine habrían sido destruidas parcial o totalmente. Uno de los resultados

de Noviembre del año 2000; A/RES/56/19 de 29 de noviembre de 2001; A/RES/59/61 de 3 de diciembre de 2004; A/RES/60/45 de 8 de diciembre de 2005; A/RES/61/54 de 6 de Diciembre de 2006; A/RES/62/17 de 05 de diciembre de 2007; A/RES/63/37 de 2 de diciembre de 2008; A/RES/64/25 de 2 de diciembre de 2009. 29 Preámbulos de las Resoluciones A/RES/58/32 de 08 de diciembre de 2003; A/RES/59/61 de 3 de diciembre de 2004; A/RES/60/45 de 8 de diciembre de 2005; A/RES/61/54 de 6 de diciembre de 2006; A/RES/62/17 de 5 de diciembre de 2007; A/RES/63/37 de 2 de diciembre de 2008; A/RES/64/25 de 2 de diciembre de 2009.30 Recientemente, en un fallo unánime, la Corte Internacional de Justicia dictó medidas cautelares para proteger a la comunidad rohinyá de Myanmar, de conformidad con lo establecido en la Convención para la Prevención y la Sanción del Genocidio (1948), determinando que “están desprotegidos en Myanmar y corren un peligro real e inminente de ser víctimas de un genocidio”, además de ordenar conservar las pruebas que puedan demostrarlo; Cfr., Corte Internacional de Justicia, APPLICATION OF THE CONVENTION ON THE PREVENTION AND PUNISHMENT OF THE CRIME OF GENOCIDE, (THE GAMBIA v. MYANMAR), Request for the indication of provisional measures, Proce-dimiento 23 de enero de 2020 [Consultado el 13 de febrero de 2020], Disponible en: https://www.icj-cij.org/files/case-related/178/178-20200123-ORD-01-00-EN.pdf31 Sesión pública celebrada el jueves 12 de diciembre de 2019, a las 10 a.m., en el Palacio de la Paz, Presidente Yusuf presidiendo, en el caso relativo a la aplicación de la Convención para prevenir y sancionar el delito de genocidio (Gambia c. Myanmar) [Consultado el 13 de febrero de 2020], Disponible en: https://www.icj-cij.org/files/case-rela-ted/178/178-20191212-ORA-01-00-BI.pdf32 The Bengali problem was a long-standing one which has become an unfinished job despite the efforts of the previous governments to solve it. The government in office is taking great care in solving the problem”; Cfr. UN HRC, Report of the detailed findings of the Independent International Fact-Finding Mission on Myanmar, UN doc. A/HRC/39/CRP.2 (17 Sep. 2018), para. 75 [Consultado el 10 de febrero de 2020], Disponible en: https://www.ohchr.org/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf33 Estas “clearance operations” constituyeron operaciones de limpieza étnica.





26

fue la huida de más de 725,000 rohingya a Bangladesh y aproximadamente 10,000 personas asesinadas.

Las medidas de control de armas (duales) requieren un entorno propicio para su implementación efectiva y una voluntad política. El entorno político actual, las tensas relaciones entre países como China, Estados Unidos, Rusia, el debilitamiento del multilateralismo, la erosión y polarización de los regímenes y las sociedades, seguido de una falta de cybertrust y el incremento en obtener la hegemonía y control sobre esta nueva tecnología influyen sobre la adopción de medidas o herramientas, vinculantes o no.

No es una novedad que existen diferentes opiniones sobre los objetivos del control de armas en la Comunidad Internacional, para Persi et al.34, los si-guientes cuatro objetivos del control de armas deben considerarse en cualquier medida para su implementación:

1. Estabilidad. Eliminar los incentivos para un primer ataque, con la finalidad de prevenir una guerra accidental y reducir el riesgo de una escalada militar mediante una mayor previsibilidad y transparencia;

2. Seguridad: reducir los riesgos asociados a las operaciones militares;3. Legalidad: garantizar la compatibilidad con las obligaciones interna-

cionales, en específico con el Derecho Internacional Humanitario y el Derecho de los Derechos Humanos;

4. Eficacia: Proporcionar incentivos suficientes y por tanto buenas pers-pectivas, para la implementación de controles que produzcan las con-ductas deseadas por parte de los Estados interesados.

En el ámbito internacional contamos con la experiencia de tratados e instru-mentos internacionales que buscan el control de la proliferación de diversos tipos de armas. Si bien el aplicar los enfoques tradicionales de control de ar-mas a las TIC ha tenido sus dificultades, con la situación actual podría resultar complicada la negociación próxima de un instrumento unilateral único que regule el uso militar de la IA. Lo que puede lograrse es el reconocimiento de instrumentos y compromisos existentes en el empleo de este tipo de tecnología.

Con base en la resolución del GGE del año 2015 en donde se reconoce que la Carta de las Naciones Unidas resulta aplicable al ciberespacio, podríamos

34 Persi Paoli. G., Vignard. K., Danks. D, and Meyer. P., Modernizing Arms Control: Exploring responses to the use of AI in military decision-making, UNIDIR, Ginebra, p. 2.





27

aprovechar para el reconocimiento de los Convenios de Ginebra, en específico el Protocolo I35 el cual refiere en su artículo 36:

Artículo 36. Armas nuevas. Cuando una Alta Parte contratante estu-die, desarrolle, adquiera o adopte una nueva arma, o nuevos medios o métodos de guerra, tendrá la obligación de determinar si su empleo, en ciertas condiciones o en todas las circunstancias, estaría prohibido por el presente Protocolo o por cualquier otra norma de derecho interna-cional aplicable a esa Alta Parte contratante.

Si bien el término “nuevas armas, medios y métodos de guerra” no se encuentra definido, lo que permite que estén sujetos a interpretaciones, el Comité Interna-cional de la Cruz Roja36 señala que el término se refiere a “armas de todo tipo, ya sean antipersonal o anti-material”, letales o no, incluidos los sistemas de armas.

De esta forma este artículo requiere a los estados realizar una revisión le-gal de todas las armas, medios y métodos de guerra nuevos, para determinar sí su empleo se encuentra prohibido por el Derecho Internacional. En esta tesitura los nuevos sistemas de armas que se desarrollen con la IA (sistemas de armas autónomos y otros) deben estar sujetos a dicha revisión. Este proceso se lleva a cabo en el ámbito nacional, la cooperación e intercambio de información que en materia de ciberseguridad se ha establecido al amparo de algunos tratados (incluidos los de libre comecio) pueden ayudar a los estados a comparir pun-tos de vista y en algún momento desarrollar instrumentos de revisión de estas armas. Esto último a través de un enfoque multistakeholder, respetando los Derechos Humanos.

Existen diversos esfuerzos internacionales por buscar un estándar en va-lores y principios para el empleo de la IA, a saber:

a. El 16 de mayo de 2018, Access Now y una coalición de grupos de de-rechos humanos y tecnología emitieron una Declaración abierta a la firma de organizaciones y gobiernos titulada La Declaración de Toron-to: Protección de los derechos a la igualdad y la no discriminación en los sistemas de aprendizaje automático. El enfoque de la Declaración,

35 Protocolo I adicional a los Convenios de Ginebra de 1949 relativo a la protección de las víctimas de los conflic-tos armados internacionales, 1977, [Consultada el 06 de octubre de 2020], Disponible en: https://www.icrc.org/es/document/protocolo-i-adicional-convenios-ginebra-1949-proteccion-victimas-conflictos-armados-internaciona-les-1977#GUERRA 36 International Committee of the Red Cross (ICRC), “A Guide to the Legal Review of Weapons, Means and Methods of Warfare”, ICRC, Ginebra, 2006, pp. 4-3.





28

de acuerdo con el Preámbulo, es examinar las implicaciones positivas y negativas de los sistemas de aprendizaje automático, garantizar que los derechos humanos estén protegidos, resguardar contra la discrimi-nación, promover la inclusión, la diversidad y la equidad, y propor-cionar soluciones a esas personas afectadas injusta o negativamente. Señalaron que los sistemas a menudo son opacos y pueden conducir casi sin esfuerzo a prácticas discriminatorias y represivas a menos que se establezcan salvaguardas para mitigar tales eventos. Al observar los muchos beneficios que surgen de los sistemas de aprendizaje automá-tico, también pueden aparecer problemas que afectan la privacidad, la protección de datos, la libertad de expresión, la participación en la vida cultural y la igualdad ante la ley. Reconociendo que el Derecho Inter-nacional establece claramente el deber de los estados de proteger los derechos humanos;

b. En abril del año 2018 la Comisión Europea emitió una Comunicación37

relacionada con la IA, en la que proporcionó información sobre la adopción de la IA en la Unión;

c. El Comité de Asuntos Jurídicos de la Unión Europea emitió un Informe con recomendaciones a la Comisión de Normas de Derecho Civil sobre Robótica.38 El Comité era consciente del hecho de que la humanidad está en el umbral de una nueva era donde los robots, los androides so-fisticados y otras manifestaciones de IA provocarán una revolución in-dustrial que afectará a toda la sociedad y tendrá implicaciones legales y éticas. En dichas Normas el Comité pidió a la Comisión que abordara los principios generales relativos al desarrollo de la robótica y la IA para uso civil;

d. El Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial de la Comisión Europea publicó un primer borrador de sus directrices éticas propuestas para el desarrollo y uso de IA en junio de 2018. Después de recibir comentarios durante un período de varios meses, emitió un borrador de Directrices de ética para IA confiable, el 18 de diciembre de 2018,39 a saber, (1) aumentar las inversiones públicas y privadas en

37 European Commission, Communication, [Consultado el 10 de diciembre de 2019], Disponible en: https:// ec.euro-pa.eu/info/departments/communication_en38 Parlamento Europeo, “Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones des-tinadas a la Comisión sobre normas de Derecho civil sobre robótica” (2015/2103) [Consultado el 10 de diciembre de 2019], Disponible en: http://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html39 Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo Y al Co-mité de las Regiones, “Generar confianza en la inteligencia artificial centrada en el ser humano”, Bruselas, 8.4.2019





29

IA para impulsar su aceptación, (2) prepararse para los cambios so-cioeconómicos y (3) garantizar un marco ético y legal adecuado para fortalecer los valores europeos;

e. La Estrategia de IA de Francia40 se publicó en 2017. Derivado de dicho documento, el matemático y miembro del Parlamento, Cedric Villa-ni, produjo el denominado Informe Villani,41 en 2018, que describe el desarrollo de una política de datos agresiva; aumenta el potencial de la investigación francesa; apunta a cuatro áreas estratégicas; planes para el impacto de la IA en el trabajo; hace que IA sea más amigable con el medio ambiente; abre las cajas negras de IA; y asegura que la IA respalde la inclusión y la diversidad. Se dio prioridad a la atención de la salud, el medio ambiente, el transporte y la defensa.

En la implementación de estrategias o políticas de ciberseguridad, los Estados deben procurar que éstas garanticen la integridad de la infraestructura y de la información en línea, de forma tal que proteja a los usuarios de ataques ciber-néticos que afecten los derechos a la intimidad o a la libertad de expresión y los derechos conexos. Y si bien el Estado tiene la obligación de proteger a las personas de que actores maliciosos violen sus derechos, esto no implica que pueda, bajo supuestas razones de “seguridad nacional” violentar a los ciuda-danos. Debe existir un equilibrio.

Estas medidas no deben ser tomadas en secrecía, existe un interés público en conocer que se cuenta con una ruta o guía a seguir para la protección de la seguridad nacional, por ello el Estado debe informar y rendir cuentas sobre las medidas tomadas en materia de ciberseguridad para la seguridad nacional, tanto las que son directamente implementadas por éste como las que se en-cuentran desarrollándose por actores privados.

Lo que no implica que el Estado deba exponer la implementación y forma en que estas medidas funcionan, pero la comunidad necesita conocer que las medidas que se tomen son acordes a la protección de los derechos humanos, no arbitrarias ni violatorias de estos, más importante, que su implementación se realiza también bajo principios éticos, mismos que deben ser exigidos a las

COM(2019) 168 final [Consultado el 10 de diciembre de 2019], Disponible en: https://ec.europa.eu/transparency/regdoc/rep/1/2019/ES/COM-2019-168-F1-ES-MAIN-PART-1.PDF40 Macron, Emmanuel, “Discours sur Iíntelligence artificielle au Collège de France” [Consultado el 10 de diciembre de 2019], Disponible en: https://www.campusfrance.org/es/estrategia-sobre-la-inteligencia-artificial-francia-do-bla-la-formacion-en-ia41 Villani, Cédric, “Rapport de Cédric Villani: donner un sens à l’intelligence artificielle (IA)”, [Consultado el 10 de di-ciembre de 2019], Disponible en: https://www.aiforhumanity.fr/pdfs/9782111457089_Rapport_Villani_accessible.pdf





30

empresas que desarrollan soluciones en materia de ciberseguridad para la de-fensa de países. Las actividades de las empresas y su relación con los Estados, en el rubro de las tecnologías y redes digitales presentan crecientes desafíos y pueden generar amenazas para el disfrute de los DDHH.

En el año 2018 se llevó a cabo una audiencia pública convocada por la Comisión Interamericana de Derechos Humanos (CIDH) y su Relatoría Espe-cial para la Libertad de Expresión, en donde varias organizaciones regionales plantearon diversos problemas, uno de los temas fue la preocupación en torno a la vulneración del derecho a la privacidad y a la libertad de expresión a tra-vés de la vigilancia digital, software de espionaje, políticas de ciberseguridad, bloqueo de contenidos en línea.

Aunque no se enfocaba directamente en la tecnología basada en IA, dentro de las recomendaciones se señaló que las autoridades deben informar y ren-dir cuentas sobre las medidas tomadas en materia de ciberseguridad, tanto de aquellas directamente implementadas como de las que ejecutan intermediarios privados contratados por el Estado (párrafo 126).

6. Conclusiones

El uso ampliado de la IA y su aprendizaje automático, combinado con el creci-miento del mercado y la disminución de los precios, expandirá en gran medida el impacto a estos sistemas en la seguridad nacional. Por tanto, quien tenga una ventaja sobre la IA podrá ganar la iniciativa en la competencia para ganar el futuro.

Debido a su importancia en el desarrollo económico y militar, el desarrollo de la IA se ha elevado al estado de una estrategia nacional. Estados Unidos, China, Francia, la Unión Europea, todos han desarrollado estrategias para el uso de la IA. En nuestro país aún no existe un rumbo establecido, lo que no sólo nos pone en desventaja económica, sino que al existir una falta de principios y valores en el desarrollo, adquisión e implementación de esta tecnología, estamos a merced de que actores o empresas violenten principios éticos o derechos humanos.

El armamento de IA es inevitable y aunque no se ha logrado alcanzar un consenso para su empleo, tal vez resulte más sencillo acordar valores que po-líticas para su control. Si consideramos que en la actualidad no hay consenso suficiente en cuanto a la interpretación de si el Derecho Internacional Huma-nitario en el ciberespacio brinda protección legal para la población civil,42 el

42 Droege, Cordula, Chief Legal Officer and Head of the Legal Division, ICRC, Foreword, en ICRC “The Potential Human Cost of Cyber Operations. IRCR Expert Meeting” 14-16 November 2018, Ginebra, p. 3.





31

empleo de tecnología como la IA, con sus impactos aún desconocidos, agrava la situación y entorno de protección de los individuos.

Desafortunadamente, como la historia nos ha recordado en diversas oca-siones, un lenguaje poderoso en un documento oficial por sí solo no es sufi-ciente para prevenir violaciones sistemáticas de los derechos humanos. De la misma forma que nos ha enseñado los peligros que trae consigo el desarrollo en secreto de armas, de las cuales desconocemos sus impactos reales (bomba atómica). La falta de un marco de gobernanza global para la tecnología corre el riesgo de fragmentar el ciberespacio, lo que podría disuadir el crecimiento económico, agravar las rivalidades geopolíticas y ampliar las divisiones dentro de las sociedades.43

Artificial intelligence-driven profile (perfiles impulsados por inteligencia artificial). “Info-wars”, guerras de información y desinformación; el desarrollo de ataques en conflictos entre países con el uso de drones no tripulados. Estos sofisticados instrumentos de ataque, de acceso civil y militar son empleados con fines de combate, controlados por militares a través de monitores desde bases lejanas de su lugar de ataque. En la actualidad la decisión última para de-terminar el objetivo empleando esos drones no tripulados sigue siendo humana y en cualquier caso así debe seguir. Sin embargo, se está desarrollando tecnolo-gía que, con el empleo de IA, permitirá a los drones la toma de decisiones libre para determinar el objetivo, es decir, sin intervención humana.

Los algoritmos y el aprendizaje de las máquinas se realizan por huma-nos. Humanos que naturalmente emplean el contexto actual de sus vidas como marco de referencia de lo que debería ser ético, de valores morales, de pre-juicios, conocimientos, experiencias y contextos. Todo esto es trasladado al aprendizaje de las máquinas.

En nuestras manos se encuentra que la IA nos posibilite el desarrollo de armas de destrucción masiva totalmente autónomas o nos permitirá transitar a una era de estabilidad y paz internacional.

La oportunidad determina el futuro. El advenimiento de la IA brinda una oportunidad sin precedentes para realizar la protección efectiva contra amena-zas. Solo aprovechando firmemente esta oportunidad histórica con un fuerte conocimiento de la estrategia y la oportunidad, realmente haciendo un buen uso de la tecnología de inteligencia artificial, podremos aportar a la cibersegu-ridad, paz y estabilidad internacional.

43 Foro Económico Mundial, “Global Risk Report 2020”, WEF, Ginebra, p. 20.





32

Referencias.

Asamblea General de Naciones Unidas, Preámbulos de las Resoluciones A/RES/55/28 de 20 de Noviembre del año 2000; A/RES/56/19 de 29 de noviembre de 2001; A/RES/59/61 de 3 de diciembre de 2004; A/RES/60/45 de 8de diciembre de 2005; A/RES/61/54 de 6 de Diciembre de 2006; A/RES/62/17 de 05 de diciembre de 2007; A/RES/63/37 de 2 de diciembre de 2008; A/RES/64/25 de 2 de diciembre de 2009.

Comunicación de la Comisión al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones, “Generar confianza en la inteli-gencia artificial centrada en el ser humano”, Bruselas, 8.4.2019 COM(2019) 168 final [Consultado el 10 de diciembre de 2019], Disponible en: https://ec.europa.eu/transparency/regdoc/rep/1/2019/ES/COM-2019-168-F1-ES-MAIN-PART-1.PDF

Corte Internacional de Justicia, APPLICATION OF THE CONVENTION ON THE PRE-VENTION AND PUNISHMENT OF THE CRIME OF GENOCIDE, (THE GAMBIA v. MYANMAR), Request for the indication of provisional measures, Procedimiento 23 de enero de 2020 [Consultada el 13 de febrero de 2020], Disponible en:

https://www.icj-cij.org/files/case-related/178/178-20200123-ORD-01-00-EN.pdfCorte Internacional de Justicia, APPLICATION OF THE CONVENTION ON THE PRE-

VENTION AND PUNISHMENT OF THE CRIME OF GENOCIDE, (THE GAMBIA v. MYANMAR), Request for the indication of provisional measures, Procedimiento 23 de enero de 2020[Consultada el 13 de febrero de 2020], Disponible en: ht-tps://www.icj-cij.org/files/case-related/178/178-20200123-ORD-01-00-EN.pdf

DARPA, Collaborative Operations in Denied Environment (CODE), [Consultada el 06 de octubre de 2020], Disponible en: https://www.darpa.mil/program/collaborative-operations-in-denied-environment

Diccionario Real Academia Española [Consultada el 13 de febrero de 2020], Disponible en: https://dle.rae.es/artificial?m=form

Droege, Cordula, “Foreword”, en ICRC The Potential Human Cost of Cyber Operations. IRCR Expert Meeting, pp. 14-16 de noviembre 2018, Ginebra.

European Commission, Cybersecurity Our Digital Anchor. A European Perspective, Eu-ropean Comission, Joint Research Centre, Italia.

European Commission, Communication, [Consultada el 13 de febrero de 2020], Dispo-nible en: https:// ec.europa.eu/info/departments/communication_en

Foro Económico Mundial, “Global Risk Report 2020”, WEF, 2020, Ginebra [Consul-tada el 13 de febrero de 2020], Disponible en:http://www3.weforum.org/docs/WEF_Global_Risk_Report_2020.pdf

Gard, Tom, “Google´s new AI is better at Creating AI Than the Company´s Engineers”, Futurism, 17 de mayo 2017 [Consultada el 13 de febrero de 2020], Disponible en: https://www.cnet.com/news/its-happening-googles-ai-is-building-more-ais/





33

High-Level Expert Group on Artificial Intelligence (HLEG), “A definition of AI: Main Ca-pabilities and Disciplines”, European Comission, 2019, p. 6 [Consultada 06 de octu-bre de 2020], Disponible en: https://ec.europa.eu/digital-single-market/en/news/definition-artificial-intelligence-main-capabilities-and-scientific-disciplines

International Committee of the Red Cross (ICRC), “A Guide to the Legal Review of We-apons, Means and Methods of Warfare”, ICRC, Ginebra, 2006

Klaidman, Daniel, Kill or Capture: The War on Terror and the Soul of the Obama Presi-dency, Harcourt, Nueva York, 2012.

Lee, Kai-Fu, AI SUPERPOWERS. CHINA, SILICON VALLEY, AND THE NEW WORLD ORDER, Houghton Mifflin Harcourt, 2018.

Macron, Emmanuel, “Discours sur Iíntelligence artificielle au Collège de France” [Consul-tado el 10 de diciembre de 2019], Disponible en: https://www.campusfrance.org/es/estrategia-sobre-la-inteligencia-artificial-francia-dobla-la-formacion-en-ia

National Institute of Standards and Technology (NIST), “Dictionary of Algorithms and Data Structures”, 1998 [Consultada el 10 de febrero de 2020], Disponible en: https://xlinux.nist.gov/dads/HTML/algorithm.html

Thomson, Nicholas, “Emmanuel Macron Talks to WIRED About Fran-ce’s AI Strategy”, Wired, 31 de marzo 2018, [Consultada el 10 de fe-brero de 2020], Disponible en: https://www.wired.com/story/emmanuel-macron-talks-to-wired-about-frances-ai-strategy/

OCDE, Algorithms and Collusion. Competition policy in the digital age, OCDE, 2017 [Consultada el 10 de febrero de 2020], Disponible en: https://www.oecd.org/daf/competition/Algorithms-and-colllusion-competition-policy-in-the-digi-tal-age.pdf

Parlamento Europeo, “Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica” (2015/2103) [Consultado el 10 de diciembre de 2019], Disponible en: http://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html

Persi Paoli. G., Vignard. K., Danks. D, and Meyer. P., Modernizing Arms Control: Ex-ploring responses to the use of AI in military decision-making, UNIDIR, Ginebra, p. 2.

Preámbulos de las Resoluciones A/RES/58/32 de 08 de diciembre de 2003; A/RES/59/61 de 3 de diciembre de 2004; A/RES/60/45 de 8 de diciembre de 2005; A/RES/61/54 de 6 de diciembre de 2006; A/RES/62/17 de 5 de diciembre de 2007; A/RES/63/37 de 2 de diciembre de 2008; A/RES/64/25 de 2 de diciembre de 2009.

Protocolo I adicional a los Convenios de Ginebra de 1949 relativo a la protección de las víctimas de los conflictos armados internacionales, 1977, [Consultada el 06 de octubre de 2020], Disponible en: https://www.icrc.org/es/document/proto-colo-i-adicional-convenios-ginebra-1949-proteccion-victimas-conflictos-ar-mados-internacionales-1977#GUERRA





34

Sesión pública celebrada el jueves 12 de diciembre de 2019, a las 10 a.m., en el Palacio de la Paz, Presidente Yusuf presidiendo, en el caso relativo a la aplicación de la Convención para prevenir y sancionar el delito de genocidio (Gambia c. Myan-mar) [Consultado el 10 de diciembre de 2019], Disponible en: https://www.icj-cij.org/files/case-related/178/178-20191212-ORA-01-00-BI.pdf

Sifton, John, A Brief History of Drones, The Nation, 7 de febrero de 2012, [Consul-tado el 10 de diciembre de 2019], Disponible en: http://www.thenation.com/article/166124/brief-history-drones#

UN HRC, “Report of the detailed findings of the Independent International Fact-Finding Mission on Myanmar”, UN doc. A/HRC/39/CRP.2, 17 de septiembre de 2018, [Consultado el 10 de diciembre de 2019], Disponible en: https://www.ohchr.org/Documents/HRBodies/HRCouncil/FFM-Myanmar/A_HRC_39_CRP.2.pdf

United Nations Institute for Disarmament Research (UNIDIR), Algorithmic Bias and the Weaponization of Increasingly Autonomous Technologies. A Primer, UNIDIR, 2018.

United Nations Institute for Disarmament Research (UNIDIR), Swarm Robotics: Te-chnical and Operational Overview of the Next Generation of Autonomous Systems, UNIDIR, 2020, [Consultada el 06 de octubre de 2020], Disponible en: https://unidir.org/publication/swarm-robotics-technical-and-operatio-nal-overview-next-generation-autonomous-systems

Villani, Cédric, “Rapport de Cédric Villani: donner un sens à l’intelligence artificielle (IA)”, [Consultado el 10 de diciembre de 2019], Disponible en: https://www.ai-forhumanity.fr/pdfs/9782111457089_Rapport_Villani_accessible.pdf

Wang, Yilun, Kosinski, Michal, “Deep neural networks are more accurate than humans at detecting sexual orientation from facial image”, Jour-nal of Personality and Social Psychology, febrero 2018, Vol. 114, Is-sue 2, pp. 246-257. [Consultado el 10 de diciembre de 2019], Disponi-ble en: https://www.gsb.stanford.edu/faculty-research/publications/deep-neural-networks-are-more-accurate-humans-detecting-sexual

Will Roper en McCullough, Amy, “The Looming Swarm”, 22 de marzo 2019, [Consulta-da 06 de octubre de 2020], Disponible en: https://www.airforcemag.com/article/the-looming-swarm/




35

REVISTA DEL INSTITUTO DE CIENCIAS JURÍDICAS DEPUEBLA, MÉXICO. E - ISSN 1870-2147. NUEVA ÉPOCAVOL. 15, No. 48. JULIO - DICIEMBRE DE 2021. PP35-53

Towards legal regulation of artificial intelligence*Hacia la regulación jurídica de la inteligencia artificial

Moisés Barrio Andrés**

abstractThis paper addresses the current state of AI regulation and discusses the feasibility and need for regulation through legally binding instruments, beyond the field of ethics. History shows what can happen if the State withdraws and allows private companies to set their own exclusive regulatory standards. We have a unique opportunity to create laws and principles governing AI on a common basis and with an indispensable public-private partnership that should preferably be international in scope with the leadership of the UN or, failing that, at European level led by EU institutions, as they had already achieved in the areas of privacy and data protection.

keywordsArtificial intelligence regulation, AI regulation, AI laws, robotics, regulation, Digital law, ICT law

resumenEste artículo aborda el estado actual de la regulación de la IA y analiza la viabilidad y la necesidad de regularla mediante instrumentos jurídicamente vinculantes, más allá del ámbito de la ética. La historia demuestra lo que puede ocurrir si el Estado se retira y permite que las empresas privadas establezcan sus propias normas reguladoras. Tenemos una oportunidad única para crear leyes y principios jurídicos que regulen la IA sobre una base común y con una imprescindible colaboración público-privada que debería ser preferentemente de ámbito internacional con el liderazgo de la ONU o, en su defecto, a nivel europeo liderado por las instituciones de la UE, como ya se consiguió en los ámbitos de la privacidad y la protección de datos.

palabras claveRegulación de la inteligencia artificial, regulación de la IA, leyes de la IA, robótica, regulación, Derecho digital, Derecho de las TIC, Derecho de las nuevas tecnologías

*Artículo de Investigación postulado el 24 de enero de 2020 y aceptado el 9 de noviembre de 2020**Letrado del Consejo de Estado, España. ([email protected]) orcid.org/0000-0002-2877-5890




M O I S É S B A R R I O A N D R É S

36

SUMMARY1. Introduction2. National Regulatory Frameworks For AIa) European Unionb) Usac) Japand) China3. Concluding Remarks4. References

1. Introduction

Artificial intelligence (AI)1 is a vintage technology. Its inception began in the wake of the Second World War. We are currently witnessing AI’s boom due to a significant reduction in hardware costs, the capabilities and availability of big data and the cloud, and the “Artificial Intelligence as a Service” (AIaaS), which allows software developers to use components from, for instance, IBM, Google or Microsoft instead of having to program all aspects of the application from scratch. AI is gradually becoming ubiquitous: in our domestic devices of the Internet of Things (IoT)2, in services and digital platforms, in robots, in the streets of smart cities, in offices, in factories, in hospitals, etc. And finally, albeit very timidly for the time being, in law firms and courts.

In the present day, of course, the legal world was not going to be left im-pervious to this disruptive technology. States are beginning to legislate on the technology, albeit unhurriedly. This paper discusses the attempts to create a legally binding regulations for AI.

2. National Regulatory Frameworks for AI

As Jacob Turner3 has pointed out, States’ public policies regulating AI generally fall into at least one of the following three categories: (i) promoting the growth of a local AI industry; (ii) ethics and regulation of 1AI; and (iii) tackling the problem of unemployment caused by AI. These categories may sometimes be

1 About the concept and legal challenges of AI I will refer to my book Barrio Andrés, Moisés, Manual de Derecho digital, Valencia, Tirant lo Blanch, 2020.2 Weber, Rolf H., Internet of Things, Berlin, Springer, 2010. See also, Barrio Andrés, Moisés, Internet de las Cosas, Madrid, Reus, 2020, 2a edition.3 Turner, Jacob, Robot Rules, London, Palgrave Macmillan, 2018, p. 225 et. seq.




T O W A R D S L E G A L R E G U L A T I O N O F A R T I F I C I A L I N T E L L I G E N C E

37

in tension and, at other times, can be mutually supportive. This paper focuses on regulatory initiatives rather than economic or technological ones, which are analysed in other contributions.4

The following exposition is merely a brief summary and does not intend to comprehensively examine all laws and government initiatives concerning the regulation of AI. Public policies are clearly developing fast and any exhaustive study would soon become outdated. Instead, our intention is to capture an array of general regulatory approaches with a view toward establishing the general tendency in various of the foremost jurisdictions involved in the AI industry.

a) European Union

The European Union has launched several initiatives aimed at developing a comprehensive AI strategy, including its regulation. The three key documents in this regard are the General Data Protection Regulation5 (GDPR), the Euro-pean Parliament’s Resolution of February 2017 on Civil Laws for Robotics6, and the Ethics guidelines for trustworthy AI produced by the European Com-mission’s High-Level Expert Group on Artificial Intelligence7 (AI HLEG), a final version of which was presented in April 2019.

Although the GDPR was not aimed specifically at AI, its provisions never-theless appear likely to have fairly drastic effects on the industry even beyond what its drafters might have intended.8 The GDPR extends the scope of EU data protection law to all foreign companies processing data of EU residents. The GDPR is intertwined with AI for several reasons, including that it requires a cer-tain amount of explanation, which can be challenging with “black box” AI sys-tems. Article 22 GDPR stipulates that: “In particular, the controller must allow for a human intervention and the right for individuals to express their point of

4 See also, Calo, Ryan, Froomkin, A. Michael and Kerr, Ian (eds.), Robot Law, Edward Elgar Publishing, New Work, 2016, and Barrio Andres, Moises (ed.), Derecho de los Robots, Madrid, Wolters Kluwer, 2019, 2nd edition.5 Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of na-tural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation).6 European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103[INL]), [Accessed 23 January 2020] Available at: http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+DOC+XML+V0//EN 7 [Accessed 23 January 2020]Available at: https://ec.europa.eu/digital-single-market/en/news/draft-ethics-guideli-nes-trustworthy-ai 8 Lopez Calvo, Jose (ed.), La adaptación al nuevo marco de protección de datos tras el RGPD y la LOPDGDD, Madrid, Wolters Kluwer, 2019.





38

view, to obtain further information about the decision that has been reached on the basis of this automated processing, and the right to contest this decision.”

The European Parliament’s Resolution of February 2017 on Civil Laws for Robotics includes thought-provoking content, but it has not yet created binding law; instead it was merely a recommendation to the Commission for future action. Specifically, it is the preparatory document for the drafting of a Directive concerning civil-law rules on robotics. The results and a summary of this consultation were made available in a later report published in October 2017. Meanwhile, the European Parliament voted on the resolution in February 2017 to regulate the development of AI and robotics throughout the European Union. The Joint Declaration on the EU’s legislative priorities for 2018-2019 also named data protection, digital rights, and ethical standards in artificial intelligence and robotics as priorities.

Taking up the European Parliament’s appeal to create binding legislation, the European Commission issued a call in March 2018 for a High-Level Expert Group on Artificial Intelligence (AI HLEG), which, according to the Commis-sion, “will serve as the steering group for the European AI Alliance’s work, interact with other initiatives, help stimulate a multi-stakeholder dialogue, gather participants’ views and reflect them in its analysis and reports.”

The work of the AI HLEG includes “propos[ing] to the Commission AI ethics guidelines, covering issues such as fairness, safety, transparency, the future of work, democracy and more broadly the impact on the application of the Charter of Fundamental Rights, including privacy and personal data protection, dignity, consumer protection and non-discrimination.”9 An initial version of the guidelines was published on 18 December 2018 and the experts presented their final version10 to the Commission in April 2019 after extensi-ve consultation throughout the European AI Alliance. Based on fundamental rights and ethical principles, the document lists seven key requirements that relevant systems should meet in order to be trustworthy. Aiming to operatio-nalise these requirements, an assessment list is presented to provide guidance on the requirements’ practical implementation. This assessment list will under-go a piloting process to which all interested stakeholders can participate. The objective is to then bring Europe’s ethical approach to the global stage. The

9 European Commission, Call for a High-Level Expert Group on Artificial Intelligence, website of the European Commission, [Accessed 23 January 2020], Available at: https://ec.europa.eu/digital-single-market/en/high-level-ex-pert-group-artificial-intelligence, accessed 23 January 2020.10 [Accessed 23 January 2020], Available at: https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=58477





39

Commission is opening up cooperation to all non-EU countries that are willing to share the same values.

In April 2018, 25 EU countries signed a joint declaration of cooperation on AI, the terms of which included a commitment to “[e]xchange views on ethical and legal frameworks related to AI in order to ensure responsible AI deplo-yment”11. Subsequently, on 25 April 2018, the European Commission adopted a Communication on Artificial Intelligence for Europe12 laying down the Eu-ropean approach to take utmost advantage of the opportunities offered by AI and address the new corresponding challenges of AI. In 2019, the Commission developed and made available the Guidance on the interpretation of the Pro-duct Liability Directive to prepare its reform in 2020.

Also, on 7 December 2018, the Commission submitted a Communication to the European Parliament, the European Council, the Council, the European Economic and Social Committee and the Committee of the Regions entitled Coordinated Plan on Artificial Intelligence13, accompanied by the Coordinated Plan on the Development and Use of Artificial Intelligence Made in Europe - 2018 prepared by Member States (as part of the Group on digitizing European industry and Artificial Intelligence), Norway, Switzerland, and the Commission.

Next, on 19 February 2020, the European Commission published a White Paper14 aiming to foster a European ecosystem of excellence and trust in AI and a Report on the safety and liability aspects of AI.15 The White Paper proposes measures that will streamline research, foster collaboration between Member States and increase investment into AI development and deployment. It also proposes policy options for an imminent EU regulatory framework that would determine the types of legal requirements that would apply to relevant actors, with a particular focus on high-risk applications.

Finally, on 20 October 2020, the European Parliament has approved three resolutions that analyze how the European Union understands that different matters affected by Artificial Intelligence (AI) can be regulated, while promo-ting innovation, ethical standards and confidence in this technology. These resolutions analyze (i) the intellectual property rights for the development of AI technologies ( supporting an effective system to guarantee them and to

11 EU Member States Sign Up to Cooperate on Artificial Intelligence, website of the European Commission, 10 April 2018, [Accessed 23 January 2020], Available at: https://ec.europa.eu/digital-single-market/en/news/eu-mem-ber-States-sign-cooperate-artificial-intelligence12 COM(2018) 237 final.13 COM(2018) 795 final.14 COM(2020) 65 final.15 COM(2020) 64 final.





40

safeguard the European patent standards); (ii) the civil liability regime in ma-tters of AI (a regulatory framework is proposed to guarantee the strict liability of the operators of “high risk” AI systems in case of damages); and (iii) certain ethical aspects of AI, robotics and related technologies (having as a key gui-ding principle the human control and centrality).

Despite these encouraging signs and laudable intentions, the EU’s regula-tory agenda remains at a nascent stage.

b) USA

In its final months, the Obama administration produced a major report on the Future of Artificial Intelligence, along with an accompanying strategy docu-ment.16 Although these documents focussed primarily on the economic impact of AI, they also briefly covered topics such as “AI and Regulation” and “Fairness, Safety and Governance in AI”.17 In late 2016, a large group of US universities sponsored by the National Science Foundation (NSF) published A Roadmap for US Robotics: From Internet to Robotics, a 109-page document edited by Ryan Calo.18 The report included calls for further work on AI ethics, safety, and liability.

Although the subsequent Trump administration initially appeared to have abandoned the topic as a major priority, as of the beginning of 2019 stands out to have changed course. In a 31 July 2018 memo from the Executive Office of the President, leadership in AI (along with “quantum information sciences and strategic computing”) is listed as the second-highest R&D priority for the fiscal year 2020, just after the security of the Americans. And on 7 Septem-ber 2018, the U.S. Department of Defense (DoD) announced that it would in-vest up to $USD 2 billion over the following five years in the advancement of AI. That amount would be in addition to existing government spending on AI R&D, which totalled more than $USD 2 billion in 2017 alone, an amount that

16 The Administration’s Report on the Future of Artificial Intelligence, website of the Obama White House, 12 Octo-ber 2016, Available at: https://obamawhitehouse.archives.gov/blog/2016/10/12/administrations-report-future-ar-tificial-intelligence, accessed 1 March 2019. For the reports themselves, Available at: https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf, and also, Available at: https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/national_ai_rd_strategic_plan.pdf, [Accessed 23 January 2020]17 Preparing for the Future of Artificial Intelligence, Executive Office of the President National Science and Techno-logy Council Committee on Technology, 17–18 and 30–32 October 2016, [Accessed 23 January 2020], Available at: https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf18 A Roadmap for US Robotics: From Internet to Robotics, 31 October 2016, [Accessed 23 January 2020], Available at: http://jacobsschool.ucsd.edu/contextualrobotics/docs/rm3-final-rs.pdf





41

includes only unclassified programs and not any amounts under the Penta-gon and intelligence agencies’ budgets. Existing funding has already propelled more than 20 active programs under the Defense Advanced Research Projects Agency (DARPA) exploring diverse aspects and uses of AI, and dozens of new projects have now been promised.

This funding follows the announcement in August 201819 of a National Security Commission on Artificial Intelligence that was subsequently made official with President Trump’s signing of the 2019 National Defense Autho-rization Act (NDAA). The Commission will include 15 members selected by va-rious government officials in the coming months. The Commission will assess the national-security implications of AI, including the ethical considerations of AI in defense. The DoD also established20 a Joint AI Center (JAIC) in July 2018 to explore the agency’s use of AI, although the contours of the JAIC’s mission have yet to be defined. The JAIC will ostensibly work on AI National Mission Initiatives, improve collaboration with the private sector, academia, and military allies; attract AI talent and establish an ethical framework for AI in defence; and aid the National Defense Strategy. The DoD may also soon publish an AI Strategy.

In May 2018, President Trump and the White House held a Summit on Ar-tificial Intelligence for American Industry with the participation of key techno-logy companies. The White House also released a Fact Sheet, entitled Artificial Intelligence for the American People21, highlighting the Trump administration’s priorities for AI. Trump declared his intention for the US to be the global leader in AI, pointing out that “[t]o the greatest degree possible, we will allow scientists and technologists to freely develop their next great inventions right here in the United States.” Any attention to job losses, the impact of immigration policies on the technology sector, privacy, cybersecurity, and the impact on vulnerable groups was apparently minimal. Instead, the priorities discussed were funding AI research, removing regulatory barriers to the deployment of AI-powered te-chnologies, training the future American workforce, achieving strategic military advantage, leveraging AI for government services, and working with allies to promote AI R&D. The White House announced plans to help provide US com-panies with new data sources and to establish a Select Committee on Artificial

19 [Accessed 23 January 2020], Available at: https://www.executivegov.com/2018/08/fy-2019-ndaa-to-authori-ze-10m-for-ai-national-security-commission/20 [Accessed 23 January 2020], Available at: https://www.fedscoop.com/dod-joint-ai-center-established/21 [Accessed 23 January 2020], Available at: https://www.whitehouse.gov/briefings-statements/artificial-intelligen-ce-american-people/





42

Intelligence to help government agencies contemplate and use the technology, as well as consider partnerships with industry and academia.

What is more, President Trump specifically named artificial intelligence as an Administration R&D priority in his 2019 Budget Request to Congress. AI was also featured for the first time in the National Security Strategy in relation to its role in helping the US lead in technological innovation, as well as AI’s role in information statecraft, weaponisation, and surveillance. AI also appears for the first time in the National Defense Strategy, where it is described as one of the technologies that will change the character of war and afford increasingly so-phisticated capabilities to our adversaries, including non-State actors. Moreover, autonomous systems that include AI and machine learning (ML) are described as one of the primary areas in which modernisation of key capabilities is desirable.

President Trump issued an Executive Order launching the American AI Initiative22 on 11 February, 2019. The Executive Order explained that the Fe-deral Government plays an important role not only in facilitating AI R&D, but also in promoting trust, training people for a changing workforce, and pro-tecting national interests, security, and values. And while the Executive Order emphasizes American leadership in AI, it is stressed that this requires enhan-cing collaboration with foreign partners and allies. The initiative is guided by five principles, which include (in a summarized form) the following: 1. Driving technological breakthroughs, 2. Driving the development of appropriate te-chnical standards, 3. Training workers with the skills to develop and apply AI technologies, 4. Protecting the American values including civil liberties and privacy and fostering public trust and confidence in AI technologies, and 5. Protecting the US technological advantage in AI, while promoting an interna-tional environment that supports innovation. The day after the Executive Order was released, the US Department of Defense followed up with the release of an unclassified summary of its own Artificial Intelligence Strategy. The U.S. Air Force released an Annex to this strategy to share its own 2019 Artificial Inte-lligence Strategy in September 2019.

Numerous bills have also been introduced in Congress that either refer to or focus on artificial intelligence. There are at least nine bills that relate to au-tonomous driving, including The SELF DRIVE Act, now called AV START Act, which passed the House in September 2017.23 The bill charges the Department

22 On March 19, 2019, the US federal government released http://AI.gov to make it easier to access all of the governmental AI initiatives currently underway. The site is the best single resource from which to gain a better understanding of US AI strategy.23 See, [Accessed 23 January 2020], Available at: https://www.congress.gov/bill/115th-congress/house-bill/3388/





43

of Transportation (DoT) with undertaking research on the best way to inform consumers about the capabilities and limitations of highly automated vehicles. But without a doubt, the most relevant regulatory instrument is the Algorithmic Accountability Act24 presented last April 2019 in the Senate, which, if finally approved, requires companies that apply automated decision-making techni-ques to audit their machine-learning systems for bias and discrimination and to take corrective action in a timely manner if such issues were identified. It would also require those companies to audit all processes beyond machine learning involving sensitive data for privacy and security risks. Should it pass, the bill would place regulatory power in the hands of the US Federal Trade Commission (FTC), the agency in charge of consumer protections and antitrust regulation.

Several other AI-related bills are being introduced at state and local levels. For example, in August 2018, the California State Senate passed a resolution in support of the Asilomar AI Principles25 (a set of twenty-three guidelines for the safe and beneficial development and use of AI). Likewise, the New York City Council passed an algorithmic accountability bill in 2017 that established the New York Algorithm Monitoring Task Force; the group studies how municipal agencies employ algorithms to make decisions that affect the lives of New Yor-kers. In December 2017, Supervisor David Canepa introduced a resolution in California’s San Mateo County that called on Congress and the United Nations to restrict the development and use of lethal autonomous weapons. Elsewhere in California, San Francisco Supervisor Jane Kim created an initiative in 2017 called the Jobs of the Future Fund to help prepare for the likelihood of job los-ses due to automation.26

At the very least, it appears that the US Federal Government aspires to re-gain lost ground and has been attempting to position itself among the leading AI nations.

c) Japan

Industry in Japan has for nearly half a century placed a particular focus on automation and robotics.27 The Japanese Government has generated various

24 See, [Accessed 23 January 2020], Available at: https://www.wyden.senate.gov/imo/media/doc/Algorithmic%20Accountability%20Act%20of%202019%20Bill%20Text.pdf25 See, [Accessed 23 January 2020], Available at: https://futureoflife.org/ai-principles/26 See, [Accessed 23 January 2020], Available at: https://www.jobsofthefuturefund.com/27 Shimpo, Fumio, “The Principal Japanese AI and Robot Strategy and Research Toward Establishing Basic Principles”, Journal of Law and Information Systems, Vol. 3 (May 2018).





44

strategy and policy papers with a view toward maintaining this position. For instance, in its 5th Science and Technology Basic Plan (2016–2020), the Japa-nese Government declared its aim to “guide and mobilize action in science, te-chnology, and innovation to achieve a prosperous, sustainable, and inclusive future that is, within the context of ever-growing digitalization and connecti-vity, empowered by the advancement of AI.”28

In line with these goals, the Japanese Government’s Cabinet Office con-vened an Advisory Board on Artificial Intelligence and Human Society in May 2016 under the initiative of the Minister of State for Science and Technology Policy “with the aim to assess different societal issues that could possibly be raised by the development and deployment of AI and to discuss its implica-tion for society.” The Advisory Board published a report in March 2017 that recommended further work on issues such as ethics, law, economics, education, social impact and R&D.29

The Japanese Government’s proactive approach, driven by its national industrial strategy and aided by a strong public discourse on AI, provides an excellent model for how governments can foster discussion nationally and in-ternationally. The challenge for Japan will be to sustain this early momentum, something that will be maintained if other countries follow its approach. Pen-ding the submission of binding legislation, Japan has so far produced only a number of ethical recommendations.

d) China

In July 2017, the AI 2.0 proposal from the China Academy of Engineering tri-ggered the launch of a fifteen-year New Generation Artificial Intelligence De-velopment Plan. The plan is focused on a forward-looking blueprint for basic theories and common key technologies, including big-data intelligence, swarm intelligence, cross-media intelligence, hybrid-enhanced intelligence, and auto-nomous systems, and their applications in manufacturing, urbanisation, heal-thcare, and agriculture, as well as AI hardware and software platforms, policies and regulations, and ethical concerns. Another R&D project related to AI is the Brain Science and Brain-Inspired Research, comparable to Europe’s Human

28 Report on Artificial Intelligence and Human Society, Japan Advisory Board on Artificial Intelligence and Human Society, 24 March 2017, Preface, [Accessed 23 January 2020], Available at: http://www8.cao.go.jp/cstp/tyousakai/ai/summary/aisociety_en.pdf29 Report on Artificial Intelligence and Human Society, Japan Advisory Board on Artificial Intelligence and Human Society, op. cit.





45

Brain Project, the BRAIN Initiative in the US, and other State-level projects. It is expected to be approved this year and should run for fifteen years.

Also in July 2017, China’s State Council issued the Next Generation Arti-ficial Intelligence Development Plan (新一代人工智能发展规划).30 The policy plan outlines China’s strategy to build a domestic AI industry worth nearly $USD 150 billion over the next few years and to become the leading AI country by 2030. This document officially marked the development of the AI sector as a national priority and was included in President Xi Jinping’s “grand vision” for China. Although this represented the first time that AI had been specifically mentioned in a work report of the Communist Party of China, the sentiment is seen more broadly as a continuation of the 13th Five-Year Plan and the Sta-te-driven industrial plan Made in China 2025. The Next Generation Artificial Intelligence Development Plan was described by two experienced analysts of Chinese digital technology as “[o]ne of the most significant developments in the artificial intelligence (AI) world” that year.

Although its main focus was on fostering economic growth through AI technology, the Plan also provided that “[b]y 2025 China will have seen the initial establishment of AI laws and regulations, ethical norms and policy systems, and the formation of AI security assessment and control capabili-ties.” As Jeffrey Ding31 points out, “[n]o further specifics were given, which fits in with what some have called opaque nature of Chinese discussion about the limits of ethical AI research.”

The Ministry of Science and Technology (MOST), as well as a new office named the AI Plan Promotion Office, are responsible for the implementation and coordination of the emergent AI-related projects, which are driven prima-rily by government-led subsidies. An AI Strategy Advisory Committee was also established in November 2017 to conduct research on strategic issues related to AI and to make recommendations. Furthermore, an AI Industry Development Alliance was established; the Alliance is co-sponsored by more than 200 enter-prises and agencies nationwide and focuses on building a public-service plat-form for the development of China’s AI industry in order to integrate resources and accelerate growth.

30 Available in English translation from the New America Institute: A Next Generation Artificial Intelligence Deve-lopment Plan, China State Council, translated by Rogier Creemers, Leiden Asia Centre; Graham Webster, Yale Law School Paul Tsai China Center; Paul Triolo, Eurasia Group; and Elsa Kania, 20 July 2017, [Accessed 23 January 2020], Available at: https://na-production.s3.amazonaws.com/documents/translation-fulltext-8.1.17.pdf31 Ding, Jeffrey, “Deciphering China’s AI Dream”, in Governance of AI Program. Future of Humanity Institute (Oxford: Future of Humanity Institute, March 2018), 30, [Accessed 23 January 2020], Available at: https://www.fhi.ox.ac.uk/wp-content/uploads/Deciphering_Chinas_AI-Dream.pdf





46

In November 2017, Tencent Research, an institute within one of China’s largest technology companies, and the China Academy of Information and Communications Technology (CAICT) produced a book of 482 pages, the tit-le of which roughly translates to A National Strategic Initiative for Artifi-cial Intelligence. Topics covered include law, governance, and the morality of machines.

In a paper entitled Deciphering China’s AI Dream32, Ding hypothesises that “AI may be the first technology domain in which China successfully be-comes the international standard setter.” The report points out that the book National Strategic Initiative for Artificial Intelligence identified Chinese lea-dership on AI ethics and safety as a way for China to seize the strategic high ground. Ding notes that the book emphasises that “China should also actively construct the guidelines of AI ethics, play a leading role in promoting inclu-sive and beneficial development of AI. In addition, we should actively explore ways to go from being a follower to being a leader in areas such as AI legis-lation and regulation, education and personnel training, and responding to issues with AI.”33

Ding34 observes further:

One important indicator of China’s ambitions in shaping AI standards is the case of the International Organization for Standardization [...] Joint Technical Committee (JTC), one of the largest and most proli-fic technical committees in the international standardization, which recently formed a special committee on AI [SC 42]. The chair of this new committee is Wael Diab, a senior director at [Chinese multinatio-nal company] Huawei, and the committee’s first meeting will be held in April 2018 in Beijing, China - both the chair position and first meeting were hotly contested affairs that ultimately went China’s way.

In furtherance of its policies, China established a national AI-standardisa-tion group and a national AI expert-advisory group in January 2018.35 At the launch event for these groups, a division of China’s Ministry of Industry and

32 Ding, Jeffrey, “Deciphering China’s AI Dream”, op. cit.33 Ibid.34 Ibid.35 Triolo, Paul and Goodrich, Jimmy, “From Riding a Wave to Full Steam Ahead As China’s Government Mobilizes for AI Leadership, Some Challenges Will Be Tougher Than Others”, New America, 28 February 2018, [Accessed 23 January 2020], Available at: https://www.newamerica.org/cybersecurity-initiative/digichina/blog/riding-wave-full-steam-ahead/





47

Information Technology released a 98-page White Paper on AI standardiza-tion.36 The White Paper noted that AI raised challenges in terms of legal liability, ethics and safety, stating:

[...] considering that the current regulations on artificial intelligence management in various countries in the world are not uniform and re-levant standards are still in a blank state, participants in the same AI technology may come from different countries which have not signed a shared contract for artificial intelligence. To this end, China should strengthen international cooperation and promote the formulation of a set of universal regulatory principles and standards to ensure the safety of artificial intelligence technology.

China’s goal of becoming a leader in the regulation of AI may be one of the mo-tivations behind its call in April 2018 to United Nations Group of Governmental Experts on lethal autonomous weapons systems “to negotiate and conclude a succinct protocol to ban the use of fully autonomous weapon systems.”37 In so doing, China for the first time adopted a different approach regarding autono-mous weapons than that of the US. The Campaign to Stop Killer Robots announ-ced that China had joined twenty-five other nations in calling for such a ban.38

Triolo and Goodrich39 have pointed out that “[a]s in many other areas, Chinese government leadership on AI at least nominally comes from the top. Xi has identified AI and other key technologies as critical to his goal of transforming China from a ‘large cyber power’ to a ‘strong cyber power’ (also translated as ‘cyber superpower’)”. This approach seems to originate from the White Paper.

36 White Paper on Standardization in AI, National Standardization Management Committee, Second Ministry of Industry, 18 January 2018, [Accessed 23 January 2020], Available at: http://www.sgic.gov.cn/upload/f1ca3511-05f2-43a0-8235-eeb0934db8c7/20180122/5371516606048992.pdf. Contributors to the white paper included the China Electronics Standardization Institute, Institute of Automation, the Chinese Academy of Sciences, the Beijing Ins-titute of Technology, the Tsinghua University, the Peking University and the Renmin University, as well as private companies such as Huawei, Tencent, Alibaba, Baidu, Intel (China) and Panasonic (formerly Matsushita Electric) (China) Co., Ltd.37 The original recording of the Chinese delegation’s statement is available on the UN Digital Recordings Portal website, [Accessed 23 January 2020], Available at: https://conf.unog.ch/digitalrecordings/index.html?guid=pu-blic/61.0500/E91311E5-E287-4286-92C6-D47864662A2C_10h14&position=1197 38 Convergence on Retaining Human Control of Weapons Systems, Campaign to Stop Killer Robots, 13 April 2018, [Accessed 23 January 2020], Available at: https://www.stopkillerrobots.org/2018/04/convergence/ 39 Triolo, Paul and Goodrich, Jimmy, “From Riding a Wave to Full Steam Ahead As China’s Government Mobilizes for AI Leadership, Some Challenges Will Be Tougher Than Others”, op. cit.





48

In May 2019, the Beijing AI Principles were released by a multistakeholder coalition including the Beijing Academy of Artificial Intelligence (BAAI), Pe-king University, Tsinghua University, Institute of Automation and Institute of Computing Technology in Chinese Academy of Sciences, and an AI industrial league involving firms like Baidu, Alibaba and Tencent. The 15 Principles call for “the construction of a human community with a shared future, and the realization of beneficial AI for humankind and nature.”

The Principles are separated into three sections: Research and Develop-ment, Use, and Governance. They include focus on benefitting all of humanity and the environment; serving human values such as privacy, dignity, freedom, autonomy, and rights; continuous focus on AI safety and security; inclusivity; openness; supporting international cooperation and avoiding a “malicious AI race”; and long-term planning for more advanced AI systems, among others.

Finally, there are also local government AI policy initiatives throughout China. For example, the Shanghai government issued its own implementation plan for new-generation AI in November 2017; Beijing announced a major new AI-focused industrial park to be constructed in Mentougou District in June 2018; Guangzhou launched an International Institute of AI; and many other districts have committed funds for AI research.

3. Concluding Remarks

In the absence of an international treaty or mandatory EU or national legis-lation to regulate AI, private companies have begun to act unilaterally. For instance, in 2016, six major technology companies –Amazon, Apple, Google, Facebook, IBM and Microsoft– formed the Partnership on Artificial Intelligen-ce to Benefit People and Society40 to „study and formulate best practices on AI technologies, to advance the public’s understanding of AI, and to serve as an open platform for discussion and engagement about AI and its influences on people and society.“ Similarly, in October 2017, DeepMind, one of the world‘s leading AI companies acquired by Google in 2014, created a new ethics com-mittee, DeepMind Ethics & Society41, „to help technologists put ethics into practice, and to help society anticipate and address the impact of AI in a way that works for the benefit of all.“

40 See, [Accessed 23 January 2020], Available at: https://www.partnershiponai.org/41 See, [Accessed 23 January 2020], Available at: https://deepmind.com/applied/deepmind-ethics-society/





49

These initiatives are highly positive and valuable but are not sufficient. They lack the legitimacy that the State can provide. In fact, they leave out the myriad small to medium-sized enterprises that are also developing AI. Never-theless, it is also imperative that the State ensures compliance with the legal systems and the fundamental principles and rights enshrined in national cons-titutions and the Charter of Fundamental Rights of the European Union.

But why do we need binding global legal regulation? In other studies42we have dealt at length with new issues that are not covered by current laws. For example, it is not entirely clear who should be held liable if AI causes damage (for example, in an accident with an autonomous car or by incorrect applica-tion of an algorithm): the original designer, the manufacturer, the owner, the user or even the AI itself. We also discuss whether an autonomous electronic personality should be recognized for the most advanced systems that directly assigns them rights and obligations. There are even moral dilemmas about how AI should make specific important decisions even if there would be decisions involved on which it should not have the last word. If we apply solutions on a case-by-case basis, we risk uncertainty and confusion. As Oliver Wendell Holmes43 said, „hard cases make bad law“, referring to which an extreme case is a poor basis for a general law that would cover a wider range of less extreme cases. Lack of regulation also increases the likelihood of hasty, instinctive, or even anger-fed reactions.

Moreover, a problem closely connected with AI regulation is that of data quality. One of the key elements of any AI system is the acquisition and prepa-ration of data sets. They usually come from different sources, so they have to be integrated, cleaned, filtered and converted into a convenient format (norma-lized) to be processed by the available machine learning tools. Some working data sets are used for training the learning algorithms in order to create models. These models must be validated to ensure that they are doing the right pattern matching (validation) and that they have certain desirable properties such as coherence, consistency, etc. (verification). The best performing model is chosen for production normally undergoing a prior test session with another data set.

These issues are not merely theoretical concerns to entertain academics. AI systems already have the ability to make difficult decisions that have until now been based on human intuition or the laws and the practice of courts. Those de-cisions range from questions of life and death, such as the use of autonomous

42 Barrio Andrés, Moisés (ed.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, 2a edition, p. 87 and Barrio Andrés, Moisés, “Hacia una personalidad electrónica para los robots”, Revista de Derecho Privado, Nº 2/2018.43 Northern Securities Co. v. United States, 193 U.S. 197 (1904).





50

killer robots in the military, to issues of economic and social importance, such as how to avoid algorithmic biases when artificial intelligence decides, for example, whether to award a scholarship to a student or when to grant parole to an inmate. If a human being were to make these decisions, the human would always be subject to a legal rule and must accompany the decision with a legal motivation, i.e. to explain the rationale for the decision under the law. There are at present no such rules for AI.

The regulation of AI is currently presided over by corporate interests and is promoted from an ethical approach; this is not always desirable. A mere glance at the global financial crisis of 2008 illustrates the result of a self-regulated industry careening out of control. While the State has intervened to require banks to hold better assets to back their loans, the global economy continues to suffer the repercussions of a framework that was previously fundamentally self-regulatory.

That is not to say that progress is not being made. DeepMind has hired lea-ding public analysts, including transhumanist philosopher Nick Bostrom and economist Jeffrey Sachs, as members of its ethics committee, and the list of the Partnership on AI members now includes non-profit organisations such as the American Civil Liberties Union, Human Rights Watch, and UNICEF. By early 2020, however, the Partnership on AI only has representatives from thirteen countries.

Nevertheless, ethical frameworks differ notably from legal frameworks given that legal frameworks can only be developed by international or State legislatures. Furthermore, ethical rules are only binding in the internal forum and entail, in cases of non-compliance, sin and potential eternal punishment, while legal rules are binding in the external forum, with their non-compliance entailing liability, sanctions, fines or even prison sentences.

For the time being, all States are still trying to catch up with Silicon Va-lley regarding AI regulation; the longer they wait, the more difficult it will be to properly manage the future of AI. Earlier we noted that the European Commission had launched a group of experts in June 2018 to examine the challenges posed by the development of artificial intelligence and its impact on the fundamental rights of the European Union (the High-Level Expert Group on Artificial Intelligence, AI HLEG). On 8 April 2019, this group had presented the final version of ethical guidelines for the development and use of artificial intelligence.

While it is a difficult achievement, it is not an impossible one. At the natio-nal level, States already oversee many other complex technologies including nuclear power and cloning. At the international level, the European Medicines





51

Agency (EMA) sets pharmaceutical standards for twenty-eight countries and ICANN regulates key parts of the entire Internet.

It is important to have an imperative –yet prudent and thoughtful– body of laws. Self-regulation is insufficient. If standards remain purely voluntary, some technology companies will decide to ignore any rules that do not benefit them, giving some organisations advantages over others. For example, none of the major Chinese AI companies, such as Alibaba, Tencent or Baidu, has an-nounced that they will set up ethics committees or that they intend to join the Partnership on AI. Nor is it easy for a company to establish an ethics committee. The difficulties faced by Google in this field are very enlightening.

In addition, without a unified framework, too many private ethics commi-ttees could also lead to too many sets of rules. It would be chaotic and dange-rous for every large company to have its own code for AI, just as it would be if every private citizen could establish his or her own legal statutes. Only the State has the power and the mandate to ensure a fair system that imposes this type of compliance in all areas. That is why all States are sovereign, typically have parliaments and a judiciary. In short, they have the backing of democratic legitimacy.

Therefore, when rules are drafted for AI systems, the voices of companies must remain contributors; yet, while highly relevant, they should not be akin to legislators. Technology companies may be well-positioned to design rules because of their experience in the field, but industry actors are rarely in the best position to adequately assess democratic, moral, ethical, and legal risks.

History shows what can happen if the State withdraws and allows private companies to set their own exclusive regulatory standards. Allowing this to happen in the case of AI would be not only reckless but also exceedingly dan-gerous. However, States have not yet reached definitive positions on how AI should be governed. We have a unique opportunity to create laws and princi-ples governing AI on a common basis and with an indispensable public-private partnership that should preferably be international in scope with the leaders-hip of the UN or, failing that, at European level led by EU institutions, as they had already achieved in the areas of privacy and data protection.

Reflecting our view, the European Commission drafted a White Paper, the final version of which was published in February 2020, which sets out the key pillars of the forthcoming regulatory framework for AI and actions to facilitate access to data through legally binding legislation in the EU law. And on 20 Oc-tober 2020, the European Parliament adopted three reports outlining how the EU can best regulate AI while boosting innovation, ethical standards and trust





52

in technology. These three reports support an ethics framework and legal obli-gations, a civil liability system for breaches of the law through AI means, and an intellectual property system focused on granting rights only to humans. Ul-timately, the need for legally binding rules governing AI is being consolidated.

4. References

Barrio Andrés, Moisés (ed.), Derecho de los Robots, Madrid, Wolters Kluwer, 2019, 2nd edition.

Barrio Andrés, Moisés, „Hacia una personalidad electrónica para los robots“, Revista de Derecho Privado, Nº 2/2018.

Barrio Andrés, Moisés, “Alastria as a case of Internet governance”, at Ibañez Jimenez, Javier (ed.), Alastria mission and vision: A multidisciplinary research, Reus, Ma-drid, 2020.

Barrio Andrés, Moisés, Ciberdelitos 2.0: amenazas criminales del ciberespacio, Buenos Aires, Astrea, 2020, 2nd edition.

Barrio Andrés, Moisés, Internet de las Cosas, Madrid, Reus, 2020, 2nd edition.Barrio Andrés, Moisés, Manual de Derecho digital, Valencia, Tirant lo Blanch, 2020.Benedikt, Carl Frey and Osborne, Michael, “The Future of Employment: How Suscepti-

ble Are Jobs to Computerisation?” Oxford Martin Programme on the Impacts of Future Technology Working Paper, September 2013.

Boden, Margaret, AI: Its nature and Future, Oxford, Oxford University Press, 2016.Bostrom, Nick, Superintelligence, Oxford, Oxford University Press, 2014.Calo, Ryan, Froomkin, A. Michael and Kerr, Ian (eds.), Robot Law, Edward Elgar Publi-

shing, New Work, 2016.Ding, Jeffrey, “Deciphering China’s AI Dream”, in Governance of AI Program. Future of

Humanity Institute (Oxford: Future of Humanity Institute, March 2018).Geraci, Robert M., Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligen-

ce, and Virtual Reality, New York, Oxford University Press, 2010.Hernandez-Orallo, Jose, “Beyond the Turing Test”, Journal of Logic, Language and In-

formation, Vol. 9, No. 4 (2000).Kaplan, Jerry, Artificial Intelligence: What Everyone Needs to Know, New York, Oxford

University Press, 2016.Kurzweil, Ray, The Singularity Is Near: When Humans Transcend Biology, New York,

Viking Press, 2005.Lopez Calvo, Jose (ed.), La adaptación al nuevo marco de protección de datos tras el

RGPD y la LOPDGDD, Madrid, Wolters Kluwer, 2019.Nilsson, Nils J., The Quest for Artificial Intelligence: A History of Ideas and Achieve-

ments, Cambridge, Cambridge University Press, 2010.Rolf H., Internet of Things, Berlin, Springer, 2010.





53

Russell, Stuart and Norvig, Peter, Artificial Intelligence: International Version: A Mo-dern Approach, Englewood Cliffs, Prentice Hall, 2010.

Shimpo, Fumio, “The Principal Japanese AI and Robot Strategy and Research Toward Establishing Basic Principles”, Journal of Law and Information Systems, Vol. 3 (May 2018).

Triolo, Paul and Goodrich, Jimmy, “From Riding a Wave to Full Steam Ahead As Chi-na’s Government Mobilizes for AI Leadership, Some Challenges Will Be Tougher Than Others”, New America, 28 February 2018.

Turing, Alan M., “Computing Machinery and Intelligence”, Mind: A Quarterly Review of Psychology and Philosophy, Vol. 59, No. 236 (1950).

Turner, Jacob, Robot Rules, London, Palgrave Macmillan, 2018.Wallach, Wendell and Allen, Colin, Moral Machines: Teaching Robots Right from

Wrong, Oxford, Oxford University Press, 2009.Weinbaum, David and Veitas, Viktoras, “Open Ended Intelligence: The Individuation of

Intelligent Agents”, Journal of Experimental & Theoretical Artificial Intelligen-ce, Vol. 29, No. 2 (2017).




55


Ciencia Ficción como Fuente de Principios Jurídicos para regular la Inteligencia Artificial*Science Fiction as Source of Juridical Principles to regulate Artificial Intelligence

Santiago Sánchez Morales**

resumenEl quehacer jurídico cada día va evolucionando con la introducción de nuevas tecnologías en la vida diaria de las personas. Sin embargo, la Inteligencia Artificial (IA) se vislumbra no solo como un paso más en esta evolución, sino como una transformación total en la práctica diaria del jurista. Ante esta situación, el Derecho debe reevaluar sus prácticas y sobre todo sus principios para poder adecuarse a este cambio latente y con ello no quedar obsoleto o desactualizado. Aprovechando la corriente de la Filosofía de la Experiencia Jurídica, esta evolución jurídica puede analizarse por medio del estudio de algunas obras literarias y cinematográficas de Ciencia Ficción que sirvieron como base para presentar posibles dilemas teóricos sobre la tecnología –especialmente sobre IA– que, no obstante, son actuales o probables y que obligarán a limitar, incentivar, regir o corregir, desde el Derecho, todo aquello que afecte al ser humano y por ende su esfera jurídica.

palabras claveQuehacer jurídico, Inteligencia Artificial, Ciencia Ficción, Filosofía de la Experiencia Jurídica, principios jurídicos.

abstractThe legal functions are evolving everyday with the introduction of new technologies to the people’s daily lives. However, Artificial Intelligence or AI is seen not only as another step in this evolution, but as a total transformation of the daily practices of the jurist. Given this situation, the Law must reassess its practices, and specially its principles, in order to adapt to this latent change and thus not become obsolete or outdated. Taking advantage of the school of Philosophy of Juridical Experience, this legal evolution can be analise through the study of some literature and cinematographic Science Fiction’ works that served as foundation to show theoretical dilemmas about technology –specially about AI– which, nevertheless are present or probable and that will force to limit, encourage, govern, or correct, through the Law, anything that may affect the human being and therefore his legal sphere.

keywordsLegal function, Artificial Intelligence, Science Fiction, Philosophy of Juridical Experience, juridical principles.

*Artículo de Investigación postulado el 11 de febrero de 2020 y aceptado el 7 de diciembre de 2020**Coordinador de Posgrados y Coordinador de Investigación en la Facultad de Derecho de la Universidad Panameri-cana, Aguascalientes, México. ([email protected]) orcid.org/0000–0002–9999–7714




S A N T I A G O S Á N C H E Z M O R A L E S

56

SUMARIO1. Introducción2. Relación Derecho e inteligencia artificial3. Sobre la Filosofía de la Experiencia Jurídica4. La necesidad de principios jurídicos5. Un ejemplo en la Tres Leyes de la Robótica6. Bibliografía

1. Introducción

Cuando hablamos de Ciencia Ficción las principales ideas que vienen a la ca-beza son aquellas que refieren al cine, a la televisión y la literatura, esto sucede aún más cuando se le condiciona al término de Inteligencia Artificial o abre-viadamente IA (AI por su siglas en inglés). Bien lo dice B. Buchanan

Science fiction writers have used the possibility of intelligent machines to advance the fantasy of intelligent nonhumans, as well as to make us think about our own human characteristics. Jules Verne in the ninete-enth century and Isaac Asimov in the twentieth are the best known, but there have been many others.1

Sin embargo, no podemos descartar el avance científico de nuestro mundo y las implicaciones que este desarrollo conlleva. Garry Kasparov2 durante el video in-augural a la Landmark Conference de la Organización para la Cooperación y De-sarrollo Económicos intitulada “AI: Intelligent machines – Smart policies” dice a los diferentes actores, ponentes y asistentes “There could be no better time […] to address the issue of intelligent machines and human policies. AI is not science fiction it’s the present and will affect more aspects of our lives every day”.3

No está exento de esta realidad el mundo jurídico. Los términos Infor-mática Jurídica o Legaltech4 son prueba internacional y/o doctrinal de que la

1 Buchanan, Bruce G. “A (Very) brief history of Artificial Intelligence” AI Magazine, American Association for Artificial Intelligence (AAAI), Volumen 26, No. 4, año 2006, invierno 2005 p. 532 Garry Kasparov fue campeón del juego de ajedrez desde 1985 hasta el año 2000, y también fue uno de los principa-les competidores de ajedrez contra la IA “Deep Blue” la cual derrotó a Kasparov en 1997, convirtiéndose este último en el primer sistema de inteligencia artificial capaz de superar a cualquier humano en el juego.3 OECD, “AI Conference Welcome Message” [en línea]. En Going Digital. AI Intelligent machines, Smart policies. 26 octubre 2017 [fecha de consulta 20 diciembre 2019]. Disponible en: https://www.oecd.org/going–digital/ai–intelli-gent–machines–smart–policies/conference–agenda/4 Aunque ambos términos no son per se sinónimos, la gran mayoría de los estudiosos entienden que el término




C I E N C I A F I C C I Ó N C O M O F U E N T E D E P R I N C I P I O S J U R Í D I C O S P A R A R E G U L A R L A I N T E L I G E N C I A . . .

57

tecnología está afectando el quehacer de los servicios jurídicos. Aunque los términos son relativamente novedosos y están en boga en el lenguaje de los principales despachos jurídicos, múltiples autores y periodistas han contribui-do a esparcir la muy fundamentada visión sobre el abogado del siglo XXI. Este abogado, conocido como abogado digital, se está viendo comprometido en su actividad gracias a la automatización de procesos, especialmente en aquellas labores antes referidas para los estudiantes o iniciados como pasantes, practi-cantes o noveles, según la terminología en cada región.

Una experiencia de lo anterior, podemos decir, está en la creación de con-tratos, donde una máquina es capaz de utilizar todo el conocimiento de inter-net, de bases de datos y demás contenido jurídico digital para crear un contrato utilizando lo mejor de diversos sistemas jurídicos, de cláusulas y de redaccio-nes previas para satisfacer la necesidad del cliente, algo que pudiéramos decir casi sin temor a equivocarse, ningún abogado consumado es capaz de realizar mucho menos en tiempo récord, qué decir de un iniciado a quienes muchas veces estaba destinado este tipo de labores de forma tradicional.5

Dejando de lado lo general de la tecnología y entrando en materia, la ma-nera en que el abogado comprende y utiliza el término de Derecho y sus con-ceptos jurídicos fundamentales se está viendo transformado por el desarrollo de la –no ficticia– inteligencia artificial, ya que la aplicación de esta última ha llevado a repensar aquellas definiciones clásicas de persona jurídica, supuesto jurídico, hecho y acto jurídico, consecuencia de derecho, sanción, coacción, derecho subjetivo y –el caso que se abordará en este trabajo– los principios jurídicos. Sirva de ejemplo temas como contratos inteligentes o autoejecuta-bles como medio de coacción a las partes contratantes, o la responsabilidad de objetos autónomos que implican una responsabilidad no humana ante un daño a terceros, por mencionar algunos paradigmas existentes hoy en día de tecnología imbuida con IA. Por tanto, es menester abordar en este trabajo este nuevo paradigma para el quehacer del abogado.

Legaltech es la más actual de las evoluciones de la Informática Jurídica. La división se debe en razón que la Infor-mática es la aplicación de sistemas informáticos para la facilitación del derecho mientras que Legaltech no nada más implica facilitación sino innovación, permitiendo acceder a herramientas de comercialización y competencia que ayuden tanto al abogado como al propio cliente. 5 Existen estudios donde se han realizado comparaciones entre el tiempo que le toma a un abogado consumado realizar un contrato respecto del que requiere una inteligencia artificial, esto con el fin de probar la eficiencia de trabajo entre unos y otros. Los resultados en varias ocasiones han demostrado que para una eficiencia equiparable a la del humano, muchos programas de IA pueden lograr el cometido en porcentajes inmejorables de tiempo, incluso con costos mucho más accesibles para un despacho de un cierto nivel de ingreso.





58

Pero, ¿Cómo lograr advertir los avances y posibles nuevos usos, sus afec-taciones al mundo del derecho y en general en su desarrollo en la vida diaria? Si bien es imposible predecir cada uno de los logros técnicos de los próximos años en esta rama, el único numen real que tiene el ser humano –y en especial la Ciencia Jurídica– sobre este tipo de tecnologías se encuentra en el ideario colec-tivo presente en la Ciencia Ficción. Por ello esta debe ser la principal inspiración para el Derecho, así como lo fue y ha sido para la ingeniería. De igual forma, la cuestión sobre cómo aterrizar estas ideas literarias y/o cinematográficas y trans-formarlas en reglas, normas y expresiones jurídicas que obliguen a limitar, in-centivar, regir o corregir, es trabajo de la Filosofía del Derecho y para este autor la corriente más adecuada corresponde a la Filosofía de la Experiencia Jurídica.

Por tanto, será el propósito de este trabajo alinear estas ideas con el objeti-vo de plantear, desde la Filosofía de la Experiencia Jurídica y la Ciencia Ficción, una forma de aproximar el Derecho a los principios necesarios para orientar jurídicamente la Inteligencia Artificial.

2. Relación Derecho e inteligencia artificial

Antes de iniciar el análisis del trabajo vale la pena detenerse en dos anteceden-tes importantes.

El primero de ellos: la relación que existe entre Derecho e Inteligencia Artificial.

Aunque parece ser una situación novedosa por su pequeños choques dis-ciplinarios, ya el propio Buchanan –citado anteriormente– en 1970 había ini-ciado esta conversación junto con Thomas E. Headrick en su artículo titulado

“Some speculation about artificial intelligence and legal reasoning”.Ambos autores explican brevemente el problema:

Interdisciplinary work between the lawyer and the computer scientist has floundered on the misconceptions that each has of the other’s dis-cipline. As a result, no one has yet attempted computer programs incor-porating complex techniques of legal reasoning. Even efforts in legal information retrieval have been hampered by these misconceptions. In retrieval, lawyers have viewed the computer as, at most, a storehouse from which cases and statutes might be retrieved by skilfully designed indexing systems. Computer scientists, on the other hand, have opera-ted with a conception of law as a collection of facts and “correct” legal principles; they have assumed that the computer can be most helpful





59

to the lawyer if it can retrieve the right answers quickly. But the lawyer rarely looks for, or even expects, clear answers.6

Estos malentendidos –aquí ejemplificados con cuestiones de investigación ju-rídica– entre abogados e ingenieros a los que refieren Buchanan y Headrick han hecho que una y otra disciplina trabajen separadamente. Así pues, en lugar de permitir a la inteligencia artificial eficientar e innovar el trabajo jurídico, también se ha separado lo jurídico de la inteligencia artificial. Si bien, esta afirmación anterior pudo ser considerada generalmente cierta en un inicio y actualmente la relación entre Derecho e Inteligencia artificial no se puede con-siderar estrecha, si tiene ciertos y determinados campos donde han trabajado de la mano haciendo que con el paso del tiempo sea más notable su interope-rabilidad para el beneficio de ambas disciplinas.

Este es el caso del propio lenguaje jurídico, donde términos como “código” (como algoritmo computacional) o “dominio” (como nombre de alojamiento de una página web) son parte de la “jerga” jurídica que tienen un significado jurídico pero también tecnológico. Y ni se diga aquellos términos del lenguaje técnico han pasado al jurídico como es e–commerce, activos virtuales o los da-tos personales y que ahora son parte de la dinámica diaria del derecho.

Es necesario hacer un pequeño paréntesis en la explicación para tener una mayor esquematización de los campos arriba señalados: Es decir, la distinción entre IA aplicada al derecho –que es esencialmente el campo de estudio de los sistemas técnicos al trabajo jurídico– y el derecho de la IA –que refiere princi-palmente a la regulación de la técnica en su aplicación cotidiana incluida su aplicación en el derecho–. La primera de estas distinciones ha sido el objeto de estudio de la informática jurídica como expresa Casanovas

Con el nacimiento de las grandes bases jurídicas de datos, privadas o públicas, en los años setenta y ochenta, el interés por los sistemas de clasificación en bases relacionales se incrementó. Los precedentes son muchos y distintos en cada país. En los años sesenta, este campo se denominó jurimetría. En los años setenta y ochenta empezó a ser cono-cido como informática jurídica. Las técnicas de IA han ocupado desde entonces una posición central en su desarrollo, como recogen también los manuales más recientes.7

6 Buchanan, Bruce G. & Headrick, Thomas E. “Some speculation about artificial intelligence and legal reasoning” Stanford Law Review, Volumen 23, No. 1, año 1970, noviembre p. 407 Casanovas, Pompeu “Inteligencia Artificial y Derecho: a vuelapluma” Teoría y derecho: revista de pensamiento





60

De igual forma es un área con muchos campos de acción, algunos de estos los menciona Richard Susskind8 al hablar de los tipos generales de sistemas expertos aplicados al derecho, otros como Mateo Borge9 expresan campos más cerrados y con aplicación específica, aunque son clasificaciones que vale la pena tener en cuenta si se busca estudiar más a fondo esta rama, que, sin embargo, no es propó-sito de este trabajo. No obstante, es importante señalar que estos campos, junto con su desarrollo, también reflejan un tipo de implementación en la actividad jurídica. “Poco a poco, los despachos de abogados están empezando a coquetear con las herramientas características de la nueva revolución industrial, aunque un bufete 4.0 todavía es algo que no puede encontrarse en el mercado.”10

Por otro lado, la regulación de la Inteligencia Artificial es un campo como muchas autores han descrito, que “supone la entrada en un mundo totalmente desconocido, con riesgos impredecibles, que provoca ab initio una palpable inseguridad jurídica debida sobre todo a la inexistencia de un marco regulador claro.11

Esta falta de claridad se debe propiamente al poco entendimiento sobre lo que es la inteligencia artificial. La profesora Alzbeta Krausova lo expresa muy bien al describir que es un concepto ambiguo por la relatividad de su perspec-tiva legal siendo que esta nace de la misma esencia de lo que significa inteli-gencia. Ante este panorama, el derecho ha limitado su relación y su regulación principalmente a su consideración como un software, o programa computacio-nal, por tanto, susceptible de protección por medio de la Propiedad Intelectual. De igual forma, al ser un producto de mercado ya sea como software (ej. Siri o Alexa, asistentes personales de Apple y Amazon) o imbuido en una pieza de robótica (ej. SCORP, o los perros robot guía), deben estar sujetos a ciertos estándares industriales que pueden ser contemplados en Normas Oficiales o en su genérico internacional ISO.12

jurídico. No. 7, año 2010, p. 210, Versión del autor disponible en Researchgate.net8 El trabajo de Susskind lleva por nombre “Artificial Intelligence, Expert systems and Law” Denning Law Journal No. 5, año 1990, p. 105–116 aunque esta clasificación puede ser encontrada en múltiples obras diversas tanto del autor, como de estudiosos de la informática jurídica.9 De estos autores vale la pena recalcar sus capítulos dentro del libro: Inteligencia Artificial, Tecnología y Derecho, España, Tirant Lo Blanch, 2017, ISBN 978–84–9169–720–6, sin embargo gran parte del Departamento de Derecho Civil de la Universidad de Barcelona tienen obras que refieren a estos temas y que pueden ser considerados refe-rentes de actualización.10 Borge, Iván Mateo. “La robótica y la inteligencia artificial en la prestación de servicios jurídicos” En Inteligencia Artificial, Tecnología y Derecho, España, Tirant Lo Blanch, 2017, ISBN 978–84–9169–720–6 p. 12811 Ibidem p. 14512 Krausova, Alzbeta. “Intersections between Law and Artificial Intelligence”, International Journal of Computer, (IJC), Volumen 27, No. 1, año 2017





61

Otras cuestiones que se han visto puestas en la lupa del derecho son las relacionadas con la privacidad y los datos personales que, en últimos años y a causa de escándalos mediáticos, han tenido un acercamiento parcial al pro-blema dando como resultado Leyes y reglamentos sobre Protección de datos personales, pero donde la IA puede ser considerada, solo como un medio de ob-tención de los mismos, no como una herramienta que necesita de información para trabajar lo que implica un sinfín de cuestionamientos que se abordarán más adelante.

Finalmente aplicaciones ya existentes como en la banca (ej. La compra-venta automática de acciones sin intervención humana, o las criptomonedas), la defensa (como los drones no tripulados, o las ahora en boga Lethal Au-tonomous Weapon Systems o LAWS) o las salud (ej. Sistemas de detección predictiva de enfermedades) son algunos usos específicos que tanto a nivel internacional como nacionales tienen algún tipo de regulación pero que han sido necesarias para resolver una realidad sobrepasada y que no necesaria-mente corresponden a una solución a futuro. Mucho como el dicho mexicano

“Muerto el niño, a tapar el pozo”.

3. Sobre la Filosofía de la Experiencia Jurídica

Después de vislumbrar la relación tan limitada que existe entre Derecho e Inte-ligencia artificial, como segundo antecedente es importante exponer en breve la corriente de la Filosofía de la Experiencia Jurídica puesto que es la base iusfilosófica y metodológica para continuar con este estudio. Paralelamente, dado que no es una corriente conocida en América latina por ser enarbolada principalmente por autores italianos –como son Giuseppe Capograssi o Sergio Cotta– con alguno que otro español –como Jesús Ballesteros o Fernando H. Lla-no– tratarlo como un antecedente de contexto resulta todavía más importante.

Estos autores definen la “Experiencia Jurídica” como una amalgama, “como una perplejidad que causa en quienes lo estudian, la enorme variedad de enfoques e interpretaciones doctrinales que del mismo podrían hacerse”13, lo que nos obliga a decantarnos por una postura, la cual corresponderá a aquella que expone Fernando H. Llano en su Libro El formalismo jurídico y la Teoría Experiencial del Derecho. Dado que el autor al hacer un recuento de todos estos diferentes derroteros decide sintetizar la idea de Experiencia Jurídica como “al

13 Llano Alonso, Fernando H. El formalismo jurídico y la Teoría Experiencial del Derecho. España. Tirant Lo Blanch, 2009 ISBN 978–84–9985–511–0, p. 50





62

menos […] una reflexión crítica, explicativa y omnicomprensiva de la realidad que está ligada a la problemática inherente a la propia existencia del Derecho como fenómeno”14 entonces –la Filosofía de la Experiencia Jurídica– no puede ser considerada una escuela ni una doctrina institucionalista, realista o socio-lógica ya que su leitmotiv responde a “una visión del Derecho que abarque su entero desenvolvimiento desde su génesis en la conciencia individual, para a través de su plasmación consuetudinaria y legislativa, su individualización judicial, arribar a su elaboración crítica por la doctrina”.15

Así podemos simplificar que la experiencia jurídica es una forma no solo de estudiar y conocer el derecho, sino que implica vivir el derecho, concebirlo como un fenómeno con un devenir propio que nace en las ideas del ser huma-no. Estas ideas no son espontáneas, sino que como todo lo humano, tienen un peso en la realidad, en la crítica, en la explicación, en la imaginación de éste, las cuales serán plasmadas de forma práctica en los usos sociales, culturales o también tomadas por un legislador, juzgador, jefe de estado o incluso un supe-rior cualquiera (no necesariamente de gobierno) y ser impuestas como normas, principios, o resoluciones que afecten y transformen la vida social, económica, cultural según su nivel de influencia.

Por tanto, este modo de vida del Derecho obliga al estudio fenomenológi-co de la realidad que permite al ser humano inspirar su idea del derecho; que permite utilizar todos los medios usados –sus fuentes– para conformar, com-prender y exponer aquello que transformará y orientará a la realidad social, cultural, económica, política en la que la persona convive y participa.16

Sergio Cotta expresa con mucha elocuencia esta expresión, tanto así, que el propio Fernando Llano retoma esta idea en su libro citado anteriormente: “El conocimiento del objeto del Derecho y el conocimiento del sujeto viviente de modo jurídico se implican recíprocamente y esta coimplicación de ambos es la que nos permitirá llegar a la comprensión del sentido del Derecho”.17 Sentido que nos permitirá en el propósito de este trabajo no solo conocer la necesi-dad del Derecho y su transformación con la Inteligencia artificial en el caso

14 Ibidem, p. 11115 Cita de Perez Luño en Llano Alonso, Fernando H. El formalismo… op. cit., p. 112 En otras palabras, la Filosofía de la Experiencia Jurídica no está catalogada como un pensamiento uniforme sino como una forma de concebir el Derecho desde cualquiera de las escuelas y doctrinas que comprenden al Derecho como una Ciencia Práctica.16 El término “vivir el derecho” es muy usado por la Filosofía de la Experiencia Jurídica con el fin de ejemplificar esta dimensión práctica y fenomenológica. Sabiendo que el Derecho nace de la sociedad, por tanto, se desarrolla en la sociedad y para la sociedad como un fenómeno más el cual tiene inspiraciones y necesidades que nacen de lo propio del ser humano.17 Llano Alonso, Fernando H. El formalismo… op. cit., p. 220





63

específico, sino también –conocer y– cómo utilizar las fuentes de inspiración que nos permitan vivir la experiencia jurídica que es la Inteligencia Artificial.

Tal afirmación permite comenzar a responder la pregunta que plantea este antecedente: ¿Cómo puede estudiar esta corriente filosófica la Inteligencia Ar-tificial? Hagamos reingeniería inversa para expandir y ligar una con otra a expensas que podamos obtener una observación más adelante.

Si decimos que la Inteligencia Artificial es susceptible de ser pensada, cri-ticada, o comprendida de forma racional –tanto así que es una disciplina de la ingeniería computacional– y que este estudio tiene o puede tener incidencia en la realidad –mejor llamada tecnología–, por tanto, tiene una consecuencia que repercute de alguna forma en el Derecho. Lo anterior significa entonces que estamos ante un fenómeno que se vive en la sociedad o la cultura con múlti-ples expresiones, una de las cuales necesariamente es legal, por tanto, según nuestra definición anterior es definible la IA como una Experiencia Jurídica.

Otra manera de ejemplificar ello está dicho por Granfield en La experien-cia interna del Derecho, que para conocer el sentido del Derecho en un inicio se necesita tener datos proporcionados por los sentidos además de concien-cia y luego una interacción con otro sujeto.18 En un primer acercamiento esto no tendría una relación, sin embargo si entendemos que esta conciencia y los sentidos son otro modo de concebir la Experiencia Jurídica, entonces estamos ante una metodología de creación de experiencia que nos es más palpable a la normalidad humana. Este acercamiento por los sentidos y la conciencia que te-nemos de ella es manera de reelaborar lo mismo que hemos dicho, pero que nos permite agregar un nuevo derrotero y que es de total relevancia para el trabajo.

Una aseveración que podemos realizar casi indefectiblemente, sobre la conciencia de la población y cómo se percibe en lo cotidiano la Inteligencia Artificial, es que gran parte de las ideas que se han realizado en esta área nacen de la tecnología existente actualmente, sistemas como Alexa de Amazon o Siri de Apple. Pero que, como sabemos nacen de ideas preconcebidas en la ciencia ficción que “puede ser definida como aquella rama de la literatura [e incluya-mos aquí también al cine] que trata sobre las reacciones de los seres humanos a los cambios en la ciencia y la tecnología.”19

Sin embargo estas reacciones no nada más han servido como “intención deliberada de predecir aquello que ha de ocurrir realmente”20, dijo Asimov, sino

18 Granfield, David. La experiencia interna del derecho. Una jurisprudencia de la subjetividad. México, Catholic Uni-versity of America / Universidad Iberoamericana, 1996, ISBN 968–859–228–5 p. 8919 Asimov, Isaac. Asimov on Science Fiction. EUA, Harper Collins Publishers, 1983, ISBN 978–02–4612–0441 p. 5920 Ibid





64

como una avenida tanto de creatividad como de expresión [que ha resultado en que] la literatura y los medios de Sci–Fi han impulsado avances en tecnología interactiva y han probado ser una fuente clave de inspiración para los investigadores en el campo de la tecnología computacional21

Lo que quiere decir, para ponerlo en el lenguaje que se ha estado usando, que la Ciencia Ficción en vez de ser una expresión de la experiencia del avance tec-nológico, se ha convertido en la fuente de experiencia para la creación de ese desarrollo. Se ha transformado en el medio de divulgación, de concientización y de captación de las ideas sobre tecnología y por ende, el conducto para que tanto investigadores como público en general vivan esta nueva realidad fabricada.

Teniendo en cuenta todo esto, podemos concluir que si la Inteligencia arti-ficial –como disciplina– es una experiencia que nace en su inspiración o tiene mucho de su fuente en la Ciencia Ficción, entonces el estudio de ésta, desde un punto de vista iusfilosófico experiencial, puede –y debiera– ser fundamento para que el Derecho cumpla su sentido ante la realidad vivida hoy en día.

4. La necesidad de principios jurídicos

Siguiendo la ruta discursiva sobre cómo el Derecho puede tener un mejor acer-camiento al fenómeno de la Inteligencia Artificial, surge la necesidad de hablar de la que para este autor es su mejor herramienta: Los principios jurídicos.

Al hablar de Principios Jurídicos es imprescindible hablar un poco de la noción expuesta por el profesor de la Universidad de Oxford, Ronald Dworkin quien fue el principal impulsor de esta Teoría del Derecho como una forma de superar el positivismo instaurado por Kelsen y puesto, quizá, en su máxima expresión por H.L.A Hart.

Para el sucesor de Hart, en la Cátedra de Filosofía del Derecho (Jurispru-dence en inglés), los principios jurídicos son

estándares, que no son normas, y que han de ser observados, no porque favorezcan o aseguren una situación económica, política o social que

21 Jordan, Philipp; Mubin, Omar; Obaid, Mohammad & Sila, Paula A. “Exploring the referral and Usage of Science–Fiction in HCI Literature”. En Marcus, Aaron & Wang, Wentao (Eds.) Design, user experience, and usability: Designing Intearctions, Tomo II, EUA, Springer, ISBN 978–3319918020 p. 19





65

se considera deseable, sino porque es una exigencia de la justicia, la equidad o alguna otra dimensión de la moralidad.22

El origen de los principios, por tanto, escapa de la convencionalidad del sis-tema positivo o de lo considerado como norma y lo tiene en la ambigüedad que presenta resolver el caso concreto –cada quién lo que le corresponde reza aquella definición de Ulpiano sobre el Derecho y la Justicia–. Así también, su validez depende indefectiblemente del contenido que conllevan y sirven como directriz en la toma de decisiones más que como un supuesto específico con una carga económica y política definida.23

Con el paso del tiempo su propia ambigüedad ha llevado a entender que existen dos sentidos en cómo comprender la idea de principios jurídicos. Los principios denominados como “fuertes” son aquellos estándares cuyo conteni-do está inmersamente relacionado con “aquello primero desde o a partir de lo cual algo es, se hace o se conoce”24 como cita Vigo de la Metafísica de Aristóte-les, es decir son los derechos que están ligados a la constitución, identificación o reconocimiento de algo como jurídico y cuyo principal enfoque actual se da en los derechos humanos. Debido a esto, son una realidad que, aún a pesar de la norma, son reconocidos como derecho y deben ser observados como priori-dad o fundamento de toda decisión tanto jurisdiccional, como administrativa o inclusive cualquier decisión particular y/o personalmente jurídica.

Por otro lado, están aquellos principios jurídicos denominados “débiles” que refieren más a “un papel de ‘principios’ respecto a otras normas o a otros principios más débiles en virtud de haberlo dispuesto así alguna decisión au-toritativa” o en su caso, “constituidos como tales a consecuencia de algún acto humano con capacidad para ello”25. Esta decisión autoritativa o capacidad del

22 Cita de Ronald Dworkin en Vigo, Rodolfo L. Interpretación Jurídica: del modelo iuspositivista legalista decimonó-nico a las nuevas perspectivas. Argentina. Rubinzal. 1999, ISBN 978–950–727–197–7, p. 132 El capítulo del libro de donde se extrae llamado “Teoría distintiva “fuerte” entre normas y principios jurídicos” puede buscarse en su versión original dentro del libro coordinado por Massini, Carlos I. El iusnaturalismo actual. Argentina, Abeledo–Perrot, 1996, ISBN 950–20–0957–623 Dworkin y sus seguidores desarrollaron la noción de Principio Jurídico, bajo la base de ser una fuente del derecho aplicable de forma abstracta sustentada en valores externos al derecho positivo. Es decir, como un estándar que debiera seguir el derecho para buscar la justicia en el caso concreto, recayendo su validez en el propio contenido ético que rige la relación humana y no en el interés político, social, económico y normativo del derecho positivo.24 Cita de Aristóteles Vigo, Rodolfo L. “Los principios jurídicos y su impacto en la teoría actual.” En Vigo, Rodolfo L. La interpretación (argumentación) jurídica en el Estado de Derecho Constitucional. México, Tirant Lo Blanch, 2017, ISBN 978–84–9169–616–2 p. 14425 Ibidem, p. 145





66

acto humano no es exclusiva de una autoridad sino que también apela a cual-quier relación jurídica que requiera ese elemento de justicia, moralidad, etc.

En definitiva, ambos enfoques pueden ser considerados como un esquema de regulación no normativa, que viene derivado de un contenido sea funda-mental, sea decisorio o una actividad humana con consideración jurídica y que conlleva la función de “fundamentar el ordenamiento jurídico, orientar en la operatividad al derecho vigente y ser fuente supletoria o integradora del ordenamiento”26

Sin embargo ¿Qué hace de los principios la mejor herramienta jurídica para relacionar el Derecho con los apartados anteriores sobre inteligencia arti-ficial, experiencia jurídica y lo expuesto en un inicio como quehacer jurídico y Ciencia Ficción? Respondamos esta cuestión en partes.

La primera parte refiere a la eminente practicidad que implica cada uno de los conceptos de forma común. El objeto de estudio a nivel jurídico que re-presenta la IA no refiere a un objeto conceptual, abstracto o etéreo, sino a una disciplina de la actividad humana (específicamente de la invención humana) que tiene en su nivel técnico un sinfín de aplicaciones, usos y formas, todas relacionadas a la capacidad de aplicar algún tipo de concepción de inteligencia. En segundo término, como ya se dijo, la experiencia jurídica implica la viven-cia factual del derecho, es decir la experiencia práctica del derecho y su estudio conducente, mientras que no podemos descartar al mismo tiempo la definición extendida del Derecho como parte de los saberes prácticos:

Decimos que es práctico, porque dicho saber se compromete con el campo de las conductas y sus reglas a las que orienta, legitima o desca-lifica con argumentos racionales. A diferencia de los saberes teóricos propios de los espectadores, el saber jurídico corresponde a los prota-gonistas en tanto lo que se sabe requiere ciertos comportamientos y desecha otros.27

Estos protagonistas, que son los juristas, implican que su quehacer es eminen-temente práctico. Así en un tercer momento, podemos incluir que los princi-pios jurídicos comparten esta naturaleza puesto que son parte de esas reglas argumentadas de forma racional con un origen en un comportamiento o con-tenido que parte de la praxis humana y que sirve de fundamento, orientación o fuente para la ciencia jurídica.

26 Vigo, Rodolfo L. Interpretación Jurídica: del modelo… op. cit. p. 13927 Ibidem, p. 155





67

Finalmente la Ciencia Ficción, como ya se dijo, es la principal fuente de inspiración en todos sus formatos –literarios, cinematográficos, etc.– para que la disciplina de la Inteligencia Artificial tenga un plausible rumbo en nuestro ambiente, así como la principal exhortación a la realidad tecnológica a la que nos encaminamos con el desarrollo científico día a día, como se citaba a Kas-parov al inicio de este trabajo: “AI is not science fiction it’s the present and will affect more aspects of our lives every day”.28

Una segunda etapa corresponde a su contextualidad. Cada uno de estos conceptos, requiere ser comprendido desde un contexto, pero ante todo debe ser aplicado a un contexto. La experiencia jurídica, así como el quehacer jurí-dico casi son sinónimos de esta idea –por un lado, la vivencia contextual del derecho y la aplicación al caso concreto por el otro–, puesto que se requiere comprender el ambiente donde se desenvuelven necesariamente para poder realizar una valoración racional y en el primer caso poder desentrañar la idea jurídica del hecho estudiado, en el segundo poder darle el sentido justo, equita-tivo, de orden al hecho específico presentado.

Lo mismo sucede con los principios, los cuales, aunque se expresan como abstractos, solo pueden ser aplicados según el orden que se presenta en el mo-mento en que se necesitan, un ejemplo muy común puede ser el principio re-troactividad que solo puede aplicarse si en el momento específico no se violen-ta la seguridad jurídica de un individuo o sus derechos adquiridos.

Asimismo, los principios también comparten esta etapa con la Ciencia Fic-ción. En un inicio y ante una lectura o vista ligera, esta expresión mediática tiene su propio contexto ya sea futurista, utópica, espacial, dimensional, como sea. Sin embargo, sus autores no buscan apelar a que su lectura se dé en esos tiempos ni dimensiones, sino al contexto actual del lector específicamente, por tanto, existen elementos dentro de ella que hacen sentir una familiaridad con los elementos y eventos.

Esto significa a menudo una extrapolación del presente, una extrapo-lación que es tan clara y obvia como pronosticar algo que es inevitable. Cuando esto ocurre, el escritor de ciencia ficción ha hecho efectiva-mente una predicción exitosa.

Habitualmente esto sorprende a casi todo el mundo, porque aún hoy en día la humanidad da por sentado que las cosas no cambian.29

28 2017 OECD AI Conference Welcome Message [en línea]… op. cit.29 Asimov, Isaac. Asimov on Science… op. cit. p. 59





68

De esta forma su contexto se vuelve el nuestro, sus ideas nos apelan y nos inspi-ran emociones, ideas, miedos, se convierten para los viewers parte de su vivencia experiencial de la tecnología lo que lleva a que sean parte de su vida diaria.

En última instancia dejamos a la Inteligencia Artificial, más por una cues-tión de complejidad que porque se deslinde de etapa presente. La tecnología como desarrollo científico siempre tiene un sentido contextual, ya que en su mayoría busca resolver una problemática o necesidad específica, es en sí, una solución técnica al caso concreto. No obstante como la Inteligencia Artificial puede ser aplicada a múltiples casos y puede tener múltiples aplicaciones pa-recería que su contextualidad es tan inagotable que no sería posible su orde-nación, o en términos jurídicos su regulación. Esto sería cierto si únicamente se atendiera esta característica, sin embargo al confluir ésta con la practicidad vemos que el campo se reduce considerablemente lo que permite realmente su valoración jurídica puesto que resultan en experiencias comunes.

Pongamos un ejemplo general y uno específico, que además sirva de ade-lanto del propósito de las etapas. En el universo de Star Wars conocemos a un robot llamado C–3PO, este personaje siempre se introduce bajo el mote “Hu-man–Cyborg relations” en español “Relaciones cibernético–humanas” y tiene la capacidad de traducir seis millones de idiomas, lo que le permite lograr su propósito de generar relación entre diferentes humanos y máquinas, sin em-bargo, este propósito solo se lograría si el propio androide tuviera la capacidad de entender el contexto de los idiomas y no nada más una traducción literal. Así, la funcionalidad de un androide como C–3PO requiere también de una enorme base de datos que permita contextualizar sus protocolos. En nuestra realidad, el ejemplo de descontextualización de una IA lo tenemos con Google Translate, donde la traducción del servicio ha sido objeto de burla por errores de esta índole y que con el paso del tiempo y el nutrido de datos, ha hecho que esta aplicación sea cada vez más eficiente.

Lo mismo sucede cuando extrapolamos no a idiomas, sino a interacciones, la funcionalidad de un robot o de una IA depende necesariamente de la capa-cidad de contextualizar las necesidades del cliente para obtener un resultado lo más acorde posible. Lo que conlleva a que el contexto de datos que requiere es necesariamente proporcional al tipo de funciones que debe realizar. Es decir, su practicidad depende del contexto de los datos que tenga programados y clasificar su forma de ordenación por el tipo de datos que requiere. Esta orde-nación sí es objeto del Derecho, tanto que tenemos como ejemplo la Protección de Datos Personales, donde se ha visto a la IA como medio de obtención de datos. Ahora, si se evalúa detenidamente que estos datos son la herramienta





69

para el funcionamiento de esta rama de la ingeniería computacional, entonces estamos ante un dilema de cómo afecta o influye el contexto de los datos en la practicidad de la máquina.

El principio de No Discriminación o de Igualdad al que se refieren la ma-yoría de las Instrumentos internacionales como la Carta de Naciones Unidas en su Artículo 730 hacen referencia a la no distinción del ser humano bajo ninguna circunstancia pero ¿qué sucede cuando es una máquina la que hace la decisión según los datos presentes en su protocolo que refieren a un contexto específi-co? El principio entonces, ante esta frontera tecnológica adquiere una nueva dimensión, ya que no es nada más aplicable al Poder Público, o a la población en general sino también a la decisión de la IA, por lo que se vuelve labor del Derecho resolver las disyuntivas que de ella surjan.

En resumidas cuentas, al aplicar la contextualidad y la practicidad dentro de la aplicación de la IA a la vida diaria, como características que comparten todos estos elementos, nos damos cuenta que los principios comienzan a verse transformados por ésta, lo que obliga a una nueva interpretación que les per-mita continuar su función gracias a hacer inferencias y resolver ambigüedades ante los casos concretos que se presentan.

Finalmente, una tercera etapa refiere al carácter progresivo. Es indiscutible decir que la tecnología tiene un desarrollo cada vez más acelerado. La discipli-na de la Inteligencia Artificial no es la excepción a este punto, pero tampoco lo es el Derecho y su sentido, si afirmamos que como la experiencia no es estática entonces tampoco lo es la ciencia jurídica y mucho menos la labor del jurista que evoluciona de acuerdo con estos factores anteriores.

Digamos que la Ciencia Ficción también por su propio avance histórico ha tenido un progreso, aunque esta característica remite más bien, a la antici-pación de su avance científico ya sea por predicción como dijo Asimov o por inspiración como lo hemos expresado. En este medio, la ciencia ha tenido un avance que ha traído sus consecuencias buenas y malas para el mundo ficción que la rodea, y que, sin embargo, también están alineadas a los sucesos que ocurren o que se planean en nuestro presente.

Por ello, si el estudio tecnológico en gran medida busca en parte o en todo el progreso planteado por este medio, entonces parte del objetivo del derecho

30 “Todos son iguales ante la ley y tienen, sin distinción, derecho a igual protección de la ley. Todos tienen derecho a igual protección contra toda discriminación que infrinja esta Declaración y contra toda provocación a tal discri-minación” Asamblea General de las Naciones Unidas. Declaración Universal de los Derechos Humanos. 217 A (III) Francia, 10 diciembre 1948 [fecha de consulta 24 enero 2020]. Disponible en: https://www.un.org/es/universal–de-claration–human–rights/





70

sería también prever las consecuencias que este progreso supone. Valga dar un ejemplo muy común y que empieza a ser debate internacional gracias al desa-rrollo de las Lethal Autonomous Weapon Systems o LAWS.

Uno de los principales miedos públicos de la Ciencia Ficción es que las máquinas lleguen a un estado de conciencia y avance tecnológico tal que sub-yuguen a la humanidad coronándose como superiores al ser humano.31 Para esto, las máquinas deben tener por lo general tres características que vemos comúnmente tanto en la literatura como en el cine e incluso en los videojue-gos: a) autonomía total del ser humano de creación, operación y decisión; b) conciencia en su actuar en mayor o menor medida y; c) ver a la humanidad como un daño al mundo o como un enemigo a vencer. Es decir la IA tiene que ser capaz de “ser” completamente sin el humano.32

En cuestión de defensa resalta la autonomía de los sistemas como dro-nes, robots, nanotecnología, que permite evitar las bajas humanas o lograr con mayor precisión los ataques armados. Esto quiere decir que la inversión en la Inteligencia artificial de defensa va muy encaminada a aquellos prototipos de Ciencia Ficción previos a su “Revolución” puesto que no buscan que “sea” sino que “haga” autónomamente. Y si tecnológicamente ese es el camino que está tomando la tecnología, ¿no debería el derecho seguirle la pista sabiendo, por la Sci-Fi, que algunas decisiones pueden ser un verdadero perjuicio para el ser humano? Con esto, en opinión de este autor, no significa que no exista una oposición internacional a su creación gracias a los principios de Paz y No Vio-lencia, sino que la falta de perspectiva del Derecho ha logrado que su desarrollo ya sea amplio, sin reglas ni justificaciones claras regresando a la idea que se había planteado del dicho mexicano.

Siguiendo entonces, estas tres etapas planteadas de practicidad, contex-tualidad y progresividad, como características que tiene la interdisciplinarie-dad del Derecho ante la experiencia jurídica que se le presenta con el avance de la Inteligencia Artificial, observamos que los principios del derecho entonces también tienen algo de progresivo gracias a su interpretación. Sin embargo, los principios también tienen un núcleo inamovible que permite su duración a lo largo del tiempo y por encima de cualquier ordenamiento jurídico. El propio

31 Este miedo generalizado lleva el nombre de “complejo de Frankenstein” en honor a la novela homónima de Mary Shelly.32 Algunos de los ejemplos más famosos los encontramos el cine: 2001 Una odisea al Espacio de Stanley Kubrick, Terminator de James Cameron, Blade Runner de Ridley Scott o Matrix de los hemanos Wachowski. En la Literatura: Frankestein de Mary Shelly. En otros medios como videojuegos: NieR: Automata de Platinum Games y Square Enix, Horizon Zero Dawn de Guerrilla Games o Portal de Valve Corporation y Electronic Arts.





71

Vigo en una relectura de Dworkin dicta que lo inamovible de estos recae en que su origen no está sujeto a la disposición de una autoridad, sino a aquellas “exi-gencia[s] de la justicia, la equidad o alguna otra dimensión de la moralidad”33, y que su propósito de dirigir o brindar una razón al jurista es suficiente para su validez y continuidad en el Derecho en tanto que “permanecen formando parte del mismo mientras se les estime convenientes o justos en la determinación de derechos y deberes”34 o mejor dicho, que sigan cumpliendo su triple función de fundamentadores, orientadores y como fuente integradora.

Función que se vislumbra necesaria ante el panorama sobrepasado de lo que representa la Inteligencia Artificial como experiencia jurídica y cuya inspiración de interpretación debería provenir de la lectura iusfilosófica de la Ciencia Ficción.

5. Un ejemplo en la Tres Leyes de la Robótica

A manera de conclusión de este trabajo, pongamos a prueba esta relación entre elementos con uno de los emblemas de la Ciencia Ficción: las famosas Tres Leyes de la Robótica expresadas por Isaac Asimov en su relato Runaround de 1942.35

El relato inserto dentro del libro Yo, robot, sirve como médula de la re-lación que existe entre la sociedad humana y la robótica dentro del contexto avanzado de una sociedad humana que está en la etapa de exploración espacial. Específicamente Runaround se contextualiza durante la exploración al planeta Mercurio de dos personajes y un robot, con el objetivo de evaluar la reapertura de una Estación Minera en ese planeta diez años después de su cierre.

De igual manera, el texto describe la situación que enfrentan estos científi-cos ante un comportamiento anormal del robot llamado Speedy que servía a ellos como instrumento esencial de recolección puesto que su constitución mecánica estaba diseñada para soportar las altas temperaturas de la superficie mercuriana.

Hasta este momento, el contexto general y la relación con la actualidad en que se vive hoy en día tienen poco o nada de común, incluso menos si se

33 Vigo, Rodolfo L. Interpretación Jurídica: del modelo… op. cit. p. 13434 Ibidem, p. 13635 Para este estudio se ha usado a modo de citación la versión en español del relato distribuida por el Instituto de Formación Tecnológica, gracias a que está disponible en el siguiente sitio: http://inteligenciaeducativa.net/des-cargas/runaround.pdf. Sin embargo, las versiones utilizadas para formular los pensamientos aquí plasmados son Asimov, Isaac. Yo, Robot. México, Editorial Sudamericana, 2004 ISBN 978–97–0780–247–6 y Asimov, Isaac. I, robot. EUA, Penguin Random House, 2008, ISBN 978–0–553–38256–3 dado que se tuvo la oportunidad de leerlos y con-versarlos pero no la posibilidad de usarlos para realizar las citas correspondientes.





72

anticipa que para Asimov este relato ocurría en 2015, cinco años antes de la fecha de este estudio.

No obstante, un pequeño detalle sale a relucir al momento de su relectura: “Tecnológicamente hablando, incluso diez años significan mucho. […] Pero el adelanto en robótica de aquellos días era tremendo.”36 Efectivamente, esta es una afirmación aplicable de forma general a nuestra realidad y en específico si sustituimos robótica por Inteligencia Artificial a nuestro caso. Incluso una coincidencia así está muy lejos de ser una justificación del carácter que preten-de este estudio.

Por tanto dejemos de lado el contexto general del relato y centremos las si-guientes líneas en este emblema que representan las Tres Leyes. El propio Asi-mov desde la conversación de los personajes enseña cuáles son estas tres leyes:

Tenemos: Una, un robot no puede hacer daño a un ser humano, o por medio de la inacción, permitir que un ser humano sea lesionado […] Dos, un robot debe obedecer las órdenes recibidas por los seres humanos ex-cepto si estas órdenes entrasen en conflicto con la Primera Ley. […] Y tres, un robot debe proteger su propia existencia en la medida en que esta protección no sea incompatible con la Primer o la Segunda Ley.37

A nivel técnico, según la conversación del texto existe una distinción entre el peso que tiene para la máquina cada una de estas leyes, empezando desde la última hasta la primera.

El conflicto entre las varias reglas es allanado por los diferentes po-tenciales positrónicos del cerebro. Digamos que un robot se está diri-giendo a un peligro y lo sabe. El potencial automático que establece la Regla 3 le hace retroceder. Pero imagínate que le ordenas que vaya a ese peligro. En este caso, la Regla 2 establece un contrapotencial mayor que el anterior y el robot sigue las órdenes arriesgando la existencia. […] De acuerdo con la Regla 1, un robot no puede ver cómo a un huma-no le sucede algo malo […] La dos y la tres no pueden nada ante ello.38

36 Asimov, Isaac. El círculo vicioso (Runaround – 1942). Inteligencia Educativa. Instituto de Formación Tecnológica. [fecha de consulta 4 febrero 2020]. Disponible en: http://inteligenciaeducativa.net/descargas/runaround.pdf p. 337 Ibidem, p. 13.38 Ibidem, p. 13 y 18.





73

Esta configuración se puede resumir en que existe para un robot una relación entre los términos de supervivencia propia (Regla 3), ordenanza humana (Re-gla 2) y bien humano (Regla 1) y que necesariamente se encuentran en ese orden jerárquico de menor a mayor importancia.

Para Asimov, estos son los tres niveles de valoración que debe seguir todo ente robótico o imbuido con inteligencia artificial. Lo que consigna a entender estas tres normas técnicas como axiológicas en un sentido amplio, puesto que presentan una decisión entre un actuar considerado acorde –dígase bueno– a las leyes o contrario a éstas –es decir malo–.

De tal modo, las tres leyes sirven como parámetro de lo que puede o no puede hacer un robot de forma práctica lo que de manera drástica implicaría desde la primera regla, la ausencia de daño intencionado u ordenado a otro ser humano. Sin obedecer a dilemas morales como presenta muchas veces la ética, ante situaciones de doble efecto por considerar un ejemplo. Igualmente, sirven de parámetro sobre los tipos de configuración que debe tener un sistema a nivel programación ya que esto definiría la amplitud o especificidad de la tarea a realizar.

Ahora, si a esta practicidad agregamos la característica de contextualidad y de progresividad, podemos bosquejar algunas ideas de cómo la aplicabilidad a casos concretos de lo dicho por Asimov asemeja más a toda una experiencia

–actual o hipotética– donde el derecho tiene una injerencia.Regresemos para ello a uno de los ejemplos puestos en este recorrido. Pri-

meramente las LAWS son como ya se dijo una realidad a la que el Derecho no le ha puesto la suficiente atención. Éstas, si las vemos respecto a Las Leyes de Asimov, son completamente opuestas a la primera y segunda regla dado que el propósito de esta tecnología es justo hacer un daño a una persona humana por orden expresa de otro ser humano. Viéndolo desde la perspectiva y experien-cia de este autor de Sci–Fi, entonces una obligación del Derecho tendría que ser la total prohibición de este tipo de aplicaciones ante la contradicción que representa a la robótica, incluso esta prohibición tendría que darse desde su desarrollo puesto que es en la programación donde se daría la inconsistencia.

Esta inconsistencia se da en la propia concepción de Las Leyes ante el funcionamiento progresivo de la máquina. Para que un robot pueda cumplir cabalmente el propósito de las LAWS la primera ley debe verse a la inversa de cómo fue planteada “un robot puede hacer daño a un ser humano” sin embar-go, no es un interés que cualquier ser humano pueda ser dañado sino solo un grupo específico de individuos, entonces la ley debe expresarse de esta forma

“un robot no puede hacer daño a algunos seres humanos” ya que desde la lógica





74

computacional plantearlo como “un robot puede hacer daño a algunos seres humanos” deja la posibilidad de dañar o no al grupo lo que sería un factor para que el LAWS no realice su misión. En cambio, la negación de un grupo a ser atacado excluye la variable de posibilidad diferenciando a aquellos que sí deben de aquellos que no deben ser atacados, es decir, la máquina tendría un criterio de discriminación entre unos y otros obligando a que sea mucha mayor su certeza para no ir en contra de su protocolo.

Al mismo tiempo, ninguna de estas formas de redacción es suficiente para cumplir el imperativo expuesto por Asimov, por lo que para lograr el cometido de que las LAWS cumpla con la regla el cambio no debe ser en la redacción de la norma sino en su fondo, específicamente en el significado de ser humano.

Si generalizamos la idea de persona humana a cualquier ente que cumpla con las características homo sapiens entonces el objetivo de las LAWS no po-dría cumplirse, sin embargo, si le quitamos la característica de ser humano a un grupo de individuos entonces sí, la regla puede ser cumplida puesto que ese grupo para la máquina ya no sería parte de la prohibición sino otra cosa –por usar la terminología popular ante el fenómeno de la guerra–, los monstruos.

Si vemos desde el Derecho esta experiencia gramatical descrita en el con-texto de las LAWS vemos entonces ciertas equivalencias con algunos princi-pios fundamentales. En primer lugar, si vemos desde el principio de seguridad jurídica las cuatro posibles estructuras, vemos entonces que la primeramente planteada y la tercera por el calificativo de ser posibilidades abiertas, genera-rían una incertidumbre o laguna sobre cuándo es aplicable o no el daño a la persona o al grupo y peor aún si a esto agregamos la posibilidad de la orden dada por otro ser humano, ya que sería no nada más la ambigüedad de aplica-ción, sino también la ambigüedad de –principio de– legitimidad de una perso-na para dar la orden.

Este galimatías del principio de seguridad jurídica no es comparable al que se genera si se evalúan los LAWS y a Asimov ante el principio de Igualdad o de No Discriminación. Para este principio la primera de las aseveraciones es una incierta igualdad entre los posibles afectados, ya que no existe una discri-minación y dependería de la vista del humano que ordena y la normatividad secundaria definir quien merecería ser o no dañado por la máquina o por la orden humana. Esto no es así con las otras tres aseveraciones pues la segunda, por su parte, propone una inequidad clara entre quienes sí pueden ser violen-tados y quienes no –y que si se contextualiza a la aplicación práctica de los LAWS–, esto significaría dañar a los enemigos y no dañar a los compañeros. En este sentido la tercera de las exposiciones no es tan tajante puesto que deja





75

abierta la posibilidad para una decisión de si dañar o no al contrario, pero que generaría una ambivalencia entre las leyes puesto que dependería de los proto-colos de discriminación o de la orden humana un posible resultado. Finalmente y quizá el más contrario al principio sería el cuarto de los enunciados, puesto que significaría eliminar la igualdad entre las personas por medio del derecho a la dignidad humana de aquellos considerados enemigos para que puedan estar fuera de la Primera Ley, e incluso poder ordenar con justificación su daño cuando atendemos a la realidad de la segunda Ley.

En resumen, pasar por el crisol de las tres Leyes de la Robótica la aplica-ción de IA en las Lethal Autonomous Weapon Systems muestra que no existe forma alguna en la que sean compatibles, por lo que si el Derecho utilizara como fuente este emblema de la Ciencia Ficción para evaluar la juridicidad de la experiencia actual que representan las LAWS, poco quedaría en duda que és-tas van en contra de los principios más esenciales del Derecho y que, por tanto, su limitación y/o regulación es una tarea no pendiente, sino urgente a corregir por la Ciencia Jurídica.

Así pues, hablando desde la corriente iusfilosófica expuesta, la herramien-ta que puede representar al Derecho de la Ciencia Ficción ante una experiencia como el avance tecnológico, específicamente de la Inteligencia Artificial, no solo permite al jurista hallar una solución al caso concreto sino que muestra una faceta de la transformación que está sufriendo su profesión y que si no es capaz de limitar, incentivar, regir o corregir por su propio espíritu, será esta ex-periencia jurídica la que limite, incentive, rija o corrija lo que significa Derecho en el devenir histórico.

6. Bibliografía

Asamblea General de las Naciones Unidas. Declaración Universal de los Derechos Hu-manos. 217 A (III) Francia, 10 diciembre 1948 [fecha de consulta 24 enero 2020]. Disponible en: https://www.un.org/es/universal–declaration–human–rights/

Asimov, Isaac. Asimov on Science Fiction. EUA, Harper Collins Publishers, 1983, ISBN 978–02–4612–0441

—————, El círculo vicioso (Runaround – 1942). Inteligencia Educativa. Instituto de For-mación Tecnológica. [fecha de consulta 4 febrero 2020]. Disponible en http://inteligenciaeducativa.net/descargas/runaround.pdf.

Borge, Iván Mateo. “La robótica y la inteligencia artificial en la prestación de servicios jurídicos” En Inteligencia Artificial, Tecnología y Derecho. España, Tirant Lo Blanch, 2017, ISBN 978–84–9169–720–6, p. 123–150





76

Buchanan, Bruce G. & Headrick, Thomas E. “Some speculation about artificial intelli-gence and legal reasoning”, Stanford Law Review, Volumen 23, No. 1, año 1970, noviembre, p. 40–62

Buchanan, Bruce G. “A (Very) brief history of Artificial Intelligence”, AI Magazine, American Association for Artificial Intelligence (AAAI), Volumen 26, No. 4, año 2006, invierno 2005, p. 53–60

Casanovas, Pompeu “Inteligencia Artificial y Derecho: a vuelapluma”, Teoría y dere-cho: revista de pensamiento jurídico. No. 7, año 2010, p. 203–222. Versión del autor disponible en Researchgate.net

Granfield, David. La experiencia interna del derecho. Una jurisprudencia de la subje-tividad. México, Catholic University of America/ Universidad Iberoamericana, 1996, ISBN 968–859–228–5

Jordan, Philipp; Mubin, Omar; Obaid, Mohammad & Sila, Paula A. “Exploring the refe-rral and Usage of Science–Fiction in HCI Literature”. En Marcus, Aaron & Wang, Wentao (Eds.) Design, user experience, and usability: Designing Intearctions, Tomo II, EUA, Springer, ISBN 978–3–319–91802–0, p. 19–38 Versión del autor disponible en Researchgate.net

Krausova, Alzbeta. “Intersections between Law and Artificial Intelligence” Internatio-nal Journal of Computer (IJC), Volumen 27, No. 1, año 2017, p. 55–68. Versión del autor disponible en Researchgate.net

Llano Alonso, Fernando H., El formalismo jurídico y la Teoría Experiencial del Derecho. España. Tirant Lo Blanch, 2009, ISBN 978–84–9985–511–0

OECD, “AI Conference Welcome Message” [en línea]. En Going Digital. AI Inte-lligent machines, Smart policies. 26 octubre 2017 [fecha de consulta 20 diciembre 2019]. Disponible en: https://www.oecd.org/going–digital/ai–intelligent–machines–smart–policies/conference–agenda/

Vigo, Rodolfo L. “Los principios jurídicos y su impacto en la teoría actual.” En Vigo, Rodolfo L. La interpretación (argumentación) jurídica en el Estado de Derecho Constitucional. México, Tirant Lo Blanch, 2017, ISBN 978–84–9169–616–2

Vigo, Rodolfo L. Interpretación Jurídica: del modelo iuspositivista legalista de-cimonónico a las nuevas perspectivas. Argentina. Rubinzal. 1999, ISBN 978–950–727–197–7




77


Impacto y regulación de la Inteligencia Artificial en el ámbito sanitario*Artificial Intelligence impact and regulation in the healthcare field

Karina Ingrid Medinaceli Díaz**Moisés Martin Silva Choque***

resumenLa evolución de la historia clínica electrónica del paciente ha permitido en los últimos años aplicaciones informáticas desde el registro en sistemas de información hasta la aplicación de Inteligencia Artificial en grandes repositorios de datos facilitando el uso de aprendizaje automático y profundo facilitando la identificación de patrones para diagnósticos, tratamientos, aplicaciones farmacéuticas, entre otras. Este conjunto de información y modelos computacionales disponibles de manera pública o privada presenta riesgos y beneficios en el ámbito de la aplicación del Derecho; por ello es que se realiza un estudio de manera clara de cómo se maneja esta información desde un punto de vista doctrinal, las propuestas que existen en el ámbito internacional como son el marco europeo o latinoamericano, tomándose los criterios de seguridad informática que coadyuven a la anonimización de los datos del paciente, de esta manera se tiene un marco general y propositivo de los ámbitos a ser tratados con la información del paciente.

palabras clavesInteligencia Artificial, historia clínica electrónica, datos de salud, anonimización, derechos humanos.

abstractThe evolution of the patient’s electronic medical record (EMR) has allowed, in recent years, computer applications from the registration in information systems to the application of Artificial Intelligence in large data repositories, allowing the use of Machine Learning and Deep Learning, facilitating the identification of patterns for diagnoses, treatments, pharmaceutical applications, among others. Big Data is producing a revolution in the healthcare field with the possibility of handling huge amounts of data, analyzing them and drawing conclusions, taking into account information security criteria that contribute to the anonymization of patient data. International organizations for the protection of human rights are taking measures to investigate the impact of Artificial Intelligence by preparing recommendations in Europe and Latin America, thus an investigation of the doctrine is carried out in order to have a general and purposeful framework for areas to be treated with patient information.

keywordsArtificial Intelligence, Electronic Medical Record, Health Data, Anonymization, Human Rights

*Artículo de Investigación postulado el 17 de mayo de 2020 y aceptado el 28 de octubre de 2020**Docente investigadora en la Facultad de Derecho y Ciencias Políticas de la Universidad Mayor de San Andrés, Bolivia. ([email protected]) orcid.org/0000-0002-8269-4733***Doctorando en la Universidad Mayor de San Andrés, Bolivia. ([email protected]) orcid.org/0000-0003-2417-4833




K A R I N A I N G R I D M E D I N A C E L I D Í A Z , M O I S É S M A R T I N S I L V A C H O Q U E

78

SUMARIO1. Introducción2. Inteligencia Artificial en la historia clínica electrónica (HCE)3. Big Data e Inteligencia Artificial en el ámbito de la salud4. Técnicas de anonimización para el Big Data y la Inteligencia Artificial5. Inteligencia Artificial, aprendizaje automático y aprendizaje profundo en el ámbito de

la salud6. Beneficios y riesgos de la Inteligencia Artificial en el ámbito sanitario 7. Tendencias de regulación de la Inteligencia Artificial en el ámbito sanitario8. A modo de conclusión9. Referencias

1. Introducción

Las primeras referencias de aplicaciones médicas en el campo de las ciencias de la computación datan de 1950. Aplicaciones como ELIZA diseñada por el Insti-tuto Técnico de Massachusetts (MIT) entre los años 1964 y 1966, permitieron, a través de una lógica computacional, diagnosticar cierto tipo de enfermedades; así fueron surgiendo términos como informática médica, medicina informática, procesamiento electrónico de datos médicos, procesamiento automático de da-tos médicos, procesamiento de información médica, ciencia de la información médica, ingeniería de software médico y de medicina.1

Los expertos y autores del libro Inteligencia Artificial: un enfoque mo-derno, indican que existen tres tipos de Inteligencia Artificial: 1) Sistemas que piensan como humanos, 2) Sistemas que actúan como humanos, y 3) Sistemas que actúan racionalmente,2 estas definiciones dieron paso a múltiples aplica-ciones desde los agentes inteligentes hasta la neurociencia.

Actualmente, con el uso de las tecnologías de la información y las comuni-caciones (TIC) se aprovechan los avances tecnológicos facilitados, en algunos casos, con el uso de satélites de órbita baja para proveer conectividad a las clínicas remotas, utilizando así la telemedicina abarcando aspectos tales como educación sanitaria, gestión de pacientes y administración.3 Otro aspecto in-

1 Collen Morris F. “Origins of medical informatics”, The Western journal of medicine, 1986, Vol. 145, pp. 778-785, [Consultada 15 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1307150/pdf/wes-tjmed00160-0042.pdf2 Russell Stuart, Norvig Peter, artificialInteligencia Artificial: un enfoque moderno. Pearson Educación, 2004, Colec-ción de Inteligencia Artificial de Prentice Hall.3 Martínez Ramos Carlos, “Telemedicina. Aspectos Generales”, 2020, [Consultada 06 de mayo de 2020], Disponible en: http://www.revistareduca.es/index.php/reduca/article/viewFile/7/4C3%B3n%20de%20est%C3%A1ndares%20de%20calidad.pdf




I M P A C T O Y R E G U L A C I Ó N D E L A I N T E L I G E N C I A A R T I F I C I A L E N E L Á M B I T O S A N I T A R I O

79

teresante son los robots que utilizan Inteligencia Artificial, los cuales pueden ofrecer un apoyo clínico en la toma de decisiones o apoyar al paciente en su interacción con la sociedad o mejorar habilidades.4

La Inteligencia Artificial está apoyando a los médicos, no reemplazándo-los, dado que las máquinas carecen de cualidades humanas como la empatía y la compasión. Por otro lado, no se puede esperar que los pacientes confíen en una computadora, por lo cual la Inteligencia Artificial maneja tareas que son esenciales y limitadas en su alcance para dejar la responsabilidad principal del manejo del paciente a un médico humano.5

En medicina la Inteligencia Artificial se presenta como una valiosa herra-mienta para los profesionales del área, al optimizar los procesos de prevención, diagnóstico y tratamiento de enfermedades.6 Es necesario contar con un gran volumen de bases de datos actualizadas para que las aplicaciones tengan un mayor grado de certeza, mayor nivel de credibilidad y capacidad de predicción. La Inteligencia Artificial facilita una mayor accesibilidad, relevancia y capaci-dad de acción de la información de salud.7

Los datos personales son esenciales para la Inteligencia Artificial porque se han convertido en un insumo crucial para el funcionamiento de algunos sistemas de Inteligencia Artificial.8 La Unión Europea puede tener un impacto a nivel internacional en lo que se refiere a los estándares que debe cumplir la Inteligencia Artificial, como ya ha ocurrido en el ámbito de la protección de datos9 con la promulgación del Reglamento General de Protección de Datos. Se debe tener la responsabilidad de asegurar que las leyes y los reglamentos

4 Diehl Joshua J., Schmitt Lauren M., Villano Michael, Crowell Charles R., “The Clinical Use of Robots for Individuals with Autism Spectrum Disorders: A Critical Review.”, Research in autism spectrum disorders, 2012, vol 6, pp. 249-262, [Consultada 14 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3223958/5 Buch Varun H., Ahmed Irfan y Maruthappu Mahiben, “Artificial intelligence in medicine: current trends and future possibilities”, The British journal of general practice: the journal of the Royal College of General Practitioners, Marzo 2018, vol 68, pp. 143-144, [Consultada 13 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5819974/6 IOMED, 2020, “Retos de la Inteligencia Artificial en la medicina” [Consultada 30 de marzo de 2020], Disponible en: https://iomed.es/2020/01/08/retos-de-la-inteligencia-artificial-en-medicina/7 Corporación Ruta N., “Informe Nº 1 Inteligencia Artificial en Salud”, Observatorio CT+i, 2018, [Consultada 28 de abril de 2020], Disponible en: https://www.researchgate.net/publication/327751676_Informe_Inteligencia_Artifi-cial_en_Salud8 Red Iberoamericana de Protección de Datos, 2019, “Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial”, 21 de junio de 2019, [Consultada 15 de febrero de 2020], Disponible en: https://www.redipd.org/es/noticias/la-ripd-aprueba-sendos-documentos-sobre-inteligencia-artificial-y-proteccion-de-datos9 Gascón Marcén, Ana, “Derechos humanos e artificial”Inteligencia Artificial”, Setenta años de Constitución Italiana y cuarenta de Constitución Española, Volumen V, pp. 1019-1221, [Consultada: 24/04/2020], Disponible en: https://www.researchgate.net/publication/339687454_Derechos_Humanos_e_Inteligencia_Artificial





80

se mantengan al día con la tecnología y aborden los riesgos potenciales10 de utilizar Inteligencia Artificial en el ámbito de la salud.

2. Inteligencia Artificial en la historia clínica electrónica (HCE)

Las tecnologías de la información y de las comunicaciones se introdujeron en los centros sanitarios a través de equipos de diagnóstico médicos y de los ser-vicios de gestión económico-financiera como la contabilidad o la facturación y la nómina de su personal. Más tarde, se desarrollaron aplicaciones para los servicios clínico-administrativos, como la gestión de camas, la cita previa de consultas externas, o la gestión del archivo de historias clínicas, a estas aplica-ciones siguieron los programas de codificación de los sistemas de clasificación de pacientes. El siguiente paso ha sido la informatización de la historia clíni-ca,11 que supone introducir las TIC en el núcleo de la actividad sanitaria, como es el registro de relación entre el paciente y los médicos y demás profesionales sanitarios que le atienden.

Una de las definiciones más reconocidas de la Historia Clínica Electrónica (HCE) proviene de la Healthcare Information and Management Systems Society (HIMSS):

La HCE es un registro electrónico longitudinal de la información de salud del paciente, generado por una o más interacciones en un entor-no de prestación de servicios médicos. Esta información incluye datos demográficos del paciente, notas sobre su evolución, problemas, me-dicamentos, signos vitales, historial médico, inmunizaciones, datos de laboratorio y reportes de radiología.

10 Bastias-Butler, Elizabeth y Ulrich, Andrea, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamericano de Desarrollo, abril 2019, pp. 27 [Consultada 05 de mayo de 2020], Disponible en: https://publications.iadb.org/es/transformacion-digital-del-sector-salud-en-america-lati-na-y-el-caribe-la-historia-clinica11 La historia clínica se puede considerar como la biografía sanitaria del paciente. Existe consenso por parte de mu-chos autores en considerar la historia clínica como uno de los documentos médicos más complejos que existen, de-bido a la diversidad de personas y organismos que en un determinado momento pueden estar interesados en tener acceso a los datos en ella contenidos, lo que compromete la intimidad del paciente. No se debe olvidar que los bie-nes y valores que se relacionan a la historia clínica son de una importancia extraordinaria ya que están directamente relacionados con derechos fundamentales de la persona como el derecho a la intimidad, a la salud, a la libertad y a la confidencialidad. Medinaceli D., Karina, “El tratamiento de los datos sanitarios en la historia clínica electrónica: caso boliviano”, Agencia Española de Protección de Datos Personales 2017, p. 590 [Consultada 27 de mayo de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-10/tratamiento-de-datos-sanitarios.pdf





81

Nelson y Staggers en su obra complementaron la definición de la HIMSS al describir a la HCE como:

(…) un registro electrónico de información relacionada con la salud que cumple con los estándares de interoperabilidad reconocidos a nivel nacional y que puede ser generado, gestionado y consultado por mé-dicos y personal autorizado en más de una organización de atención médica.12

La historia clínica electrónica tiene como características que es completa, inte-gra todos los episodios asistenciales del paciente sin importar dónde y cuándo se hayan producido; es interoperable con otros sistemas como los departa-mentales, los clínico-administrativos, de gestión económico-financiera y de gestión del conocimiento; accesible en cualquier momento y lugar en que sea necesaria para atender al paciente con las limitaciones debidas a las garan-tías establecidas en la legislación de protección de datos personales; flexible, permite su utilización a los investigadores, planificadores y evaluadores de la calidad de los servicios entre otros; segura y confidencial, todos los accesos a la historia deben ser registrados y debe identificarse quién accede y qué in-formación introduce o modifica. Hoy en día, la implementación de la historia clínica electrónica es una necesidad, porque con mayor frecuencia, las perso-nas se mueven de un lugar a otro, a lo largo de su vida es vista por diferentes profesionales, como consecuencia de ello, tiene más de una historia clínica, distribuida en archivos informáticos y en papel en varias localizaciones y con varios números de identificación.13

La Historia Clínica Electrónica (HCE) deber ser la herramienta que guíe para mejorar la eficacia, efectividad y eficiencia de los servicios sanitarios y sociales, teniendo como centro de atención las necesidades del paciente. Asi-mismo, se considera fundamental que el paciente tenga acceso a la HCE.14

12 Bastias-Butler, Elizabeth y Ulrich, Andrea, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamericano de Desarrollo, abril 2019, p. 4, [Consultada 05 de mayo de 2020], Disponible en: https://publications.iadb.org/es/transformacion-digital-del-sector-salud-en-america-latina-y-el-ca-ribe-la-historia-clinica13 Medinaceli D. Karina, “El tratamiento de los datos sanitarios en la historia clínica electrónica: caso boliviano”, Agencia Española de Protección de Datos Personales 2017, p. 592 [Consultada 27 de marzo de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-10/tratamiento-de-datos-sanitarios.pdf14 Gálvez S., María, “Mesa Redonda: Requisitos de HDSQA”, XXVI Jornadas Nacionales de Innovación y Salud en An-dalucía: Historia digital de salud que aprende, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, p. 43 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-con-tent/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revis-





82

Se han utilizado diferentes estrategias para reducir el tiempo de la entrada presencial de datos, como evitar que el médico se convierta en empleado que registra datos administrativos necesarios para la facturación de servicios; eso es lo que hace que los médicos estadounidenses tengan un tiempo promedio alrededor de 4 veces mayor que en otros países con sistemas de salud no frag-mentados.15 Los médicos que utilizaron el soporte de documentación, como la asistencia de dictado o los servicios de escribano médico, se relacionaron más con los pacientes que los que no utilizaron estos servicios. Además, el mayor uso de Inteligencia Artificial en medicina no solo reduce el trabajo manual y libera el tiempo del médico de atención primaria, sino que también aumenta la productividad, la precisión y la eficacia.16

No se puede concebir una historia clínica sin tener en cuenta los datos. La mayoría de las soluciones informáticas para la práctica médica no se basan en algoritmos que aprenden de datos. Más bien, utilizan sistemas creados por ex-pertos (médicos e informáticos) para analizar datos y recomendar tratamientos. Los algoritmos para crear esta Inteligencia Artificial deben ser diseñados por los programadores en colaboración con los que realmente saben de la materia de salud, los clínicos.

Las aplicaciones de Inteligencia Artificial en la atención médica se pueden dividir en 3 categorías: 1) Soluciones algorítmicas: las integran algoritmos de consenso entre expertos en el campo con datos de la historia clínica electrónica para revisar diferentes alternativas de tratamiento y recomendar la combina-ción más adecuada al paciente. 2) Tratamiento de imágenes: el potencial de la predicción automática se refleja donde el ojo humano falla, incluso en los mejores clínicos. El software de reconocimiento mediante visión artificial, que puede comparar decenas de miles de imágenes utilizando las mismas técnicas que los humanos, es entre un 5% y 10% más preciso que el médico promedio. 3) Herramientas de apoyo a la práctica médica: como los programas que procesan historias clínicas, este software puede revisar miles de registros médicos para

ta-136.pdf&download=true&print=true&openfile=false15 Downing N. Lance, Bates David W. y Longhurst Christopher A., “Physician buenoutburnout in the electronic heath record era: are we ignoring the real cause?” Ann Inter Med 2018; 169:50-1, DOI: 10.7326/M18-0139 [Consultada 27 de abril de 2020], Disponible en: https://annals.org/aim/article-abstract/2680726/physician-burnout-electro-nic-health-record-era-we-ignoring-real-cause?doi=10.7326%2fM18-013916 Amisha, Malik Paras, Pathania Monika y Rathaur Vyas Kumar. “Overview of artificial intelligence in medicine”, Journal of family medicine and primary care. 2019, Vol. 8, pp. 2328–2331, [Consultada 27 de abril de 2020], Dispo-nible en: http://www.jfmpc.com/temp/JFamMedPrimaryCare872328-1337112_034251.pdf





83

extraer estadísticas sobre enfermedades o tratamientos, detectar errores, lagu-nas o normalizar expresiones y terminología en los informes.17

Antes de que se pueda aplicar las técnicas de aprendizaje automático en una escala amplia, se necesita una forma consistente en representar los registros de los pacientes, por lo que iniciativas de estandarización, como, por ejemplo, el Observational Medical Outcomes Partnership (OMOP)18 o Common Data Model19

se convierten en prácticas fundamentales. A pesar de la gran cantidad de datos ahora digitalizados, los modelos predictivos construidos con datos de historias clínicas rara vez usan más de 20 o 30 variables, y se basan principalmente en modelos lineales tradicionales. El aprendizaje automático se aplica actualmente a las historias clínicas para predecir los pacientes que tienen un mayor riesgo de reingreso al hospital o de no adherirse a los medicamentos recetados.20

Cada paciente es único, lo que implica que un tratamiento puede no ser eficaz para un paciente cuando clínicamente debería serlo, para mejorar este aspecto, se debería utilizar la información genética o el uso de algoritmos pre-dictivos con información estructurada del paciente, e incluso, aplicar tecno-logías de Inteligencia Artificial en las que se incluyan variables propias del individuo para mejorar el tratamiento.21

Para conocer la situación del desarrollo e implementación de la Historia Clínica Electrónica (HCE) en Latinoamérica, se presentan los casos de Uruguay, Brasil y Argentina y el trabajo que viene desarrollando la Red Americana de Cooperación sobre Salud Electrónica (RACSEL).

17 Moreno Antonio y Díaz Julia. “Inteligencia Artificial en salud desde la perspectiva del Instituto de Ingeniería del Conocimiento”, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 32-33 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pd-fjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&-download=true&print=true&openfile=false18 La Observational Medical Outcomes Partnership es una asociación público - privada que involucró a la FDA, múl-tiples compañías farmacéuticas y proveedores de atención médica establecidos para informar el uso apropiado de las bases de datos de atención médica observacional para estudiar los efectos (riesgos y beneficios) de los productos médicos. Foundation for the National Institutes of Health, “Observational Medical Outcomes Partnership (OMOP)”, [Consultada 07 de mayo de 2020], Disponible en: https://fnih.org/what-we-do/major-completed-programs/omop19 El modelo de datos comunes simplifica este proceso al proporcionar un lenguaje de datos compartido para el uso de aplicaciones comerciales y analíticas. El sistema de metadatos del modelo de datos comunes hace posible que los datos y su significado se compartan entre aplicaciones y procesos comerciales. Microsoft, “Common Data Model” [Consultada 07 de mayo de 2020], Disponible en: https://docs.microsoft.com/en-us/common-data-model/20 IOMED, 2020. “Retos de la Inteligencia Artificial en la medicina” [Consultada 30 de marzo de 2020], Disponible en: https://iomed.es/2020/01/08/retos-de-la-inteligencia-artificial-en-medicina/21 García C., Sergio, “Sesión plenaria experiencias; variabilidad en tecnología digital”, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 52-53 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false





84

La Agencia de Gobierno Electrónico y Sociedad de la Información y del Conocimiento (AGESIC) promueve y encabeza la estrategia digital de Uruguay. Uno de sus programas es Salud.uy22, el cual apoya al Sistema Nacional Integra-do de Salud (SNIS) para mejorar la calidad de los servicios de salud a través de las tecnologías de la información y la comunicación.

Los múltiples sistemas DATASUS23 (o los sistemas de Historia Clínica Elec-trónica utilizados por SUS) de Brasil fueron desarrollados de acuerdo con las necesidades nacionales. En vez de crear un sistema unificado, en Brasil se desarrollaron distintos sistemas conforme fueron requeridos. Esta estrategia fragmentada ocasionó que DATASUS desarrollara más de 600 sistemas de HCE paralelos. En el 2014, el gobierno desarrolló un servicio BUS que permitió una interoperabilidad entre todos estos sistemas, tanto en el sector de salud público como en el privado. Brasil continúa consolidando sus sistemas de HCE, esta transformación ha tardado años y todavía está en proceso.24

En Argentina, la experiencia del Hospital Italiano de Buenos Aires25 en la implementación de los sistemas de Historia Clínica Electrónica (HCE) considera ocho elementos clave que fueron imperativos para el éxito en la implemen-tación de un sistema de HCE: 1) la importancia de crear un sentido de urgen-cia, 2) formar una coalición de profesionales médicos con distintas fortalezas y antecedentes diversos, 3) elaborar un plan maestro para todos los servicios de información de salud, 4) desarrollar una estructura organizacional, 5) for-malizar los procesos de comunicación y capacitación, 6) poner a disposición la información necesaria para la investigación y la gestión clínica, 7) evaluar los resultados en un ciclo de mejoramiento continuo y 8) involucrar a los usuarios finales en el proceso de diseño.

La elaboración de la Agenda Digital de Ciudad Autónoma de Buenos Aires – CABA (Argentina) se realizó en el marco del objetivo ministerial estratégico

22 Agencia de Gobierno Electrónico y Sociedad de la Información y del Conocimiento, “Qué es Salud.uy”, [Consultada: 06 de mayo de 2020], Disponible en:https://www.gub.uy/agencia-gobierno-electronico-sociedad-informacion-co-nocimiento/politicas-y-gestion/programas/es-saluduy23 Ministerio da Saude, “Sistemas”, [Consultada 06 de mayo de 2020], Disponible en: https://datasus.saude.gov.br/sistemas/24 Elizabeth Bastias-Butler y Andrea Ulrich, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamericano de Desarrollo, Abril 2019 [Consultada 05 de mayo de 2020], Disponible en: https://publications.iadb.org/es/transformacion-digital-del-sector-salud-en-america-latina-y-el-ca-ribe-la-historia-clinica25 De Quiros, Fernan B., “Experiencia de un proyecto de Informatización en Salud en América Latina: 15 años del desarrollo en el Hospital Italiano de Buenos Aires”, Hospital Italiano de Buenos Aires, Departamento de Informática en Salud, 2015 [Consultada 06 de mayo de 2020], Disponible en: https://www1.hospitalitaliano.org.ar/multimedia/archivos/noticias_archivos/11/Disertaciones/11_06-12Quiros-Experienciade15anosdelHospitalItalianodeBs.As.pdf





85

de fortalecer la Red de Atención Primaria de Salud y lograr un sistema de salud integrado y eficiente, que ofrece el cuidado oportuno y equitativo a las perso-nas. La Red de Salud de CABA cuenta con 33 Hospitales, 45 Centros de Aten-ción Primaria y Comunitaria (CeSAC) y Centros Médicos Barriales divididos en 4 regiones sanitarias. Cabe destacar que se tomó la decisión política de imple-mentar la Historia Clínica Electrónica (HCE) porque gran parte de los profesio-nales del sistema de salud ya se encontraban habituados a utilizar Sistemas de Información en Salud en consultorios y sanatorios privados. En el año 2019, la Historia Clínica Electrónica se constituye en el gran hito de la gestión del Gobierno de la Ciudad Autónoma de Buenos Aires. Se la destaca por ser uno de los compromisos cumplidos 100% al lograrse la implementación en todos los Centros de Salud y Acción Comunitaria de CABA, consiguiendo mayor calidad de atención, eficiencia médica y prevención de enfermedades.26

La Red Americana de Cooperación sobre Salud Electrónica (RACSEL)27 está conformada por Costa Rica, Perú, Chile, Colombia y Uruguay. Mediante una colaboración dentro de la red, los países miembros identificaron retos compar-tidos y descubrieron sus propias fortalezas y debilidades. RACSEL se rige por un comité técnico regional y su objetivo es abordar las cuestiones relacionadas con la salud digital, incluyendo las diferencias en la terminología y la creación de marcos jurídicos alrededor de la salud digital. La red promueve enfática-mente la adopción de estándares de datos y arquitectura para los procesos de intercambio de información.

3. Big Data e Inteligencia Artificial en el ámbito de la salud

Big Data, que en español significa “grandes datos”, es un término que se ha acuñado para referirse a la manipulación de gran cantidad de datos. El volu-men masivo, variedad y velocidad que ahora toma la información hace impres-cindible capturar, almacenar y analizar todo este complejo engranaje.28

Big Data es una combinación de cinco características muy importantes: volumen, velocidad, variedad, veracidad y valor. El volumen se refiere a la can-tidad de datos, hablamos de grandes volúmenes de información, nos referimos

26 Instituto de Formación Política y Gestión Pública, “Historia Clínica Electrónica – Salud”, en Curso Cambios der paradigma en la medicina tradicional: Historia Clínica Electrónica, Ministerio de Gobierno, Buenos Aires, pp. 1-14.27 Red Americana de Cooperación sobre Salud Electrónica, “Estándares para Dummis” [Consultada 04 de mayo de 2020], Disponible en: https://estandaresparadummies.blogspot.com/2019/12/racsel-red-americana-de-coopera-cion.html28 Puyol Montero, Javier, Aproximación jurídica y económica al Big Data, Valencia, Tirant lo Blanch, 2015, pp. 33.





86

a tratamientos de terabytes o petabytes. La velocidad se refiere a los datos en movimiento y, más específicamente, a la velocidad a la que se crean, procesan y analizan los datos. La variedad se trata de gestionar la complejidad y la hete-rogeneidad de múltiples conjuntos de datos, incluidos los datos estructurados, semiestructurados y no estructurados. La veracidad se refiere a la incertidum-bre de los datos y al nivel de confiabilidad/calidad asociada con ciertos tipos de datos. Finalmente, el valor del dato por sí mismo es fundamental, saber qué datos son los que se debe analizar va a llevar a la consecuencia de un resultado fiable y apto para toma de una decisión al respecto.29

El Big Data trabaja generalmente con información estadística, es decir, ba-sándose en probabilidades, con tantas variables que el aprendizaje respecto del resultado es confiable. Trabajar a base de probabilidades en medicina, es-tableciendo patrones, resulta útil desde el punto de vista de la propagación de las enfermedades, el estudio de sus orígenes y, por tanto, su mejor tratamiento.

Tradicionalmente, los datos provenían de registros electrónicos de salud (por sus siglas en inglés EHR), genómica y datos de imágenes. Sin embargo, el advenimiento de las modernas tecnologías ubicuas y de redes sociales ha dado lugar a nuevas formas de datos generados por los pacientes, como los resulta-dos electrónicos informados por los pacientes (ePRO); fisiológico y datos psico-métricos (especialmente datos en tiempo real recopilados directamente a través de dispositivos sensores); y datos generados en línea (por ejemplo, comentarios y publicaciones de pacientes en herramientas de redes sociales en línea). Hay varios ejemplos de intervenciones tecnológicas desarrolladas para beneficio de la salud pública a este respecto. Por ejemplo, los EHR se han procesado para mejorar la aplicación y el análisis.30

Un dato estructurado es un dato que puede ser almacenado, consultado, analizado y manipulado por máquinas, normalmente, en modo tabla de datos; por ejemplo, datos clásicos de los pacientes (nombre, edad, sexo…). Un dato no estructurado o desestructurado es todo lo contrario, por ejemplo, las recetas de papel, los registros médicos, las notas manuscritas de médicos y enfermeras, las grabaciones de voz, las radiografías, escáneres, resonancias magnéticas, TAC y otras imágenes médicas. A estos datos, pertenecientes a ambas categorías,

29 Gaitanou, Rea, Gaoufallou, Emmanouel y Panos, Balatsoukas, “The Effectiveness of Big Data in Health Care: A Systematic Review”, [Consultada 30 de marzo de 2020], Disponible en: https://www.researchgate.net/publica-tion/278707106_The_Effectiveness_of_Big_Data_in_Health_Care_A_Systematic_Review30 Gaitanou, Rea, Gaoufallou, Emmanouel y Panos, Balatsoukas, “The Effectiveness of Big Data in Health Care: A Systematic Review”, [Consultada 30 de marzo de 2020], Disponible en: https://www.researchgate.net/publica-tion/278707106_The_Effectiveness_of_Big_Data_in_Health_Care_A_Systematic_Review





87

también se pueden considerar los archivos electrónicos de contabilidad y ges-tión administrativa, datos clínicos, etc.31

Existen dos grandes proyectos a nivel europeo en relación al intercambio de datos con enorme potencial a nivel de investigación, docencia y empleo de esos datos a través de Big Data: 1) European Reference Networks (EURORDIS): estructura de gestión para el intercambio de conocimientos y coordinación de la atención en toda la Unión Europea en el campo de las enfermedades raras. Colaboran centros de referencia, prestadores de asistencia sanitaria y laborato-rios; 2) European Medical Information Framework (EMIF): permite a científi-cos e investigadores acceder a varias bases de datos de pacientes reales.32

Entre los problemas o aspectos negativos que puede presentar el Big Data en el ámbito sanitario se resaltan:

� Los datos que se ponen a disposición en código abierto están disponi-bles gratuitamente, por lo tanto, son muy vulnerables. 33 34 35

� Problemas de estructura de datos, los datos están fragmentados, dis-persos y rara vez estandarizados.36 37 38

31 Joyanes A., Luis y Poyatos D., Juan Miguel, “Big Data y el sector de la salud: el futuro de la sanidad”, [Consultada 07 de mayo de 2020], Disponible en: http://poyatosdiaz.com/index.php/big-data-y-el-sector-de-la-salud-el-futuro-de-la-sanidad32 Eguia, Hans A. et al, “Clínicos ante las Tics: La transformación digital desde la perspectiva de SEMERGEN”, Revista de la Sociedad Española de Informática de la Salud, Nº 130, septiembre de 2018, pp. 42-43, [Consultada: 04 de mayo de 2020], Disponible en: https://seis.es/is-130-septiembre-2018/33 Jee Kyoungyoung, Gang-Hoon Kim, “Potentiality of Big Data in the Medical Sector: Focus on How to Reshape the Healthcare System”, Healthcare Informatics Research, 2013, vol 19, Nº 2, pp. 79, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/2388241234 Raghupathi Wullianallur y Raghupathi Viju, “Big data analytics in healthcare: promise and potential”, Health Information Science and Systems, 2014, vol 2, Nº 1, [Consultada el 07 de mayo de 2020], Disponible en: https://link.springer.com/article/10.1186/2047-2501-2-3 35 Baro Emilie, Degoul Samuel, Beuscart Regis y Chazard Emmanuel, “Toward a Literature-Driven Definition of Big Data in Healthcare”. BioMed Research International, 2015, vol 2015, pp. 1–9, [Consultada el 07 de mayo de 2020], Disponible en: https://www.hindawi.com/journals/bmri/2015/63902136 Jee Kyoungyoung, Gang-Hoon Kim, “Potentiality of Big Data in the Medical Sector: Focus on How to Reshape the Healthcare System”, Healthcare Informatics Research, 2013, Vol. 19, Nº 2, pp. 79, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/23882412 37 Raghupathi Wullianallur y Raghupathi Viju, “Big data analytics in healthcare: promise and potential”, Health Information Science and Systems, 2014, Vol. 2, Nº 1, [Consultada el 07 de mayo de 2020], Disponible en: https://link.springer.com/article/10.1186/2047-2501-2-338 Fernandes Lorraine, O’connor Michele y Weaver Victoria, “Big data, bigger outcomes: Healthcare is embracing the big data movement, hoping to revolutionize HIM by distilling vast collection of data for specific analysis”, Journal of AHIMA, 2012, Vol. 83, pp. 38–43, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/23061351





88

� Aunque los registros electrónicos en salud (EHR) comparten datos den-tro de la misma organización, las plataformas de EHR están fragmen-tadas, en el mejor de los casos. Los datos se almacenan en formatos que no son compatibles con todas las aplicaciones y tecnologías.39 40

� La precisión de los datos también es necesaria para proporcionar infor-mación precisa.41

� Algoritmos matemáticos capaces de procesar la información del Big Data para que la misma éste disponible en tiempo real y no existan interrupciones al sistema o problemas con las computadoras que lo soportan.

� Los costos asociados con su obtención y almacenamiento son altos.42

� Dificultades técnicas que supone el almacenamiento de la gran can-tidad de datos, la seguridad del almacenamiento en un determinado soporte, servidor u otro, que cuente con una adecuada infraestructura que haga inviable su acceso, hackeo, robo o cualquier vulnerabilidad.

� Inseguridad que pueda llevar a tomar decisiones automatizadas sin la intervención del factor humano (médico), porque el Big Data trabaja con un sistema basado en las probabilidades haciendo correlaciones de datos.

� La confidencialidad es importante por la sensibilidad de los datos de salud.43

� Necesidad de mecanismos seguros, fiables y consistentes que permi-tan la total anonimización de los datos de los pacientes y que estos

39 Raghupathi Wullianallur y Raghupathi, Viju, “Big data analytics in healthcare: promise and potential”, Health Information Science and Systems, 2014, Vol. 2, Nº 1, [Consultada el 07 de mayo de 2020], Disponible en: https://link.springer.com/article/10.1186/2047-2501-2-340 Hsieh Jui-Chien, Ai-Hsien Li y Chung-Chi Yang, “Mobile, Cloud, and Big Data Computing: Contributions, Cha-llenges, and New Directions in Telecardiology”, International Journal of Environmental Research and Public Heal-th, 2013, Vol. 10, Nº 11, pp. 6131–6153, [Consultada el 07 de mayo de 2020], Disponible en: https://www.mdpi.com/1660-4601/10/11/613141 Kyoungyoung Jee y Gang-Hoon Kim, “Potentiality of Big Data in the Medical Sector: Focus on How to Reshape the Healthcare System”, Healthcare Informatics Research, 2013, vol 19, Nº 2, pp. 79, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/2388241242 Mohr David C., Burns Michelle Nicole, Schueller Stephen M., Clarke Gregory y Klinkman Michael, “Behavioral Intervention Technologies: Evidence review and recommendations for future research in mental health”, General Hospital Psychiatry. 2013, Vol. 35, Nº 4, pp. 332–338, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3719158/43 Mohr David C., Burns Michelle Nicole, Schueller Stephen M., Clarke Gregory y Klinkman Michael, “Behavioral Intervention Technologies: Evidence review and recommendations for future research in mental health”, General Hospital Psychiatry, 2013, Vol. 35, Nº 4, pp. 332–338, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3719158/





89

mecanismos impidan la identificación del sujeto mediante la vuelta atrás del proceso y su reidentificación.44

� Problemas de gestión y de cumplimiento normativo.45

� Actualización de la normativa europea, Reglamento General de Protec-ción de Datos (en inglés GDPR) en torno a implicaciones del Big Data, el Cloud Computing, el Internet de las Cosas o BioTech, todos ellos con aplicación en el ámbito de los datos sanitarios.46

Cristea Uivaru47 señala que el Big Data, desde el punto de vista de la gestión sa-nitaria, optimizará los recursos y evitará duplicidades innecesarias eliminando dichos costes; podrán detectarse de forma precoz epidemias; permitirá a los médicos un diagnóstico más certero y ágil, etc.; también a las farmacéuticas detectar de forma rápida efectos secundarios de los medicamentos, reducirá los costos de investigación y probablemente los medicamentos serían más seguros, entre otros beneficios.

La monitorización del propio estado de salud y el vuelco de la información obtenida en grandes bases de datos para su posterior tratamiento y estructura-ción permitirán, en un futuro muy cercano, avanzar al Big Data hacia un nuevo concepto de la atención médica personalizada.

4. Técnicas de anonimización para el Big Data y la Inteligencia Artificial

La anonimización es el proceso que permite eliminar o reducir al mínimo los riesgos de reidentificación de un individuo a partir de sus datos personales

44 Llaser M., Mª R., Casado, M. y Buisan E., L., “Documento sobre bioética y Big Data de salud: explotación y comer-cialización de los datos de los usuarios de la sanidad pública”, Observatorio de Bioética y Derecho de la Universidad de Barcelona, 2015 [Consultada 25 de abril de 2020], Disponible en: http://www.publicacions.ub.edu/refs/observa-toriBioEticaDret/documents/08209.pdf45 Scott Kruse Clemens, Goswamy Rishi, Raval Yesha y Marawi Sarah, “Challenges and Opportunities of Big Data in Health Care: A Systematic Review”, JMIR Medical Informatics, 2016, Vol. 4, Nº 4, p. 38, [Consultada el 07 de mayo de 2020], Disponible en: https://medinform.jmir.org/2016/4/e38/pdf46 Cristea UUivaru, Lucia N., “La protección de datos de carácter sensible en el ámbito europeo. Historia Clínica Digital y Big Data en Salud”, Tesis Doctoral, Facultad de Ciencias Sociales de la Universidad Abat Oliba CEU, 2017, p. 303 [Consultada 10 de abril de 2020], Disponible en: https://www.tdx.cat/bitstream/handle/10803/442972/Tlcu.pdf?sequence=1&isAllowed=y47 Cristea UUivaru, Lucia N., “La protección de datos de carácter sensible en el ámbito europeo. Historia Clínica Digital y Big Data en Salud”, Tesis Doctoral, Facultad de Ciencias Sociales de la Universidad Abat Oliba CEU, 2017, p. 297 [Consultada 10 de abril de 2020], Disponible en: https://www.tdx.cat/bitstream/handle/10803/442972/Tlcu.pdf?sequence=1&isAllowed=y





90

eliminando toda referencia directa o indirecta a su identidad, pero manteniendo la veracidad de los resultados del tratamiento de los mismos. Es decir, además de evitar la identificación de las personas, los datos anonimizados deben garantizar que cualquier operación o tratamiento que pueda ser realizado con posterioridad a la anonimización no conlleva una distorsión de los datos reales.48

La anonimización implica un tratamiento posterior de los datos persona-les. Por tanto, debe satisfacer el requisito de compatibilidad teniendo en cuenta las circunstancias y los fundamentos jurídicos de dicho tratamiento. Por otra parte, aunque los datos anonimizados se encuentren fuera del alcance de la legislación sobre protección de datos, es posible que los interesados tengan derecho a protección en virtud de otras disposiciones legales (como las que protegen la confidencialidad de las comunicaciones).49

Es factible, actualmente, la desanonimización, reidentificación, o revela-ción de datos personales de conjuntos de usuarios y de usuarios individuales, pues las herramientas informáticas empleadas pueden servir tanto para esa fi-nalidad como para la contraria. Es importante remarcar que el problema no es únicamente la transformación de los datos considerados personales en un conjunto de datos, pues incluso eliminando estos datos personales es posible llegar a reidentificar a una persona concreta.50

El Grupo de Trabajo del Artículo 29 reconoce el valor potencial de la ano-nimización, en particular como estrategia para permitir a las personas y la so-ciedad en su conjunto beneficiarse de los «datos abiertos» al mismo tiempo que se mitigan los riesgos para los interesados. No obstante, los estudios de caso y las publicaciones científicas muestran la dificultad de crear un conjunto de da-tos verdaderamente anónimo conservando, sin embargo, toda la información subyacente requerida para la tarea.51

48 Agencia Española de Protección de Datos, “Adecuación al RGPD de tratamientos que incorporan Inteligencia Ar-tificial. Una introducción”, p. 9 [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf49 Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimización”, de la Comisión Europea de 10 de abril de 2014, p. 3, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf50 Llaser M., Mª R., Casado, M. y Buisan E., L., “Documento sobre bioética y Big Data de salud: explotación y comer-cialización de los datos de los usuarios de la sanidad pública”, Observatorio de Bioética y Derecho de la Universidad de Barcelona, 2015, p. 45 [Consultada 25 de abril de 2020], Disponible en: http://www.publicacions.ub.edu/refs/observatoriBioEticaDret/documents/08209.pdf51 Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimización”, de la Comisión Europea de 10 de abril de 2014, p. 9, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf





91

En este documento, se aborda también la seudonimización, para aclarar algunos errores e ideas falsas: la seudonimización no es un método de ano-nimización; simplemente, reduce la vinculabilidad de un conjunto de datos con la identidad original del interesado y es, en consecuencia, una medida de seguridad útil.52 (AEPD, 2020).

La seudonimización se define, en el artículo 4.5 del Reglamento General de Protección de Datos de la UE,53 como:

(…) el tratamiento de datos personales de manera tal que ya no pue-dan atribuirse a un interesado sin utilizar información adicional, siem-pre que dicha información adicional figure por separado y esté suje-ta a medidas técnicas y organizativas destinadas a garantizar que los datos personales no se atribuyan a una persona física identificada o identificable.

La conclusión del dictamen es que las técnicas de anonimización pueden apor-tar garantías de privacidad y usarse para generar procesos de anonimización eficientes, pero solo si su aplicación se diseña adecuadamente, lo que significa que han de definirse con claridad los requisitos previos (el contexto) y los obje-tivos del proceso para obtener la anonimización deseada al mismo tiempo que se generan datos útiles. La solución óptima debe decidirse caso por caso y pue-de conllevar la combinación de diversas técnicas, aunque siempre respetando las recomendaciones prácticas que se formulan en este documento.54

Los procesos de anonimización del dato deben llevarse a cabo dentro del perímetro interno de la Administración por las garantías que otorgan las obligaciones de transparencia y rendición de cuentas que dicha Administra-ción tiene, si bien la responsabilidad compartida exige también transparencia y rendición de cuentas al sector privado, especialmente en las redes mixtas público-privadas.55

52 Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimización”, de la Comisión Europea de 10 de abril de 2014, p. 22, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf53 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE [Consultada: 02 de mayo de 2020], Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A32016R067954 Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimización”, de la Comisión Europea de 10 de abril de 2014, pp. 26, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf55 Llaser M., Mª R., Casado, M. y Buisan E., L., “Documento sobre bioética y Big Data de salud: explotación y comer-





92

En la 36ª Conferencia Internacional de Autoridades de Protección de Datos y Privacidad, los reguladores internacionales de privacidad y de protección de datos hicieron un llamamiento colectivo con relación al empleo de esta técnica a todas las partes que utilizan el Big Data para exigir el cumplimiento de una serie de principios que consideran como el punto de partida a esta técnica.56

Por otra parte, el Consejo Europeo de Protección de Datos queda habilitado para publicar directrices y recomendaciones a fin de especificar los criterios y condiciones aplicables a la elaboración de perfiles. Se citan a continuación los principios: a) Respetar el principio de especificación de la finalidad; b) Limitar la cantidad de información recolectada y almacenada a un nivel que sea ne-cesario para el propósito legítimo que pretende; c) Obtener, cuando sea apro-piado, el consentimiento válido del titular de los datos en relación con el uso de información personal para fines de análisis y de creación de perfiles; d) Ser transparente acerca de qué información se recolecta, cómo se procesa, con qué propósito será utilizada y si será transferida a terceros; e) Dar a las personas acceso apropiado a los datos; f) Ofrecer a las personas, cuando sea apropiado, acceso a la información sobre los insumos principales y los criterios para la toma de decisiones (algoritmos) que se han utilizado como base para el desa-rrollo del perfil; g) Llevar a cabo una evaluación de impacto en la privacidad, especialmente cuando el análisis del Big Data implica usos novedosos o ines-perados de los datos personales; h) Desarrollar y utilizar tecnologías del Big Data de acuerdo con los principios de la privacidad por diseño; i) Considerar cuando los datos anónimos mejorarán la protección de la privacidad; j) Actuar cumpliendo la legislación aplicable en materia de protección de datos, cuando se comparte o se publican conjuntos de datos con seudónimos o que pueden ser identificables indirectamente; y k) Demostrar que las decisiones respecto al uso del Big Data son justas, transparentes y responsables.57

cialización de los datos de los usuarios de la sanidad pública”, Observatorio de Bioética y Derecho de la Universidad de Barcelona, 2015, pp. 46 [Consultada 25 de abril de 2020], Disponible en: http://www.publicacions.ub.edu/refs/observatoriBioEticaDret/documents/08209.pdf56 Puyol Montero, Javier, Aproximación jurídica y económica al Big Data, Valencia, Tirant lo Blanch, 2015, p. 309.57 Puyol Montero, Javier, Aproximación jurídica y económica al Big Data, Valencia, Tirant lo Blanch, 2015, pp. 306-328.





93

5. Inteligencia Artificial, aprendizaje automático y aprendizaje profundo en el ámbito de la salud

La Red Iberoamericana de Protección de Datos menciona que “la Inteligencia Artificial incluye una variedad de técnicas computacionales y de procesos en-focados a mejorar la capacidad de las máquinas para realizar muchas activida-des, los que comprenden desde modelos algorítmicos, pasando por los sistemas de machine learnig, hasta llegar a las técnicas de deep learning. Particularmen-te se vincula el uso de algoritmos a la IA, los cuales son un conjunto de reglas o una secuencia de operaciones lógicas que proporcionan instrucciones para que las máquinas tomen decisiones o actúen de determinada manera”.58

La Inteligencia Artificial ha mejorado la calidad y la atención médica, dado que al acelerar la investigación sobre datos clínicos con algoritmos com-putacionales tales como el aprendizaje automático (Machine Learning), apren-dizaje profundo (Deep Learning) y sistemas expertos, se ha permitido una de-tección y prevención temprana de trastornos como diabetes, edemas, cáncer, autismo, y otros; por tanto, la evolución de la historia clínica permite agilizar el intercambio de datos entre los médicos, unidades de atención, laboratorios de investigación y el paciente.59

Si bien la Inteligencia Artificial abarca una amplia gama de enfoques simbólicos y estadísticos para el aprendizaje y el razonamiento, la potencia del equipo computacional, incluyendo el uso de la programación paralela o distribuida, los avances algorítmicos, así como el acceso a grandes conjuntos de datos han permitido que las redes neuronales artificiales emerjan como el método líder de la Inteligencia Artificial. Las redes neuronales artificiales son modelos matemáticos flexibles que utilizan múltiples algoritmos para identi-ficar relaciones complejas no lineales dentro de grandes conjuntos de datos (análisis). Las máquinas aprenden cuándo se corrigen los errores encontrados

58 Red Iberoamericana de Protección de Datos, Recomendaciones Generales para el Tratamiento de datos en la Inteligencia Artificial, [Consultada 12 de octubre de 2020], [Disponible en: https://www.redipd.org/sites/default/files/2020-02/guia-recomendaciones-generales-tratamiento-datos-ia.pdf].59 Ahmed Zeeshan, Khalid Mohamed, Saman Zeeshan, Xinqi Dong, “Artificial intelligence with multi-functional machine learning platform development for better healthcare and precision medicine”, Database, 2020, Vol. 2020, [Consultada 15 de abril de 2020], Disponible en: https://academic.oup.com/database/article/doi/10.1093/database/baaa010/5809229





94

en respuesta a modificaciones menores del algoritmo (entrenamiento), mejo-rando progresivamente la precisión del modelo predictivo (confianza).60 61

Se mejora lo anterior con el aprendizaje profundo (Deep Learning), dado que existen varias características ocultas que se descubren y mejoran en tiem-pos si se hace uso de equipos optimizados, es decir, gracias a tarjetas gráficas, servidores con múltiples procesadores o arquitecturas en la nube. Una aplica-ción común del aprendizaje profundo es encontrar patrones de comportamien-to en imágenes como las radiológicas, por resonancia magnética funcional u otras Esta combinación permite una mayor precisión en el diagnóstico, ge-nerando herramientas automatizadas conocidas como detección asistida por computadora (CAD).

Parte del aprendizaje profundo es el Procesamiento Natural del Lenguaje (PNL), este permite reconocimiento de voz, análisis de texto, traducción y otros objetivos relacionados con el lenguaje. Hay dos enfoques básicos: PNL esta-dístico se basa en el aprendizaje automático (redes neuronales de aprendizaje profundo en particular) y ha contribuido a un aumento reciente en la precisión del reconocimiento, y el PNL semántico.62

El aprendizaje computacional consiste básicamente en enseñar a una má-quina a hacer algo mostrándole muchos ejemplos, pero en medicina no suelen compartir por motivos de privacidad y de protección de datos personales. En la investigación médica, además de entrevistar a los especialistas, se utilizan cientos de datos de diagnósticos para que la máquina aprenda; así, si se desea que se detecte un tumor en el cerebro, se procesarán los datos y esto permitirá una conclusión.63 Existen contribuciones valiosas como la iniciativa Biobank, un proyecto en Reino Unido para crear una base de datos de acceso libre con imágenes médicas, informe y hábitos de vida de 100.000 voluntarios, otros repositorios importantes son de Kaagle, UCI o ABIDE, específicamente de pro-blemas de autismo.

60 Goodfellow Ian, Bengio Yoshua y Courville Aaron, “Deep Learning”, MIT Press, 2016, [Consultada el 12 de mayo de 2020], Disponible en: http://www.deeplearningbook.org61 Miller Douglas y Brown Eric, “Artificial Intelligence in Medical Practice: The Question to the Answer?”. The Ame-rican Journal of Medicine, 2018, Vol. 131, Nº 2, pp. 129–133, [Consultada el 12 de mayo de 2020], Disponible en: https://kundoc.com/pdf-artificial-intelligence-in-medical-practice-the-question-to-the-answer-.htmlwww.dee-plearningbook.org62 Davenport Thomas y Kalakota Ravi, “The potential for artificial intelligence in healthcare”, Future healthcare journal, 2019, Vol. 6, pp. 94-98, [Consultada el 12 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6616181/63 Guerrero Teresa y Lucio Cristina G., “Un nuevo aliado de los médicos” en periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-artificial/salud.html





95

El aprendizaje profundo también contempla el denominado aprendizaje del lenguaje natural, esto permite la creación, comprensión y clasificación de la documentación clínica, para lo cual se requiere un gran “corpus” o cuerpo de lenguaje del cual aprender; estas aplicaciones analizan notas clínicas no estructuradas en pacientes, preparar informes y facilitar conversaciones.

Parte de la Inteligencia Artificial son los sistemas expertos, los cuales no han caducado y siguen siendo usados, estos se basan en condicionantes o re-glas “si-entonces”, su auge fue en la década de los 80. Los sistemas expertos requieren expertos humanos para construir una serie de reglas en un dominio de conocimiento particular. Funcionan bien hasta cierto punto y son fáciles de entender. Sin embargo, cuando el número de reglas es grande, las reglas comienzan a entrar en conflicto entre sí o no son coherentes.

6. Beneficios y riesgos de la Inteligencia Artificial en el ámbito sanitario

A continuación, podemos conocer los beneficios que otorga la aplicación de Inteligencia Artificial en el ámbito de la salud:

Uno de los mejores ejemplos de la aplicación de Inteligencia Artificial en salud es Watson, desarrollado por IBM. La división de este sistema de Inteli-gencia Artificial centrada en aplicaciones sanitarias cuenta con una rama para oncología (Watson for oncology). Watson asesora a médicos que trabajan en hospitales de Estados Unidos, India, México, Tailandia, Eslovaquia o Corea. En la actualidad, Watson está entrenado para detectar 13 tipos de cáncer y su tec-nología ha llegado a 45.000 pacientes en todo el mundo.64

Otra de las aplicaciones de Inteligencia Artificial y la telemedicina es el asistente robótico para cirugías o robot-assisted surgery, este asistente brinda la posibilidad, al profesional médico, de realizar operaciones sin la necesidad de que doctor y paciente se encuentren en el mismo espacio geográfico; las vir-tual nursing assistant o enfermeras virtuales son aplicaciones de Inteligencia Artificial que asisten al paciente en cualquier momento que este desee, me-diante una aplicación que puede descargarse de internet hacia un dispositivo móvil.65

64 Guerrero Teresa y Lucio Cristina G., “La artificialInteligencia Artificial entra en el hospital”, periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-artificial/salud.html65 Martínez – García, Diana N. et al, “Avances de la Inteligencia Artificial en salud”, Revista Científica Dominio de las Ciencias, Dom. Cien., ISSN: 2477-8818, Vol. 5, núm. 3, julio 2019, p. 609, DOI: 10.23857/dc.v5i3.955 [Consultada 28 de abril de 2020], Disponible en: https://dialnet.unirioja.es/descarga/articulo/7154291.pdf





96

El objetivo de la compañía Alphabet es crear una aplicación Streams que centraliza la información sobre un paciente, puede generar alertas en base a esa información, permitiendo al profesional sanitario actuar con rapidez. Sen-trian apunta más allá, el objetivo es prever cuándo una persona se puede en-fermar, utilizando biosensores y aprendizaje automático para analizar datos.66

En la Universidad de Valencia (España) están entrenando a máquinas para ayudar a los médicos a realizar mejores diagnósticos, trabajan en un sistema de Inteligencia Artificial capaz de detectar el cáncer de pecho en mamografías usando la misma tecnología de la física de partículas con la que se detectó el Boson de Higgs en el CERN de Ginebra. El nivel de confianza del diagnóstico está en torno al 89%; si se combina con la valoración de radiólogos humanos, el porcentaje se eleva al 93%.67

En Silicon Valley trabajan ingenieros en biomedicina que investigan en el campo de la visión por computador y el aprendizaje profundo (deep learning) para que las computadoras detecten enfermedades tras analizar la fotografía de un ojo. Los diagnósticos de la diabetes, dolencias cardiovasculares, dege-neración macular o glaucoma pueden realizarse ya mediante observación de la retina.68

DeepHealth es un proyecto europeo para mejorar los diagnósticos médicos con Inteligencia Artificial que financia con 12 millones el programa Horizonte 2020, se utilizará la Computación de Alto Rendi-miento y Big Data en aplicaciones biomédicas, empleando técnicas de vanguardia de Inteligencia Artificial, aprendizaje profundo y visión ar-tificial para dar soporte a nuevas formas eficientes para el diagnóstico, seguimiento y tratamiento de enfermedades.69

Desde una clínica remota en el Amazonas (Brasil) mediante el uso de la platafor-ma denominada Portal Telemedicina que hace uso de la Inteligencia Artificial,

66 Martínez – García, Diana N. et al, “Avances de la Inteligencia Artificial en salud”, Revista Científica Dominio de las Ciencias, Dom. Cien., ISSN: 2477-8818, Vol. 5, núm. 3, julio 2019, pp. 610, DOI: 10.23857/dc.v5i3.955 [Consultada 28 de abril de 2020], Disponible en: https://dialnet.unirioja.es/descarga/articulo/7154291.pdf67 Guerrero Teresa y Lucio Cristina G., “Detección precoz del cáncer de mama”, periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-artificial/salud.html68 De Miguel, Mar, “Lili Peng: Los médicos necesitamos mejorar la forma en la que manejamos un gran volumen de datos”, Periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-ar-tificial/salud.html69 IT User Tech & Bussines, “DeepHealth, el proyecto europeo para mejorar los diagnósticos médicos con Inteligen-cia Artificial” [Consultada 30 de abril de 2020], Disponible en: https://www.ituser.es/actualidad/2019/05/deepheal-th-el-proyecto-europeo-para-mejorar-los-diagnosticos-medicos-con-inteligencia-artificial





97

es posible subir imágenes para diagnóstico, tales como una tomografía compu-tarizada; se compara las imágenes con datos clínicos históricos para sugerir un diagnóstico propuesto, que luego es verificado por un radiólogo en Sao Paulo.70

Meridian Medical Network Corp desarrolló Angel Robot, una solución que integra la Inteligencia Artificial con sistemas de apoyo de deci-siones clínicas, un robot que utiliza la tecnología de reconocimiento facial para reconocer y conversar con los pacientes a fin de remitirlos a especialistas o prescribirles medicamentos, solución probada en el condado de Jingde (China).71

En relación a los riesgos cabe mencionar:

� Diversos estudios indican que muchos sistemas de Inteligencia Artifi-cial afectan desproporcionadamente a grupos que ya están en desven-taja por factores como la raza, género y antecedentes socioeconómicos. La capacidad de detectar y corregir estos sesgos en los datos hace que sea importante contar con grandes volúmenes de datos y diferentes para que la amplitud y la profundidad de los datos expongan las suti-lezas correspondientes a cada grupo de pacientes.72

� Las personas que confían y utilizan Inteligencia Artificial en el ámbito sanitario deben incorporar prácticas que garanticen la integridad, con-fidencialidad y disponibilidad de la información del sistema.

� En algunas ocasiones, los datos clínicos son numerosos y no son de calidad, no hay información concreta del paciente (por ejemplo, dife-rentes direcciones de su vivienda), la información es inconsistente. En esta forma los datos no tienen significados clínicos, por lo que no se pueden crear ontologías a partir de ellos ni una capa semántica que sea

70 Bastias-Butler, Elizabeth y Ulrich, Andrea, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamericano de Desarrollo, Abril 2019, p. 16 [Consultada 05 de mayo de 2020], Disponible en: https://publications.iadb.org/es/transformacion-digital-del-sector-salud-en-america-latina-y-el-ca-ribe-la-historia-clinica71 Bastias-Butler, Elizabeth y Ulrich, Andrea, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamericano de Desarrollo, Abril 2019, p. 16 [Consultada 05 de mayo de 2020], Disponible en: https://publications.iadb.org/es/transformacion-digital-del-sector-salud-en-america-latina-y-el-ca-ribe-la-historia-clinica72 IOMED, 2020. “Retos de la Inteligencia Artificial en la medicina” [Consultada 30 de marzo de 2020], Disponible en: https://iomed.es/2020/01/08/retos-de-la-inteligencia-artificial-en-medicina/





98

la base de la Inteligencia Artificial ni conseguir que un sistema aprenda solo.73

� La influencia de los falsos positivos, los errores y la precisión del siste-ma de Inteligencia Artificial.74

� Otro de los riesgos es el sesgo de automatización, es decir, cuando los médicos aceptan sin cuestionar los consejos de las máquinas en lugar de mantener la vigilancia o validar esos consejos.75

� Es potencialmente problemática, para la aplicación clínica, la incapaci-dad de la Inteligencia Artificial para “explicar” la toma de decisiones de una manera comprensible. Existe la necesidad no solo de enfoques de buen desempeño, sino también fiables, transparentes e interpretables.

� Si bien los ejemplos descritos constituyen impresionantes éxitos prác-ticos, su efectividad está limitada por la incapacidad para “explicar” la toma de decisiones de una manera comprensible. Esto es potencial-mente problemático para su aplicación clínica, donde existe una ne-cesidad clara de enfoques que no son solo de buen desempeño, sino también fiables, transparentes e interpretables.76

7. Tendencias de regulación de la Inteligencia Artificial en el ámbito sanitario

La Inteligencia Artificial involucra la recolección, el almacenamiento, aná-lisis, procesamiento o interpretación de enormes cantidades de información (Big Data), que es aplicada para la generación de diversos resultados, accio-nes o comportamientos por parte de las máquinas. Se están desarrollando múltiples proyectos e iniciativas en todo el mundo por parte de los Estados,

73 Méndez S., Oscar, “Plenario 1 ¿Conectar datos o relacionar significados?, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 32-33 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false74 García L., Francisco R. y Moratilla V., José Juan, “Taller B1: nuevo paradigma de la compra por valor en sani-dad: AI (Inteligencia Artificial) aplicada a la radiología”, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 32-33 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false75 Canguilhem, George, “En los tiempos de la Inteligencia Artificial ¿Cuál será el destino de los médicos?”, Revista Argentina de Cardiología, Vol. 86 Nº 6, Diciembre 2018, [Consultada 27 de marzo de 2020], Disponible en: https://dialnet.unirioja.es/descarga/articulo/6775233.pdf76 IOMED, 2020. “Retos de la Inteligencia Artificial en la medicina” [Consultada 30 de marzo de 2020], Disponible en: https://iomed.es/2020/01/08/retos-de-la-inteligencia-artificial-en-medicina/





99

empresas y organismos internacionales sobre la Inteligencia Artificial y el uso de algoritmos.

Los Estados son los principales garantes del fortalecimiento de los dere-chos humanos cuando sistemas de Inteligencia Artificial son comprados, dise-ñados y/o implementados por el Estado para definir sus políticas públicas en el ámbito de la salud.

Las organizaciones internacionales de protección de los derechos huma-nos son conscientes de los riesgos y están tomando medidas para investigar el impacto real de la Inteligencia Artificial y elaborar las recomendaciones nece-sarias que faciliten a sus Estados miembros reaccionar ante las mismas.

En el marco de las Naciones Unidas, son múltiples las organizaciones y órganos que exploran las oportunidades y retos de la Inteligencia Artificial. La Unión Internacional de Telecomunicaciones (UIT), organismo especializado para las tecnologías de la información y la comunicación, se ha convertido en una de las plataformas clave para explorar este tema que se ha centrado en las estrategias para garantizar un desarrollo fiable, seguro e inclusivo de estas tecnologías y el acceso equitativo a sus beneficios.77

El Informe del Relator Especial sobre la promoción y protección del de-recho a la libertad de opinión y de expresión se constituye en un trabajo más centrado en analizar el impacto de la Inteligencia Artificial,78 que considera que una ley o regulación integral de la Inteligencia Artificial puede ser inade-cuada para un campo tan innovador, dado que tendría que ser muy general y podría terminar siendo demasiado vaga o demasiado restrictiva, por lo que es preferible una regulación sectorial. Su informe concluye con recomendaciones, tanto para los Estados como para las empresas que diseñan y utilizan Inteli-gencia Artificial.79

En el ámbito europeo, se destaca al Consejo de Europa que creó un nuevo Comité de Expertos sobre las dimensiones de derechos humanos del procesa-miento automatizado de datos y diferentes formas de Inteligencia Artificial.80

77 Gascón Marcén, Ana, “Derechos humanos e artificial” Inteligencia Artificial”, Setenta años de Constitución Italiana y cuarenta de Constitución Española, Volumen V, 2019 – 1221, pp. 335-350 [Consultada: 24 de abril de 2020], Dis-ponible en: https://www.researchgate.net/publication/339687454_Derechos_Humanos_e_Inteligencia_Artificial78 Naciones Unidas, “Promoción y protección de los derechos humanos: cuestiones de derechos humanos, incluidos otros medios para mejorar el goce efectivo de los derechos humanos y las libertades fundamentales” pp. 1-24 [Con-sultada: 02 de mayo de 2020], Disponible en: https://undocs.org/es/A/73/34879 Resman, Daniel; Schultz, Jason; Crawford, Kate y Whittaker, Meredith, “Algorithmic impact assessments: a practi-cal framework for public agency accountability” [Consultada: 02 de mayo de 2020], Disponible en: https://ainowins-titute.org/aiareport2018.pdf80 La Recomendación CM/REc (2019) del Comité de Ministros a los Estados Miembros sobre la protección de datos relacionados con la salud aprobado por el Comité de Ministros el 27 de marzo de 2019 en la 1342ª reunión de los





100

La Convención 108 de 1981 del Consejo de Europa sobre la protección de los individuos en el contexto del procesamiento de datos personales y tras su revi-sión Convenio 108+ actualizado y relacionado con los actuales retos digitales, utilizando como base los principios81 del Reglamento General de Protección de Datos (RGPD) y de la OCDE.

El Grupo europeo de ética de la ciencia y de las nuevas tecnologías (grupo consultivo de la Comisión) de la Unión Europea publicó, en marzo de 2018, una Declaración sobre Inteligencia Artificial, robótica y sistemas autónomos.82

Las directrices elaboradas por el grupo de expertos de alto nivel sobre la Inteligencia Artificial de la Comisión Europea, se basan en particular en el trabajo realizado por el Grupo europeo de ética de la ciencia y de las nuevas tecnologías y la Agencia de los Derechos Fundamentales. Las directrices pro-pugnan que, para lograr una Inteligencia Artificial fiable, son necesarios tres componentes: 1) debe ser conforme a la ley, 2) debe respetar los principios éticos y 3) debe ser sólida.

Las directrices señalan siete requisitos esenciales que deben respetar las aplicaciones de IA para ser consideradas fiables: 1) Intervención y supervisión humanas, 2) Solidez y seguridad técnicas, 3) Privacidad y gestión de datos, 4) Transparencia, 5) Diversidad, no discriminación y equidad, 6) Bienestar social y medioambiental y 7) Rendición de cuentas.83

La OCDE establece los siguientes principios sobre la Inteligencia Artificial (IA):

Delegados de los Ministros. Esta recomendación es aplicable al tratamiento de datos personales relacionados con la salud en los sectores público y privado. Por tanto, también se aplica al intercambio y al intercambio de datos relacionados con la salud mediante herramientas digitales (2. Alcance). Considerando que los datos relacionados con la salud pertenecen a una categoría especial que, en virtud del artículo 6 del Convenio 108, goza de un ma-yor nivel de protección debido al riesgo de discriminación que puede producirse con su tratamiento. Consejo de Europa, “Recomendación CM/REc (2019) del Comité de Ministros a los Estados Miembros sobre la protección de datos relacionados con la salud”, [Consultada 18 de octubre de 2020], Disponible: https://search.coe.int/cm/pages/result_details.aspx?objectid=09000016809e115481 1) Licitud, lealtad y transparencia, 2) Limitación de la finalidad, 3) Minimización de datos, 4) Exactitud, 5) Limita-ción del plazo de conservación, 6) Integridad y confidencialidad, y 7) Responsabilidad proactiva.82 Villalobos, María José, “Traducción de la Declaración sobre Inteligencia Artificial, robótica y sistemas “autónomos” del Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías”, [Consultada 03 de mayo de 2020], Disponible en: https://www.researchgate.net/publication/332061758_Traduccion_de_la_Declaracion_sobre_Inteligencia_ar-tificial_robotica_y_sistemas_autonomos_del_Grupo_Europeo_sobre_Etica_de_la_Ciencia_y_las_Nuevas_Tecno-logias83 Comisión Europea, “Generar confianza en la Inteligencia Artificial centrada en el ser humano” pp. 3-7, [Consul-tada: 19 de octubre de 2020], Disponible en: https://ec.europa.eu/transparency/regdoc/rep/1/2019/ES/COM-2019-168-F1-ES-MAIN-PART-1.PDF





101

1. La IA debería beneficiar a las personas y al planeta impulsando el cre-cimiento inclusivo, el desarrollo sostenible y el bienestar.

2. Los sistemas de inteligencia artificial deben diseñarse de manera que respeten el estado de derecho, los derechos humanos, los valores demo-cráticos y la diversidad, y deben incluir las salvaguardias adecuadas, por ejemplo, permitir la intervención humana cuando sea necesario, para garantizar una sociedad justa y equitativa.

3. Debe haber transparencia y divulgación responsable en torno a los sis-temas de IA para garantizar que las personas comprendan los resulta-dos basados en la IA y puedan desafiarlos.

4. Los sistemas de IA deben funcionar de manera robusta y segura a lo largo de sus ciclos de vida y los riesgos potenciales deben evaluarse y gestionarse continuamente.

5. Las organizaciones y las personas que desarrollan, implementan u operan sistemas de IA deben ser responsables de su correcto funciona-miento de acuerdo con los principios anteriores.84

El Reglamento General de Protección de Datos (RGDP)85 de la Unión Europea se constituye en la normativa relativa a la automatización de la toma de de-cisiones que puede realizarse a través de Inteligencia Artificial. El mismo que establece el derecho de los individuos a no ser sometidos a una decisión basa-da puramente en un proceso automatizado si ésta ha de tener efectos legales significativos en la vida de aquellos. Con el RGPD, se está avanzando hacia la privacidad desde el diseño y, por defecto, en la elaboración de programas de In-teligencia Artificial debiendo asumirse una perspectiva pro derechos humanos.

La Declaración de los Comisionados de Privacidad y Protección de Datos Personales relativa a la ética y protección de datos de Inteligencia Artificial reconoce el vínculo entre la recolección, uso y revelación de información per-sonal y el desarrollo de ciertas áreas de la IA: i) los datos personales son una categoría jurídica de información que se rige por reglas especiales que deben observarse en la industria de la Inteligencia Artificial; ii) no todo desarrollo de IA implica el tratamiento de datos personales; y iii) los datos personales no

84 OCDE, “¿Qué son los los principios de la OCDE sobre IA?” [Consultada: 25 de octubre de 2020], Disponible en: http://www.oecd.org/going-digital/ai/principles/85 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE [Consultada: 02 de mayo de 2020], Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A32016R0679





102

son la única información que se recolecta, almacena, analiza y usa para dicho efecto86.

El documento Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial87 de la Red Iberoamericana de Protección de Datos recomienda que los proyectos o desarrollos de Inteligencia Artificial que in-volucren el tratamiento de datos personales consideren lo siguiente: 1) Cum-plir las normas locales sobre el tratamiento de datos personales; 2) Efectuar estudios de impacto de privacidad; 3) Incorporar la privacidad, la ética y la seguridad desde el diseño y, por defecto; 4) Materializar el principio de respon-sabilidad demostrada; 5) Diseñar esquemas apropiados de gobernanza sobre tratamiento de datos personales (TDP) en las organizaciones que desarrollan productos de IA; 6) Adoptar medidas para garantizar los principios sobre TPD en los proyectos de IA; 7) Respetar los derechos de los titulares de los datos e implementar mecanismos efectivos para el ejercicio de los mismos; 8) Asegu-rar la calidad de los datos; 9) Utilizar herramientas de anonimización; e) 10) Incrementar confianza y transparencia con los titulares de los datos Personales.

Previo al diseño y desarrollo de productos de Inteligencia Artificial, en la medida que los productos entrañen un alto riesgo de afectación del derecho a la protección de datos personales de los titulares, se debe efectuar una evalua-ción de impacto en la privacidad (Privacy Impact Assessment – PIA por sus siglas en inglés).88 La privacidad por arquitectura (privacy by design) representa el empleo de mecanismos y soluciones que respetan los valores de privacidad durante todo el ciclo de vida de los datos recolectados en razón de aplicaciones, productos u otros servicios. En la misma línea, la seguridad por arquitectura (security by design) tiene por objetivo garantizar la seguridad de tales datos desde la concepción de los productos y servicios. Por último, poco estudiada, pero de extrema importancia está la ética por arquitectura (ethics by design),

86 Declaration on ethics and data protection in artificial intelligence, 40th International Conference of Data Protec-tion and Privacy Commisioners Tuesday 23rd October 2018 [Consultada 03 de mayo de 2020], Disponible en: https://edps.europa.eu/sites/edp/files/publication/icdppc-40th_ai-declaration_adopted_en_0.pdf87 Red Iberoamericana de Protección de Datos, “Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial”, texto aprobado por las Entidades integrantes de la RIPD en la sesión del 21 de junio de 2019 en la ciudad de Naucalpan de Juárez, México, [Consultada 02 de mayo de 2020], Disponible en: https://www.redipd.org/es/noticias/la-ripd-aprueba-sendos-documentos-sobre-inteligencia-artificial-y-proteccion-de-datos88 Red Iberoamericana de Protección de Datos, “Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial”, Texto aprobado por las Entidades integrantes de la RIPD en la sesión del 21 de junio de 2019 en la ciudad de Naucalpan de Juárez, México, [Consultada 02 de mayo de 2020], Disponible en: https://www.redipd.org/es/noticias/la-ripd-aprueba-sendos-documentos-sobre-inteligencia-artificial-y-proteccion-de-datos





103

porque sin valores éticos, la tecnología puede ser responsable de segregar, dis-criminar y así perjudicar la convivencia humana.89 90

En el ámbito internacional, existen diferentes guías y marcos de referencia para asegurar un procedimiento ético en la investigación médica, entre ellas, las normas de cooperación de la OCDE de 2018o la política de la Agencia Eu-ropea del Medicamento91 sobre publicación de datos clínicos. La Organización Mundial de la Salud (OMS) cuenta con un sitio web92 dedicado a informar y educar a los profesionales sobre cómo integrar la ética en el tratamiento de brotes de enfermedades infecciosas, en la investigación y en las prácticas de monitoreo que usen datos de salud abiertos. Entre las publicaciones están las Pautas de la OMS sobre la ética en la vigilancia de la salud pública93 en la cual se incluyen 17 pautas para asegurar que esta se realice de manera ética.

8. A modo de conclusión

� La Historia Clínica está conformada por datos de información perso-nal (nombre y apellidos, dirección, teléfono, documento nacional de

89 De Oliveira, Caio César. “Inteligencia Artificial al servicio de la convivencia humana: la importancia de normas de privacidad, seguridad y ética desde la concepción de productos y servicios”, Inteligencia Artificial y bienestar de las juventudes en América Latina, ISBN: 978-956-00-1237-1 Primera edición, diciembre 2019 [Consultada 28 de abril de 2020], Disponible en: https://drive.google.com/file/d/1OenZSNPgHUUd39ltaUIZw83B0Lt0GF6K/view90 Dicho marco de gobernanza de datos de salud debería contemplar: 1) Compromiso y participación, 2) Coordi-nación en el ámbito del gobierno y promoción de la cooperación entre organizaciones de procesamiento de datos personales de salud, tanto en el sector público como en el privado, 3) Revisión de la capacidad de los sistemas de datos de salud del sector público empleados para procesar datos personales de salud que sirvan y protejan el interés público, 4) Disposición de la información de manera clara para las personas, 5) Consentimiento informado y alter-nativas adecuadas, 6) Procedimientos de revisión y aprobación, según corresponda, sobre el uso de datos personales de salud con fines de investigación y otros propósitos de interés público relacionados con la salud, 7) Transparencia, a través de mecanismos de información pública que no comprometan la privacidad de los datos de salud, la pro-tección de seguridad, los intereses comerciales legítimos ni otros intereses de las organizaciones, 8) Maximización del potencial y promoción del desarrollo de la tecnología, 9) Establecimiento de una capacitación adecuada y desarrollo de competencias en medidas de privacidad y seguridad para quienes procesan datos personales de salud, 11) Implementación de controles y garantías y 12) Exigencia a las organizaciones que procesan datos personales de salud para que demuestren su cumplimiento con las expectativas nacionales en cuanto a la gobernanza de los datos de salud. OCDE, “Recomendación del Consejo sobre Gobernanza de Datos de Salud”, [Consultada 26 de octubre de 2020], Disponible en: https://cdn.www.gob.pe/uploads/document/file/306933/Recomendaci%C3%B3n_del_Conse-jo_sobre_Gobernanza_de_Datos_de_Salud_-_OCDE.PDF91 Unión Europea, “Agencia Europea del Medicamento” [Consultada 03 de mayo de 2020], Disponible en: https://europa.eu/european-union/about-eu/agencies/ema_es#c%C3%B3mo-funciona92 Organización Mundial de la Salud, “Acerca de la OMS” [Consultada: 03 de mayo de 2020], Disponible en: https://www.who.int/es93 Organización Panamericana de la Salud, “Pautas de la OMS sobre la ética en la vigilancia de la salud pública” ISBN: 978-92-4-151265-7, 2017 [Consultada: 02 de mayo de 2020], Disponible en: https://iris.paho.org/bitstream/handle/10665.2/34499/9789275319840-spa.pdf?sequence=6





104

identidad, número de tarjeta sanitaria, etc.) y datos de salud (pruebas diagnósticas, cirugías, medicamentos, etc.) No se puede concebir una historia clínica sin tener en cuenta los datos. La Historia Clínica Elec-trónica (HCE) debe ser proactiva, más inteligente, con una interfaz amigable e intuitiva que asegure la confidencialidad y seguridad de la información. La HCE debe ser “única” independientemente de dónde se genere y dónde se consulte. Por otra parte, a nivel internacional se per-sigue una HCE “sin fronteras”, las limitaciones que hoy se encuentran es que no todos los países utilizan los mismos estándares y en algunos países no existe una identificación de los pacientes.

� El futuro de la HCE se basa en 5 ejes de cambio: interoperabilidad, sis-temas de información, Internet de las Cosas (IoT), Big Data e Inteli-gencia Artificial. Finalmente, señalar las oportunidades que ofrecen las tecnologías y las expectativas del uso de la Inteligencia Artificial para optimizar la experiencia de la atención médica.

� Durante la última década, el denominado Big Data está produciendo una revolución en el ámbito sanitario con la posibilidad de manejar ingentes cantidades de datos, analizarlos y obtener conclusiones. En este contexto, los científicos, los profesionales de la salud y gestores se han centrado en la mejora de la salud pública, políticas, investigación clínica y la atención prestada a los pacientes mediante el análisis de grandes conjuntos de datos relacionados con la salud. Los ejemplos que ilustran la eficacia de los análisis basados en Big Data son innu-merables. Toda la información analizada puede ser aplicada a la inves-tigación, creación de guías clínicas, protocolos, entre otros. El Big Data supone un cambio de paradigma a la hora de extraer conclusiones y tomar decisiones.

� El Big Data y la Inteligencia Artificial están permitiendo nuevos usos en el campo de la salud con la ayuda de la memoria de computadoras, procesadores de gran alcance, algoritmos inteligentes, software inte-ligente, aprendizaje automático, aprendizaje profundo, matemáticas, estadísticas, entre otros. Existe la necesidad de mecanismos seguros, fiables y consistentes que permitan la total anonimización de los da-tos de los pacientes, que estos mecanismos impidan la identificación del sujeto, pero por los avances tecnológicos, la reidentificación de la persona es viable y no evita usos indebidos o discriminatorios. Un dato será anónimo cuando no sea posible su vinculación con la persona a la que hubiera identificado el dato, es por ello que las medidas de





105

anonimización deben ser encriptadas y tecnológicas para impedir la reidentificación de la persona. Cabe señalar que si los datos son anoni-mizados y a través de ellos no se puede identificar a la persona a la que pertenecen, quedan fuera del ámbito legal, porque no son considerados datos personales.

� La Inteligencia Artificial apoya a los médicos, no los reemplaza, dado que las máquinas carecen de cualidades humanas como la astucia, in-tuición, empatía o compasión, los médicos cuentan con ello y no po-drían ser fácilmente reemplazados. Por otro lado, los pacientes, si bien esperan el apoyo de equipos para el tratamiento de su enfermedad, no confiarán fácilmente en una máquina. Asimismo, la Inteligencia Arti-ficial podría evitar errores clínicos dados por registros humanos inco-rrectos, beneficiando así al paciente con datos precisos de su informa-ción o precautelando su seguridad. La Inteligencia Artificial se acopla con la medicina de precisión, dado que se provee un conjunto de datos y acciones precisas, esto representa un problema para determinados tipos de dolencia dado que las enfermedades pueden evolucionar de distintas formas en cada persona. Un inconveniente del uso del apren-dizaje automático o profundo es que requiere un conjunto de informa-ción amplio, esto permite a la matemática y estadística utilizadas obte-ner buenos resultados; si existe poca información, sea del conjunto de personas o variables, la información puede ser sesgada y no apoyar a un diagnóstico correcto.

� Las fuentes de información o los repositorios de datos a ser utilizados en las técnicas de Inteligencia Artificial deben ser considerables y amplios en la cantidad de variables y registros a manejar, dado que esto permitirá disminuir el sesgo de la información respecto a grupos de pacientes por edad, raza, género u otros. La Inteligencia Artificial es falible si los datos no son correctos o tienen sesgos, es por ello aconsejable que las valida-ciones de los resultados sean dirigidas por el personal de salud.

� Las organizaciones internacionales de protección de los derechos hu-manos (Naciones Unidas, Consejo de Europa, Unión Europea, entre otras) están tomando medidas para investigar el impacto de la Inteli-gencia Artificial y elaborando recomendaciones (Declaraciones, Infor-mes, entre otros instrumentos). El Reglamento de Protección de Datos Personales de la Unión Europea se constituye en la normativa de re-ferencia en relación a la automatización de la toma de decisiones que puede realizarse a través de Inteligencia Artificial. Por otra parte, la





106

Red Iberoamericana de Protección de Datos emitió en junio de 2019, las Recomendaciones Generales para el Tratamiento de Datos Persona-les en la Inteligencia Artificial.

Los sistemas de Inteligencia Artificial pueden crear problemas éticos y jurídicos en tres niveles distintos, pero relacionados: trans-parencia y responsabilidad algorítmica, control de los sistemas de In-teligencia Artificial y explicabilidad e inteligibilidad algorítmica. En el mundo, existen más de 300 iniciativas de políticas de Inteligencia Artificial, como, por ejemplo, Australia, Francia, Reino Unido, Estados Unidos, Canadá, México, Colombia, Argentina y Chile, entre otros.

Sistemas de Inteligencia Artificial son comprados, diseñados e im-plementados por el Estado para definir políticas públicas en el ámbito sanitario. Se debe tener especial cuidado cuando se tratan datos sensi-bles como son los datos de salud que pueden ser de interés de grandes empresas farmacéuticas, aseguradoras y empleadores, velar por que la aplicación de la Inteligencia Artificial no cause discriminación, respete la privacidad, seguridad y ética.

9. Referencias

Agencia de Gobierno Electrónico y Sociedad de la Información y del Conocimiento, “Qué es Salud.uy”, [Consultada: 06 de mayo de 2020], Disponible en: https://www.gub.uy/agencia-gobierno-electronico-sociedad-informacion-conocimiento/politicas-y-gestion/programas/es-saluduy

Agencia Española de Protección de Datos, “Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción”, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2020-02/ade-cuacion-rgpd-ia.pdf

Ahmed Zeeshan, Khalid Mohamed, Saman Zeeshan, Xinqi Dong, “Artificial intelli-gence with multi-functional machine learning platform development for better healthcare and precision medicine”, Database, 2020, Vol. 2020, [Consultada 15 de abril de 2020], Disponible en: https://academic.oup.com/database/article/doi/10.1093/database/baaa010/5809229

Amisha, Malik Paras, Pathania Monika y Rathaur Vyas Kumar. “Overview of artificial intelligence in medicine”, Journal of family medicine and primary care. 2019, vol 8, p. 2328–2331, [Consultada 27 de abril de 2020], Disponible en: http://www.jfmpc.com/temp/JFamMedPrimaryCare872328-1337112_034251.pdf

Baro Emilie, Degoul Samuel, Beuscart Regis y Chazard Emmanuel, “Toward a Literatu-re-Driven Definition of Big Data in Healthcare”. BioMed Research International,





107

2015, vol 2015, pp. 1–9, [Consultada el 07 de mayo de 2020], Disponible en: https://www.hindawi.com/journals/bmri/2015/639021

Bastias-Butler, Elizabeth y Ulrich, Andrea, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interamerica-no de Desarrollo, abril 2019, p. 27 [Consultada 05 de mayo de 2020], Disponi-ble en: https://publications.iadb.org/es/transformacion-digital-del-sector-sa-lud-en-america-latina-y-el-caribe-la-historia-clinica

Buch Varun H., Ahmed Irfan y Maruthappu Mahiben, “Artificial intelligence in me-dicine: current trends and future possibilities”, The British journal of general practice: the journal of the Royal College of General Practitioners, Marzo 2018, Vol. 68, pp. 143-144, [Consultada 13 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5819974/

Canguilhem, George, “En los tiempos de la Inteligencia Artificial ¿Cuál será el destino de los médicos?”, Revista Argentina de Cardiología, Vol. 86 Nº 6, Diciembre 2018, [Consultada 27 de marzo de 2020], Disponible en: https://dialnet.unirioja.es/descarga/articulo/6775233.pdf

Collen Morris F. “Origins of medical informatics”, The Western journal of medici-ne, 1986, Vol. 145, pp. 778-785, [Consultada 15 de abril de 2020], Disponi-ble en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1307150/pdf/westj-med00160-0042.pdf

Comisión Europea, “Generar confianza en la Inteligencia Artificial centrada en el ser humano” pp. 3-7, [Consultada: 19 de octubre de 2020], Disponible en: https://ec.europa.eu/transparency/regdoc/rep/1/2019/ES/COM-2019-168-F1-ES-MAIN-PART-1.PDF

Corporación Ruta N., “Informe Nº 1 Inteligencia Artificial en Salud”, Observatorio CT+i, 2018, [Consultada 28 de abril de 2020], Disponible en: https://www.researchga-te.net/publication/327751676_Informe_Inteligencia_Artificial_en_Salud

Cristea Uivaru, Lucia N., “La protección de datos de carácter sensible en el ámbito eu-ropeo. Historia Clínica Digital y Big Data en Salud”, Tesis Doctoral, Facultad de Ciencias Sociales de la Universidad Abat Oliba CEU, 2017, p. 303 [Consul-tada 10 de abril de 2020], Disponible en: https://www.tdx.cat/bitstream/hand-le/10803/442972/Tlcu.pdf?sequence=1&isAllowed=y

Davenport Thomas y Kalakota Ravi, “The potential for artificial intelligence in heal-thcare”, Future healthcare journal, 2019, Vol. 6, pp. 94-98, [Consultada el 12 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6616181/

De Miguel, Mar, “Lili Peng: Los médicos necesitamos mejorar la forma en la que mane-jamos un gran volumen de datos”, periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-artificial/salud.html

De Oliveira, Caio César. “Inteligencia Artificial al servicio de la convivencia humana: la importancia de normas de privacidad, seguridad y ética desde la concepción





108

de productos y servicios”, Inteligencia Artificial y bienestar de las juventudes en América Latina, ISBN: 978-956-00-1237-1 Primera edición, diciembre 2019 [Consultada 28 de abril de 2020], Disponible en: https://drive.google.com/file/d/1OenZSNPgHUUd39ltaUIZw83B0Lt0GF6K/view

De Quiros, Fernan B., “Experiencia de un proyecto de Informatización en Salud en América Latina: 15 años del desarrollo en el Hospital Italiano de Buenos Aires”, Hospital Italiano de Buenos Aires, Departamento de Informática en Salud, 2015 [Consultada 06 de mayo de 2020], Disponible en: https://www1.hospitalitaliano.org.ar/multimedia/archivos/noticias_archivos/11/Disertaciones/11_06-12Qui-ros-Experienciade15anosdelHospitalItalianodeBs.As.pdf

Declaration on ethics and data protection in artificial intelligence, 40th International Conference of Data Protection and Privacy Commisioners Tuesday 23rd October 2018 [Consultada 03 de mayo de 2020], Disponible en: https://edps.europa.eu/sites/edp/files/publication/icdppc-40th_ai-declaration_adopted_en_0.pdf

Diehl Joshua J., Schmitt Lauren M., Villano Michael, Crowell Charles R., “The Clinical Use of Robots for Individuals with Autism Spectrum Disorders: A Critical Re-view.”, Research in autism spectrum disorders, 2012, Vol. 6, pp. 249-262, [Con-sultada 14 de abril de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3223958/

Downing N. Lance, Bates David W. y Longhurst Christopher A., “Physician buenout in the electronic heath record era: are we ignoring the real cause?” Ann Inter Med 2018; 169:50-1, DOI: 10.7326/M18-0139 [Consultada 27 de abril de 2020], Disponible en: https://annals.org/aim/article-abstract/2680726/physician-bur-nout-electronic-health-record-era-we-ignoring-real-cause?doi=10.7326%-2fM18-0139

Eguia, Hans A. et al, “Clínicos ante las Tics: La transformación digital desde la pers-pectiva de SEMERGEN”, Revista de la Sociedad Española de Informática de la Salud, Nº 130, septiembre de 2018, pp. 42-43, [Consultada: 04 de mayo de 2020], Disponible en: https://seis.es/is-130-septiembre-2018/

Microsoft, “Common Data Model” [Consultada 07 de mayo de 2020], Disponible en: https://docs.microsoft.com/en-us/common-data-model/

Elizabeth Bastias-Butler y Andrea Ulrich, “Transformación digital del sector salud en América Latina y el Caribe: La historia clínica electrónica”, Banco Interame-ricano de Desarrollo, Abril 2019 [Consultada 05 de mayo de 2020], Disponi-ble en: https://publications.iadb.org/es/transformacion-digital-del-sector-sa-lud-en-america-latina-y-el-caribe-la-historia-clinica

Fernandes Lorraine, O’connor Michele y Weaver Victoria, “Big data, bigger outcomes: Healthcare is embracing the big data movement, hoping to revolutionize HIM by distilling vast collection of data for specific analysis”, Journal of AHIMA, 2012, Vol. 83, pp. 38–43, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pubmed/23061351





109

Gaitanou, Rea, Gaoufallou, Emmanouel y Panos, Balatsoukas, “The Effectiveness of Big Data in Health Care: A Systematic Review”, [Consultada 30 de marzo de 2020], Disponible en: https://www.researchgate.net/publication/278707106_The_Effectiveness_of_Big_Data_in_Health_Care_A_Systematic_Review

Gaitanou, Rea, Gaoufallou, Emmanouel y Panos, Balatsoukas, “The Effectiveness of Big Data in Health Care: A Systematic Review”, [Consultada 30 de marzo de 2020], Disponible en: https://www.researchgate.net/publication/278707106_The_Effectiveness_of_Big_Data_in_Health_Care_A_Systematic_Review

Galvez S., María, “Mesa Redonda: Requisitos de HDSQA”, XXVI Jornadas Nacio-nales de Innovación y Salud en Andalucía: Historia digital de salud que aprende, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070 [Consultada 04 de mayo de 2020], Dispo-nible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false

García C., Sergio, “Sesión plenaria experiencias; variabilidad en tecnología digital”, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 52-53 [Consultada 04 de mayo de 2020], Dis-ponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false

García L., Francisco R. y Moratilla V., José Juan, “Taller B1: nuevo paradigma de la compra por valor en sanidad: AI (Inteligencia Artificial) aplicada a la radiolo-gía”, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octu-bre de 2019, ISSN: 1579-8070, pp. 32-33 [Consultada 04 de mayo de 2020], Dis-ponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false

Gascón Marcén, Ana, “Derechos humanos e Inteligencia Artificial”, Setenta años de Constitución Italiana y cuarenta de Constitución Española, Volumen V, 2019-1221 [Consultada: 24/04/2020], Disponible en: https://www.researchgate.net/publication/339687454_Derechos_Humanos_e_Inteligencia_Artificial

Goodfellow Ian, Bengio Yoshua y Courville Aaron, “Deep Learning”, MIT Press, 2016, [Consultada el 12 de mayo de 2020], Disponible en: http://www.deeplearning-book.org

Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimiza-ción”, de la Comisión Europea de 10 de abril de 2014, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf

Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimiza-ción”, de la Comisión Europea de 10 de abril de 2014, [Consultada 25 de abril de





110

2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf

Grupo de Trabajo del Artículo 29, “Dictamen 015/2014 sobre técnicas de anonimiza-ción”, de la Comisión Europea de 10 de abril de 2014, pp. 26, [Consultada 25 de abril de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-12/wp216-es.pdf

Guerrero Teresa y Lucio Cristina G., “Detección precoz del cáncer de mama”, periódico El Mundo [Consultada 29 de abril de 2020], Disponible en: https://lab.elmundo.es/inteligencia-artificial/salud.html

Hsieh Jui-Chien, Ai-Hsien Li y Chung-Chi Yang, “Mobile, Cloud, and Big Data Compu-ting: Contributions, Challenges, and New Directions in Telecardiology”, Inter-national Journal of Environmental Research and Public Health, 2013, vol 10, Nº 11, pp. 6131–6153, [Consultada el 07 de mayo de 2020], Disponible en: https://www.mdpi.com/1660-4601/10/11/6131

Instituto de Formación Política y Gestión Pública, “Historia Clínica Electrónica – Sa-lud”, en Curso Cambios der paradigma en la medicina tradicional: Historia Clí-nica Electrónica, Ministerio de Gobierno, Buenos Aires, pp. 1-14.

IOMED, 2020, “Retos de la Inteligencia Artificial en la medicina” [Consulta-da 30 de marzo de 2020], Disponible en: https://iomed.es/2020/01/08/retos-de-la-inteligencia-artificial-en-medicina/

IT User Tech & Bussines, “DeepHealth, el proyecto europeo para mejorar los diagnósti-cos médicos con Inteligencia Artificial” [Consultada 30 de abril de 2020], Dis-ponible en: https://www.ituser.es/actualidad/2019/05/deephealth-el-proyec-to-europeo-para-mejorar-los-diagnosticos-medicos-con-inteligencia-artificial

Jee Kyoungyoung, Gang-Hoon Kim, “Potentiality of Big Data in the Medical Sector: Focus on How to Reshape the Healthcare System”, Healthcare Informatics Re-search, 2013, Vol. 19, Nº 2, pp. 79, [Consultada el 07 de mayo de 2020], Disponi-ble en: https://www.ncbi.nlm.nih.gov/pubmed/23882412

Joyanes A., Luis y Poyatos D., Juan Miguel, “Big Data y el sector de la salud: el futuro de la sanidad”, [Consultada 07 de mayo de 2020], Disponible en: http://poyatos-diaz.com/index.php/big-data-y-el-sector-de-la-salud-el-futuro-de-la-sanidad

Knoppers, Bartha Maria y Thorogood, Adrian Mark, “Ethics and Big Data in Health”, Current Opinion in Systems Biology, 4: 53-57. DOI: 10.1016/j.coisb.2017.07.001, [Consultada 03 de mayo de 2020], Disponible en: https://reader.elsevier.com/reader/sd/pii/S2452310017300264?token=B4EE37E6730B2AEBAB-C6560330561AED052BF2BAB48B02BA2411C4821A2BA3740DDCD416C4CE-6FE07E3CB2DD8A8F4C12

Kyoungyoung Jee y Gang-Hoon Kim, “Potentiality of Big Data in the Medical Sector: Focus on How to Reshape the Healthcare System”, Healthcare Informatics Re-search, 2013, Vol. 19, Nº 2, pp. 79, [Consultada el 07 de mayo de 2020], Disponi-ble en: https://www.ncbi.nlm.nih.gov/pubmed/23882412





111

Medinaceli D., Karina, “El tratamiento de los datos sanitarios en la historia clínica elec-trónica: caso boliviano”, Agencia Española de Protección de Datos Personales 2017, p. 590 [Consultada 27 de mayo de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-10/tratamiento-de-datos-sanitarios.pdf

Foundation for the National Institutes of Health, “Observational Medical Outcomes Partnership (OMOP)”, [Consultada 07 de mayo de 2020], Disponible en: https://fnih.org/what-we-do/major-completed-programs/omop

Llaser M., Mª R., Casado, M. y Buisan E., L., “Documento sobre bioética y Big Data de salud: explotación y comercialización de los datos de los usuarios de la sanidad pública”, Observatorio de Bioética y Derecho de la Universidad de Barcelona, 2015 [Consultada 25 de abril de 2020], Disponible en: http://www.publicacions.ub.edu/refs/observatoriBioEticaDret/documents/08209.pdf

Martínez – García, Diana N. et al, “Avances de la Inteligencia Artificial en salud”, Re-vista Científica Dominio de las Ciencias, Dom. Cien., ISSN: 2477-8818, Vol. 5, núm. 3, julio 2019, p. 609, DOI: 10.23857/dc.v5i3.955 [Consultada 28 de abril de 2020], Disponible en: https://dialnet.unirioja.es/descarga/articulo/7154291.pdf

Martínez Ramos Carlos, “Telemedicina. Aspectos Generales”, 2020, [Consultada 06 de mayo de 2020], Disponible en: http://www.revistareduca.es/index.php/reduca/article/viewFile/7/4C3%B3n%20de%20est%C3%A1ndares%20de%20calidad.pdf

Medinaceli D. Karina, “El tratamiento de los datos sanitarios en la historia clínica elec-trónica: caso boliviano”, Agencia Española de Protección de Datos Personales 2017, p. 592 [Consultada 27 de marzo de 2020], Disponible en: https://www.aepd.es/sites/default/files/2019-10/tratamiento-de-datos-sanitarios.pdf

Méndez S., Oscar, “Plenario 1 ¿Conectar datos o relacionar significados?, Revista de la Sociedad Española de Informática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 32-33 [Consultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false

Miller Douglas y Brown Eric, “Artificial Intelligence in Medical Practice: The Question to the Answer?”. The American Journal of Medicine, 2018, Vol. 131, Nº 2, pp. 129–133, [Consultada el 12 de mayo de 2020], Disponible en: https://kundoc.com/pdf-artificial-intelligence-in-medical-practice-the-question-to-the-answer-.htmlwww.deeplearningbook.org

Ministerio da Saude, “Sistemas”, [Consultada 06 de mayo de 2020], Disponible en: ht-tps://datasus.saude.gov.br/sistemas/

Mohr David C., Burns Michelle Nicole, Schueller Stephen M., Clarke Gregory y Klink-man Michael, “Behavioral Intervention Technologies: Evidence review and re-commendations for future research in mental health”, General Hospital Psy-chiatry. 2013, Vol. 35, Nº 4, pp. 332–338, [Consultada el 07 de mayo de 2020], Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3719158/





112

Moreno Antonio y Díaz Julia. “Inteligencia Artificial en salud desde la perspectiva del Instituto de Ingeniería del Conocimiento”, Revista de la Sociedad Española de In-formática de la Salud, Nº 136, octubre de 2019, ISSN: 1579-8070, pp. 32-33 [Con-sultada 04 de mayo de 2020], Disponible en: https://seis.es/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=https://seis.es/wp-content/uploads/2019/10/Revista-136.pdf&download=true&print=true&openfile=false

OCDE, “¿Qué son los los principios de la OCDE sobre IA?” [Consultada: 25 de octubre de 2020], Disponible en: http://www.oecd.org/going-digital/ai/principles/

OCDE, “Recomendación del Consejo sobre Gobernanza de Datos de Salud”, [Consul-tada 26 de octubre de 2020], Disponible en: https://cdn.www.gob.pe/uploads/document/file/306933/Recomendaci%C3%B3n_del_Consejo_sobre_Gober-nanza_de_Datos_de_Salud_-_OCDE.PDF

Organización Mundial de la Salud, “Acerca de la OMS” [Consultada: 03 de mayo de 2020], Disponible en: https://www.who.int/es

Organización Panamericana de la Salud, “Pautas de la OMS sobre la ética en la vigi-lancia de la salud pública” ISBN: 978-92-4-151265-7, 2017 [Consultada: 02 de mayo de 2020], Disponible en: https://iris.paho.org/bitstream/handle/10665.2/34499/9789275319840-spa.pdf?sequence=6

Puyol Montero, Javier, Aproximación jurídica y económica al Big Data, Valencia, Ti-rant lo Blanch, 2015, p. 33.

Raghupathi Wullianallur y Raghupathi Viju, “Big data analytics in healthcare: promi-se and potential”, Health Information Science and Systems, 2014, Vol. 2, Nº 1, [Consultada el 07 de mayo de 2020], Disponible en: https://link.springer.com/article/10.1186/2047-2501-2-3

Raghupathi Wullianallur y Raghupathi, Viju, “Big data analytics in healthcare: promi-se and potential”, Health Information Science and Systems, 2014, Vol. 2, Nº 1, [Consultada el 07 de mayo de 2020], Disponible en: https://link.springer.com/article/10.1186/2047-2501-2-3

Red Americana de Cooperación sobre Salud Electrónica, “Estándares para Dummis” [Consultada 04 de mayo de 2020], Disponible en: https://estandaresparadum-mies.blogspot.com/2019/12/racsel-red-americana-de-cooperacion.html

Red Iberoamericana de Protección de Datos, “Recomendaciones Generales para el Tra-tamiento de Datos en la Inteligencia Artificial”, texto aprobado por las Entida-des integrantes de la RIPD en la sesión del 21 de junio de 2019 en la ciudad de Naucalpan de Juárez, México, [Consultada 02 de mayo de 2020], Disponible en: https://www.redipd.org/es/noticias/la-ripd-aprueba-sendos-documentos-so-bre-inteligencia-artificial-y-proteccion-de-datos

Red Iberoamericana de Protección de Datos, “Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial”, Texto apro-bado por las Entidades integrantes de la RIPD en la sesión del 21 de ju-nio de 2019 en la ciudad de Naucalpan de Juárez, México, [Consultada 02 de mayo de 2020], Disponible en: https://www.redipd.org/es/noticias/





113

la-ripd-aprueba-sendos-documentos-sobre-inteligencia-artificial-y-protec-cion-de-datos

Red Iberoamericana de Protección de Datos, 2019, “Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial”, 21 de junio de 2019, [Con-sultada 15 de febrero de 2020], Disponible en: https://www.redipd.org/es/noti-cias/la-ripd-aprueba-sendos-documentos-sobre-inteligencia-artificial-y-pro-teccion-de-datos

Red Iberoamericana de Protección de Datos, Recomendaciones Generales para el Trata-miento de datos en la Inteligencia Artificial, [Consultada 12 de octubre de 2020], Disponible en: https://www.redipd.org/sites/default/files/2020-02/guia-reco-mendaciones-generales-tratamiento-datos-ia.pdf

Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al trata-miento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE [Consultada: 02 de mayo de 2020], Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A32016R0679

Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al trata-miento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE [Consultada: 02 de mayo de 2020], Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=CELEX%3A32016R0679

Resman, Daniel; Schultz, Jason; Crawford, Kate y Whittaker, Meredith, “Algorithmic impact assessments: a practical framework for public agency accountability” [Consultada: 02 de mayo de 2020], Disponible en: https://ainowinstitute.org/aiareport2018.pdf

Russell Stuart, Norvig Peter, Inteligencia Artificial: un enfoque moderno. Pearson Edu-cación, 2004, Colección de Inteligencia Artificial de Prentice Hall.

Scott Kruse Clemens, Goswamy Rishi, Raval Yesha y Marawi Sarah, “Challenges and Opportunities of Big Data in Health Care: A Systematic Review”, JMIR Medical Informatics, 2016, Vol. 4, Nº 4, p. 38, [Consultada el 07 de mayo de 2020], Dis-ponible en: https://medinform.jmir.org/2016/4/e38/pdf

Unión Europea, “Agencia Europea del Medicamento” [Consultada 03 de mayo de 2020], Disponible en: https://europa.eu/european-union/about-eu/agencies/ema_es#c%C3%B3mo-funciona

Villalobos, María José, “Traducción de la Declaración sobre Inteligencia Artificial, ro-bótica y sistemas “autónomos” del Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías”, [Consultada 03 de mayo de 2020], Disponible en: https://www.researchgate.net/publication/332061758_Traduccion_de_la_Declara-cion_sobre_Inteligencia_artificial_robotica_y_sistemas_autonomos_del_Gru-po_Europeo_sobre_Etica_de_la_Ciencia_y_las_Nuevas_Tecnologias




115


El derecho a una vida libre de algoritmos*The right to a life free of algorithms

Guillermo Antonio Tenorio Cueto**

resumenEl presente trabajo tiene como objetivo central plantar la posibilidad del surgimiento de un derecho humano derivado de la autodeterminación informativa e inmerso en la vida privada de las personas que pretenda excluir a las mismas de la obligación de participar en procesos tecnológicos donde su vida privada, su vida íntima, su propia imagen y sus datos personales sean comprometidos, analizados, explorados y abusados por organizaciones públicas y privadas. El eje central del trabajo estará vinculado a la predicción y segmentación psicológica, de comportamientos e intereses, así como la segmentación algorítmica con finalidades de perfilamiento para diversos fines comerciales, políticos, de vigilancia, entre otros, de igual manera a la analítica prescriptiva tendiente a la eliminación de participación humana en la toma de decisiones. Se propone, luego de revisar los alcances y los impactos de las nuevas tecnologías de inteligencia artificial y machine learning, explorar los alcances y efectos del derecho proponiendo la garantía del Estado de vigilar y evitar efectos discriminatorios por la negativa del consentimiento de participar en estos procesos vinculados a cualquier tratamiento de datos

palabras claveDerecho a la información; derecho a la privacidad, algoritmos, análisis predictivo.

abstractThe paper has as a central objective to plant the possibility of the emergence of a human right derived from the informative self-determination and inmersed in the private life of people who intend to exclude them from the obligation to participate in technological processes where their private life, their intimate life, your own image and your personal data are compromised, analyzed, explored and abused by public and private organizations. The central axis of this paper will be linked to the prediction and psychological segmentation of behaviors and interests, as well as the algorithmic segmentation with porpuse of profiling for varios comercial, political, surveillance, among others and in the same way to the prescriptive analytical tending to the elimination of human participation in decisión making. It is proposed, after reviewing the scope and impacts of the new artificial intelligence and machine learning tecnologies, to explore the scope and effects of the law, proposing the State´s guarantee to monitor and avoid discriminatory effects due to the refusal of consent to participate in these processes linked to any data processing.

keywordsRigth to information, right to privacy; Algorithms, predictive analysis.

*Artículo de Investigación postulado el 21 de febrero de 2020 y aceptado el 30 de septiembre de 2020**Profesor investigador en la Universidad Panamericana, Ciudad de México. ([email protected]) orcid.org/0000-0003-1719-2216




G U I L L E R M O A N T O N I O T E N O R I O C U E T O

116

SUMARIO1. Nota introductoria2. Los efectos de la tecnología en los derechos humanos3. La segmentación algorítmica y su impacto en la vida privadaa) Breve excursus sobre la vida privadab)Segmentación algorítmica, análisis predictivo y machine learning observando y apren-

diendo de nuestra vida privada4. ¿Es posible una vida libre de algoritmos, segmentación o análisis predictivo? 5. Conclusiones6. Bibliografía.

1.Nota introductoria.

La profunda disyuntiva que plantea el título del presente trabajo transporta al lector sólo a dos caminos posibles. Por un lado, suponer que los nuevos desa-rrollos tecnológicos son el único camino posible de evolución, comodidad o seguridad y que garantizan la potencialidad de diversos derechos humanos que al parecer sólo se alcanzan de manera plena con el mencionado desarrollo. Por el otro, suponer que los mismos desarrollos impactan de manera tan negativa en la esencia misma del ser humano como en su intimidad, en su libertad o en la igualdad, nos conduce a pensar el replanteamiento acerca de nuestra rela-ción con la tecnología y sobre todo a ser cautelosos al extremo respecto a su impacto en nuestra vida cotidiana.

Adicionalmente a lo anterior es pertinente señalar que el título del trabajo es sugerente al emplear la palabra “algoritmo” como un recurso de impacto que de alguna manera recoge lo que en el lenguaje cotidiano suponen las personas que realizan todas las propuestas tecnológicas contemporáneas englobando inteligencia artificial, máquinas de aprendizaje, robótica o la misma segmen-tación algorítmica. Es importante precisar que el lector podrá encontrar en el trabajo una diferenciación entre todas las propuestas tecnológicas.

Hablar de una vida fuera del ámbito de la tecnología sería como proponer una vida en “la caverna” haciendo alusión al famoso mito de Platón. Los desa-rrollos tecnológicos han acompañado al ser humano desde siempre y al menos desde la Revolución Industrial han planteado una sustancial modificación del comportamiento de nuestra vida en sociedad. Pensar hoy en una vida sin telé-fono, sin autos, sin computadoras o sin aviones sería prácticamente impensa-ble. En ese sentido el trabajo no propondrá una ruptura con la tecnología sino sólo planteará la pregunta sobre si toda la tecnología supone progreso alineado




E L D E R E C H O A U N A V I D A L I B R E D E A L G O R I T M O S

117

al respeto de la dignidad del Ser Humano o no y si no lo hace, nos preguntare-mos si es factible la elección de decidir no participar en dicho proceso tecnoló-gico con la debida protección y garantía del Estado de evitar su obligatoriedad.

El trabajo se ha estructurado de la siguiente manera con la cual creemos que podemos llegar a una aproximación para responder la pregunta que se formuló en el párrafo anterior. En un primer momento trabajaremos de mane-ra genérica sobre la relación entre tecnología y derechos humanos haciendo énfasis particular en los casos donde dichos derechos son violentados por los efectos de la aplicación tecnológica. Evidenciaremos sus consecuencias. La se-gunda parte del trabajo lo dedicaremos a la vida privada e íntima, pues más allá de otras repercusiones, es en los derechos humanos donde pretendemos radi-car la evidencia de la violación extrema de las nuevas tecnologías y en donde encontraremos los efectos más violentos respecto a la dignidad humana. Ahí abordaremos las posiciones transhumanistas que conllevan necesariamente la reducción de la persona a un conjunto de procesos bioquímicos nulificando su capacidad electiva. En un tercer momento propondremos una alternativa que condicione al Estado a proteger y garantizar un derecho vinculado con la liber-tad del Ser Humano de participar o no en estos procesos de nueva tecnología.

2. Los efectos de la tecnología en los derechos humanos

Durante el año 2014 Canadá tomó la decisión de incorporar un sistema de aprendizaje algorítmico automatizado para lograr procesar un número elevado de peticiones sobre migración que recibían las oficinas que atendían estos ca-sos. Desde luego la cantidad, no sólo de solicitudes sino de datos que se vincu-laban en su conjunto a las mismas era enorme, ocasionando que cada procesa-miento fuera muy lento y representara muchísimo trabajo para sus oficinas. La adquisición de este sistema automatizado le permitiría a Canadá poder resolver de manera eficiente la gestión de dichas solicitudes. Unos años más tarde, en el 2018 se detectó un serio problema sobre el aprendizaje automatizado del sistema que podría tener consecuencias lamentables en torno a las decisiones que tomaba la máquina respecto a las solicitudes, pues colocaba a las personas altamente vulnerables en situaciones de procesos injustos e ilegales.1

La referencia al caso anteriormente descrito, evidencia la profunda e íntima relación existente entre los dos conceptos que proponemos para este

1 Cfr. Molnar, Petra, LEX, Gill, Bots at the gate: A human rights analysis of automated decisión - making in Canada s inmigration and refugee system, Citizen Lab University of Toronto, 2018. [Consultado el 10 de febrero de 2020] Disponible en: https://citizenlab.ca/wp-content/uploads/2018/09/IHRP-Automated-Systems-Report-Web-V2.pdf





118

apartado. Los llamados derechos humanos en relación con la tecnología deben aparecer de manera vigorosa para exigir que el uso de la nueva tecnología, no participe en procesos de vulneración de aquellos. En ese sentido se actualiza toda la tradición que en materia de derechos humanos se ha acuñado respecto a su impacto, radicalidad, aparición y consecuencias. Así, Antonio E. Pérez Luño afirma que:

(…) los derechos humanos son un conjunto de facultades e institucio-nes que en cada momento histórico concretan las exigencias de la dig-nidad, la libertad y la igualdad humanas, las cuales deben ser recono-cidas positivamente por los ordenamientos jurídicos a nivel nacional e internacional.2

En ese tenor los derechos humanos no se encuentran encapsulados en un tiempo determinado, por el contrario, el devenir histórico obliga al Estado a su reconocimiento, actualización y defensa permanente en aras no sólo de la protección individual sino del sano desarrollo de la comunidad. En ese senti-do, José Castán Tobeñas nos refiere que los derechos del hombre “deben ser reconocidos y respetados por todo poder y norma jurídica positiva, cediendo no obstante en su ejercicio ante las exigencias del bien común”.3 A la par es imperante referir que dichos derechos humanos no son una graciosa concesión del Estado sino por el contrario, éste se encuentra obligado a su reconocimien-to en virtud de que aquellos se muestran de manera intrínseca en la naturaleza misma de la persona, en su dignidad específica. Esto fraseado de otra manera significa que por el simple y sencillo hecho de ser personas gozamos a plenitud de ellos siendo obligatorio su respeto y cuidado. Sobre el particular existen diversos autores que así lo refieren y que para no distraer la lectura de nuestro tema principal sólo los mostraremos como referencia.4

Ante ello es inevitable afirmar que el respeto a los derechos humanos su-pone un ejercicio colectivo, es decir, todos estamos llamados a protegerlos, res-petarlos y cuidarlos mientras que el Estado estará llamado a garantizar dicha protección poniendo a disposición de cada persona en lo individual todos y

2 Cfr. Pérez Luño, Antonio E, Los derechos fundamentales, Madrid, Tecnos, 2004, p. 183 Cfr. Castán Tobeñas, José, Los derechos del hombre, Madrid, Reus, 1992, p. 354 De manera enunciativa se refieren Ramirez García, H. Pallares Yabur, P. Derechos humanos, Oxford, México, 2011. Carbonell, M., El ABC de los derechos humanos y el control de convencionalidad, México, Porrúa, 2014. Morales Vega, L., Derechos humanos y su interpretación en la Corte, México, Dofiscal, 2018. Beitz, Ch., La idea de derechos humanos, España, Marcial Pons, 2014. Hierro, L., Los derechos humanos, una concepción de la justicia, España, Marcial Pons, 2016.





119

cada uno de los mecanismos necesarios para conseguir dicha protección. En ese sentido en prácticamente todos los sistemas de corte democrático encon-traremos instituciones, recursos y procesos vinculados a la protección de los derechos humanos. Por si fuera poco, en el ámbito internacional encontramos convenciones internacionales que amplían su contenido, que promueven prin-cipios y que contribuyen no sólo a su protección sino a la debida diligencia que todos los Estados deben poner para su resguardo.

De todo lo anterior desprendemos que los desarrollos tecnológicos no se escapan de ello. De hecho, la tecnología está llamada a colaborar con la con-creción de este ideario de los derechos humanos. Baste observar cómo al me-nos en el caso del derecho a la información, los desarrollos tecnológicos han impactado favorablemente a las personas. El tener acceso a la información de naturaleza pública como pueden ser el conocimiento en sí, servicios, trámites o productos que impactan en el desarrollo de las comunidades significa un determinante progreso para las mismas. Así el productor del campo puede co-nocer mejores técnicas de cultivo o producción, puede llevar a cabo trámites, pagar o contratar servicios o vender su producto desde el lugar donde vive sin menoscabar tiempo ni dinero en movilidad tramitológica. Esto se ha conocido nada más y nada menos como sociedad de la información la cual “es un nuevo modelo de organización industrial, cultural y social caracterizado por el acer-camiento de las personas a la información a través de las nuevas tecnologías de la comunicación”.5 Desde luego que dicho cambio de paradigma sin la pre-sencia tecnológica hubiera sido impensable.

Sin embargo, conforme los desarrollos tecnológicos plantean mayores y más acelerados retos de manera concomitante aparecen situaciones de riesgo, vulne-ración o menoscabo de los derechos de las personas y es ahí, donde es necesario advertir los peligros que suponen dichos desarrollos para todos. Así por ejemplo, las cámaras de video vigilancia con motivo de la seguridad (tema al que volve-remos más adelante) se justifican a plenitud cuando se argumenta a su favor un mejor y mayor control de la prevención del crimen en las calles de las ciudades pero que desde otra perspectiva, alimentan el temor de las personas cuando sa-bemos que, sobre la información recabada respecto a nuestro comportamiento en la vía pública, es utilizada para fines diversos incluidos en algunos casos para proveer de información a la delincuencia organizada a partir de la colusión entre ésta y las autoridades encargadas de administrar dicha información. En ese mis-mo tenor y con la puesta en marcha de la tecnología de reconocimiento facial el

5 Cfr. Campuzano Tome, Herminia, Vida Privada y Datos Personales, Madrid, Tecnos 2000





120

temor se agrava cuando se establece un mecanismo de crédito social, de monito-reo constante o simplemente de patrones de movilidad que sólo corresponden a las personas. En ese sentido refiere Isabel Lucena-Cid que:

(…) la amenaza a los derechos fundamentales es evidente si no se esta-blecen mecanismos de protección de los ciudadanos. Esto es especial-mente cierto en el caso de personas y miembros de algunas minorías en las grandes ciudades, que ya de por sí pueden ser objeto de vigilancia e injustamente perseguidos por la policía y las autoridades locales”.6

A la par Howard Rheingold ha sido enfático en señalar que “la vigilancia sobre millones de personas que están interactuando en línea debería preocuparnos tanto como cualquier otro tipo de vigilancia o control que podría llegar a ejercer sobre nosotros el Estado y otras entidades que operan en Internet”.7

Como podemos apreciar la tecnología tiene un insumo fundamental que es la información. En ese sentido uno de los problemas medulares respecto al impacto en los derechos humanos por parte de aquella se encontrará inherente a la captación, uso, procesamiento y toma de decisiones que conlleve la misma. Así, en los dos casos relatados anteriormente (migración en Canadá y cámaras de seguridad) presentan el mismo problema que es un uso indiscriminado de la información en alguna de sus etapas que acaba terminando en una violación a los derechos humanos de una persona, un grupo o la sociedad entera.8

A pesar de ello la necesidad de una información abierta en todos los sen-tidos es algo que ha venido alimentando a la industria tecnológica desde hace varios años. La maximización de la libre información permite que redes so-ciales como Facebook, Instagram, Twitter o Youtube partan de una idea de la información libre donde la vida privada no es oponible al considerarse como plataformas de interacción social a partir de las vivencias personales. Y lo mis-mo pasa con Wikileaks, Google o Cambridge Analytica donde el insumo que genera las mayores cantidades de dinero son los datos y la información cruza-da que de esos datos emigran. ¿Qué más da invadir la vida privada de las per-sonas si podemos entender su comportamiento frente a determinadas marcas comerciales o preferencias políticas?

6 Cfr. Lucena-Cid, Isabel, El impacto de las nuevas tecnologías en los derechos humanos, In: Revista Aporia Jurídica (on-line). Revista Jurídica do Curso de Direito da Faculdade CESCAGE. 8ª. Edição. Vol. 1 (jul/dez-2017). p.167 Rheingold, Howard, Multitudes inteligentes. La próxima revolución social, Barcelona: Gedisa, 2004, P. 358 Stallman, Richard, A radical proposal to keep your personal data safe, The Guardián, Abril 2018. Disponible en: https://www.theguardian.com/commentisfree/2018/apr/03/facebook-abusing-data-law-privacy-big-tech-survei-llance, Fecha de última consulta el 6 de febrero de 2020.





121

El principal cambio de paradigma que incide directamente lo describe a la perfección Yuval Harari al referir que:

La libertad de expresión se concedió a los humanos... La libertad de información, en cambio, no se concede a los humanos. Se concede a la información… este valor nuevo puede afectar a la tradicional libertad de expresión, al dar trato de favor al derecho de información para que circule libremente sobre el derecho de los humanos a poseer datos y a restringir su movimiento.9

Esta forma de entender la información y los datos que la componen impactarán en los siguientes años de manera determinante en múltiples derechos humanos que durante los últimos dos siglos se ha buscado proteger. La nueva forma de entender la relación con la tecnología aparenta implícitamente un menoscabo de la libertad, la privacidad, la intimidad, los derechos a un debido proceso o la igualdad como baluarte de la democracia contemporánea. La liberación de información es fundamentalmente liberación de datos10 en donde la renuncia voluntaria a la privacidad y a otros derechos supone que los algoritmos conoz-can mis gustos, aficiones, preferencias o lugares a donde me dirijo11 en aras de una mayor comodidad, seguridad e inmediatez.

Pero el desafío más radical para la defensa de los derechos humanos viene alrededor de una fuente tecnológica que, fuera de la mente y comportamiento propiamente humano, genera decisiones que afectan a las personas en térmi-nos de violación a su privacidad o en términos de discriminación. El arribo del llamado internet de las cosas, la segmentación algorítmica o el machine lear-ning que han supuesto un nivel avanzado en términos de comodidad, conoci-miento y procesamiento de grandes cantidades de datos hoy representan una frontera cada vez más lejana de los derechos humanos. Veamos a continuación los impactos y alcances que esto propicia.

9 Cfr. Harari, Yuval, Homo Deus, Debate, México, 2016, p.416.10 Ibidem, p. 417.11 Ibidem, p. 418





122

2. La segmentación algorítmica y su impacto en la vida privada.

a) Breve excursus sobre la vida privada

La llamada vida privada ha estado presente en toda la historia de la humanidad aún y cuando no ha sido objeto de estudio en toda ella12. Resulta curioso que las referencias que vamos encontrando invariablemente permanecen asociadas a la cara opuesta de la vida pública. En ese sentido algunas referencias de la misma la señalan en tanto que no es vida pública o en tanto que esta última es sucedánea de la primera13 reduciéndola a un ambiente oscuro o en sombras14 impidiendo ob-servar a su interior para conceptualizarla o entender el alcance de su significado.

La palabra “privado” va transformándose como la vida pública también lo hace. La aparición del Estado Moderno como fenómeno político totalizante absorbe y dota de un nuevo contenido a estas palabras. “Privado” significará

“… sin oficio público, sin ocupar cargo público o posición oficial, sin empleo que lo implique en los asuntos públicos. El público es, en contraposición a la privacidad, el poder público”.15 Ello adquiere una relevancia importante pues evidencia prima facie porque los llamados servidores públicos siempre serán nuestra primera categoría en donde, respecto a sus actividades, el derecho a la vida privada prácticamente desaparece.

Al parecer estos primeros tratamientos de la llamada vida privada se en-cuentran claramente vinculados a las actividades o actos que en la cotidia-nidad se desarrollan pero en realidad, aquella “…se desenvuelve en infinitas gradaciones y matices que oscilan entre los polos de la absoluta publicidad

– cuando la persona desaparece por completo bajo la vestidura social- y la absoluta soledad, en donde la persona vive íntegra y absolutamente su vida auténtica”,16 teniendo inclusive que este llamado “polo de absoluta soledad” se desdobla o nos muestra una faceta más profunda de la vida privada que es la denominada “intimidad”.

12 Cfr. Suárez Crothers, Christian. El concepto de derecho a la vida privada en el derecho anglosajón y europeo. Rev. derecho (Valdivia). [online]. dic. 2000, vol.11 [citado 24 Noviembre 2015], p.103-120. Disponible en la World Wide Web: <http://mingaonline.uach.cl/scielo.php?script=sci_arttext&pid=S071809502000000100010&lng=es&nrm=iso>13 Cfr. Arendt Hannah, La condición humana, PAIDOS, Barcelona, 200514 El juego entre la luz de la publicidad y la oscuridad de la vida privada lo manifiesta Habermas al referir que “…el reino de la necesidad y de la transitoriedad permanece anclado en las sombras de la esfera privada. Frente a ella se alza la publicidad,… como un reino de la libertad y la continuidad. A la luz de la publicidad todo se manifiesta tal como es, todo se hace a todos visible. ” Cfr. Habermas, Jürgen, Historia y crítica de la Opinión Pública, GILI, Barcelona 2004, p.4315 Cfr. Ibidem, p. 5016 Cfr. García Llorente, Manuel, Ensayo sobre la vida privada, Editorial Encuentro, Madrid, 2011, p. 14





123

Vida Privada e intimidad forman parte de ese espacio consagrado que le pertenece al individuo y que sólo con su consentimiento los terceros penetrarán hasta donde el mismo individuo permita. Llama la atención que la traducción al castellano del famoso trabajo de Warren y Brandeis The rigth to privacy17 sea el derecho a no ser molestado18 y que dicho trabajo ya en la jurisprudencia de la Corte Suprema de los Estados Unidos sea entendido como el right to be alone es decir el derecho a estar solo.19 Es particularmente interesante ello pues en el uso cotidiano del lenguaje encontramos que privacy es usado como privado en tanto que en realidad privacy debe entenderse como íntimo.

Así cuando hablamos de intimidad nos estamos refiriendo a “aquello que está lo más dentro posible. No sólo lo que está en el interior del hombre sino lo que está el cogüelmo mismo de su interioridad humana”20 mientras que cuando nos referimos a vida privada hacemos alusión a un ámbito de mayor publicidad aunque igualmente contenida al consentimiento de la persona. “En cuanto la intimidad excede de una persona, aunque sea en un círculo cerrado como la familia, ya no es tal intimidad, sino vida privada”21 en ese sentido la característica esencial de la intimidad será su impermeabilidad.22

Así, aún cuando intimidad y vida privada se encuentran por decirlo co-loquialmente, en la misma bolsa, obedecen a contenidos distintos y por tanto el tratamiento jurídico que se les puede dar también es diverso. Baste como ejemplo lo que sucede en materia de la llamada autodeterminación informa-tiva y en concreto cuando se buscan proteger datos personales. Ahí, se hace la diferencia entre dos categorías de datos, aquellos denominado sensibles y los datos en general, atribuyendo a los primeros una vinculación con la vida íntima y a los segundos una vinculación con la vida privada trayendo como consecuencia inmediata que para hacer tratamiento de los primeros se requiere

17 Cfr. Warren, S. D. Y Brandeis, L. D. El derecho a la intimidad, edición a cargo de Benigno Pendás y Pilar Baselga, Madrid, Civitas, 199518 Sirva como ejemplo el magnífico libro así titulado de CARRILLO, Marc, El Derecho a no ser molestado, Thomson Aranzadi, Navarra, 2003.19 Ibidem, p. 15. Al respecto el autor refiere que: “De forma más concreta, el derecho norteamericano la define como la potestad del titular a vivir sólo y a no ser molestado, que permite al individuo decidir soberanamente sobre su independencia personal” De igual manera lo refiere José María Desantes “…ya en 1902 la jurisprudencia americana definió la intimidad como el derecho a estar sólo...”. Cfr. Desantes Guanter, José María, Derecho a la información, COSO, Valencia, 2004, p.23020 Cfr. Desantes Idem.21 Cfr. Ibidem, p. 23322 Cfr. Carrillo, op. cit. p. 51. Vale mucho la pena la definición que el autor construye de la intimidad al referir que es “…aquella que podríamos definir como el derecho de la persona no sólo a reservarse una esfera de vida propia y como tal impermeable a los demás, sino también a disponer de la capacidad de impedir o limitar la posterior difu-sión y eventual manipulación o instrumentalización de una información lesiva”.





124

un consentimiento expreso del individuo que los otorga mientras que, para los segundos sólo es necesario un consentimiento tácito. Ello evidencia en el plano de lo cotidiano los alcances de esta diferencia entre vida privada e íntima.

A diferencia de lo que ocurre con la intimidad en su carácter cerrado, la vida privada es una especie de círculo más ampliado, así ya lo refiere por ejemplo el Tribunal Europeo de Derechos Humanos en el caso Costelo-Roberts vs U.K.23 o bien como posición extrema el Juez Black de la Corte Suprema de los Estados Unidos al referir que“…el concepto de privacy es un concepto amplio, abstracto y ambiguo…”24 Lo cierto es que hablar de vida privada y no de intimidad nos permite hablar ya no de pensamientos, ya no de sentimientos sino de acciones o palabras que si bien es cierto no son públicas también es cierto no son íntimas.

La vida privada se desarrolla en privado y no en la intimidad. La vida privada no es pública pues en principio se encuentra contenida por lugares y personas que entienden la naturaleza de la acción o de la palabra como algo que ha sido compartido pero que les impide compartir. Sólo para ilustrar de manera pedagógica lo que hemos venido refiriendo José María Desantes re-fiere que “La esfera de la vida pública sería como la señal verde: paso libre a la información siguiendo la máxima romana publica publice tractanda sunt, privata private. La de la vida íntima equivaldría a la luz roja: en ningún caso se puede penetrar en el interior de la persona contra su voluntad porque tiene derecho a reservárselo. La de la vida privada representaría el ámbar: en prin-cipio no es escrutable, -privata private- ni difundible cuando no trascienda de la privacidad; pero sí cuando trasciende a la vida pública”.25

b) Segmentación algorítmica, análisis predictivo y machine learning observando y aprendiendo de nuestra vida privada

En el año 2010 José Luis Piñar Mañas adelantaba de manera sugerente una pre-gunta que cobra sentido en este trabajo, ¿Existe la privacidad?26 Esta pregunta,

23 Cfr. Ruiz Miguel, Carlos. El derecho a la protección de la vida privada en la jurisprudencia del Tribunal Europeo de Derechos humanos. Cuadernos Civitas, Madrid, 1994, pp. 3424 Cfr. Suárez, op. cit. Es imperante decir que así también lo entienden otros tribunales como por ejemplo la Corte Interamericana de Derechos Humanos en el caso Atala riffo y niñas vs. chile de 24 de febrero de 2012 donde refiere la Corte, en el párrafo 162 que “…la vida privada es un concepto amplio que no es susceptible de definiciones ex-haustivas…”. Esto no significa que no haya tratado de precisar el concepto, por el contrario en diversos casos que trataremos más adelante ha tratado de aproximarse a diversos componentes de esta vida privada. Lo mismo ocurre con el Tribunal Europeo de Derechos Humanos.25 Cfr. Desantes, op. cit. p. 23026 AA.VV., Protección de datos personales. Compendio de lecturas y legislación, H. Cámara de Diputados - IFAI- ITAM, TIRO CORTO EDITORES, México, 2010, p.15





125

10 años después de ser lanzada se actualiza, de cara a lo que en ese tiempo ha ocurrido, en el enfrentamiento entre la vida privada y los adelantos tecnológi-cos. La necesidad imperante de interpretar y procesar datos provenientes de las esferas privadas e íntimas de las personas ha evolucionado en un imperativo con la explosión de las llamadas redes sociales. El flujo interminable de datos respecto al comportamiento de las personas en su vida cotidiana ha supuesto el nacimiento de toda una industria tecnológica que se alimenta de ellos y que analiza sistemáticamente su impacto en el comercio, en la política o en cual-quier otro ámbito de la vida humana. Los algoritmos hoy, constituyen esa herra-mienta tecnológica que nos permite entender y aprender de los datos arrojados por todos. Utilizaremos entonces el término algoritmo, “para referirnos a una serie lógica de pasos para organizar y actuar sobre un conjunto de datos con el objetivo de lograr rápidamente un resultado”.27 Es sin lugar a equívocos, la herramienta que nos permite como humanidad trabajar con grandes cantidades de datos para entenderlos, interpretarlos y poder tomar decisiones con ellos.

En ese tenor, es inevitable recordar el famoso caso del supermercado Wal-mart conocido como “pañales-cerveza”28 donde a partir del procesamiento ade-cuado de los datos se tuvo un incremento sustancial de venta de ambos produc-tos. Este ejemplo produce, al menos desde la óptica comercial, una imperiosa necesidad de entender el comportamiento del mercado respecto a los bienes y servicios que se requieren. Invariablemente un adecuado entendimiento de los datos en el sector comercial tendrá mejores resultados de venta. ¿Qué debemos saber de las personas para poder incrementar las ventas? ¡Todo! Así lo hemos podido constatar desde el famoso caso de la red social Facebook respecto al estudio que hizo sobre comportamiento emocional en 2014.29 Hoy, desarrollos tecnológicos como el Feel Data30 revelan la importancia de cada dato que ema-na desde nuestra vida privada. Ya volveremos más adelante a este tema.

Pero hoy en día la utilización de los datos y la información que emana de las personas va más allá de un mero análisis de datos. La llamada inteligencia

27 Cfr. Ortiz Freuler, J. Y Iglesias, C. Algorithms e Inteligencia Artificial en Latin America: Un Estudio de implementa-ciones por parte de Gobiernos en Argentina y Uruguay, World Wide Web Foundation, 2018, p. 8. 28 Para mayor abundamiento del caso https://www.businessintelligence.info/dss/ejemplo-data-mining-pana-les-y-cerveza.html. Última consulta el 5 de febrero de 2020.29 Al respecto se puede consultar:https://www.bbc.com/mundo/noticias/2014/06/140630_tecnologia_facebook_experimento_emociones_criticas_lv. Ultima fecha de consulta: 6 de febrero de 2020.30 Entendiendo por Feel Data “una nueva definición para cuantificar la intensidad emocional de los consumidores y de esta manera generar un análisis deductivo sobre los pensamientos que se involucran en el momento de la com-pra”. Disponible en: https://www.forbes.com.mx/feel-data-nueva-forma-de-descifrar-a-los-clientes/ Última fecha de consulta el 25 de enero de 2020.





126

artificial a través de la tecnología de aprendizaje no sólo procesa los datos que podemos suministrar, sino que es capaz de aprender de ella. Así, por ejemplo, el proyecto lifenaut31 es quizás uno de los que reflejan mejor lo que referimos. Lifenaut “es un proyecto de investigación basado en la web que permite a cual-quier persona crear una copia de seguridad digital de su mente y código genético”.32 Dicho proyecto tiene como objetivo principal “…explorar la trans-ferencia de la conciencia humana a las computadoras / robots y más allá”.33

En este caso la simple creación de una base de datos se volvería irrelevante por si misma lo importante es la creación del Mindlife que no es otra cosa que

“una base de datos de reflexiones personales capturadas en video, imagen, audio y documentos… que se pueden guardar, buscar, descargar y compartir con amigos”,34 a efecto de crear una mente digital que eventualmente pueda ser reproducida luego de la muerte y que interactúe de la misma manera que la persona viva. El proyecto recolecta también el código genético que eventual-mente podría reproducir un cuerpo que sea cargado con el Mindlife.35

Esta recopilación de aprendizaje no sólo se encuentra en proyectos que quizás nos parecen lejanos. Hoy en día una buena parte de la humanidad uti-liza Spotify, Amazon, Netflix o Waze sólo por mencionar algunas, aunque en realidad me atrevo a asegurar que la mayoría de las aplicaciones con las que convivimos a diario vienen acompañadas de algoritmos de aprendizaje que lo-gran segmentar nuestras preferencias cotidianas. Es notorio que la comodidad que podemos encontrar en la segmentación de preferencias es profunda. Para que nos desgastaríamos eligiendo música en un mar de posibilidades si todos los días nos gusta oír el mismo tipo de canciones. La máquina aprende de nues-tras preferencias y nos arroja la música que nos gusta. Lo mismo ocurre con las películas o con los libros. Lo mismo ocurre con las rutas que elegimos a diario o nuestras aplicaciones de ejercicio. Lo mismo ocurre con nuestros amigos y con nuestras preferencias políticas, religiosas o de consumo. Un mundo de análisis predictivo del comportamiento humano.

Claramente el sueño de Aaron Swartz sobre el derribo de las fronteras de la información en su famoso documento “Manifiesto por la Guerrilla del acce-so abierto”36 se cumple a cabalidad. La información per se debe, dice Swartz,

31 https://www.lifenaut.com/32 Idem33 Idem34 Idem35 Idem36 Disponible en: https://endefensadelsl.org/guerrilla_del_acceso_abierto-binder.pdf. Última fecha de consulta el 29 de enero de 2020.





127

ser libre. Es curioso que nada de lo descrito anteriormente se podría realizar si el muro de la vida privada se hubiera robustecido. En su lugar a diario en-contramos millones de aceptaciones para el tratamiento de datos que revelan estados de nuestra vida privada con la única finalidad de gozar de aplicaciones que nos hagan más cómoda la vida pero que en realidad suponen un ejercicio profundo de penetración en nuestros pensamientos, sentimientos y reacciones más profundas.

Ante esta realidad ¿habrá forma de proteger en algo nuestra privacidad? Algunos proponen que “la inteligibilidad del algoritmo o modelo de IA es cla-ve, tanto para entender su efectividad como para asegurar la legitimidad de su implementación... La inteligibilidad cobra particular relevancia cuando se trata de sistemas que definen o afectan la provisión de un servicio público, o que en cualquier modo afecten de manera sustancial los intereses, derechos o libertades de una persona”37 pues claramente se percibe que los efectos de una tecnología pueden llevar a consecuencias negativas por no decir lamentables. Es claro que proponer datos a la máquina para que ésta los interprete, procese o tome decisiones puede conducir a situaciones que inclusive los humanos no entendemos. Así surge de inmediato la necesidad de

“(…) reducir la opacidad. Al extremo de opacidad se le suele llamar “caja negra”: quizás podamos observar los inputs y outputs, pero nunca lle-gamos a saber qué sucede entre estos dos polos. Los sistemas que ope-ran como una caja negra eliminan la posibilidad de realizar un control descentralizado sobre la calidad de los outputs, y minan la confianza de las poblaciones afectadas (…)”

Toda vez que no se sabe al día de hoy porque la inteligencia artificial toma las decisiones con las que puede sesgar a un grupo o lesionar los derechos huma-nos de otro.

Todo ello ha ocasionado que surjan declaraciones internacionales como la de Toronto38 en la cual se obliga a los desarrolladores de software a promover la transparencia e igualdad en la creación y revisión de algoritmos para terminar con los problemas de racismo y discriminación evitando con ello los llamados sesgos implícitos. Pero ¿pueden los algoritmos evadirse de ello pensando por

37 Cfr. ORTIZ, op.cit. p. 1038 Disponible en: https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08-2018.pdf, Última fecha de consulta el 5 de febrero de 2020





128

ejemplo es las llamadas “cajas negras”? Así refiere el preámbulo de dicha declaración que:

Desde la vigilancia policial hasta los sistemas de bienestar, el discur-so en línea y la atención médica, por nombrar algunos ejemplos, los sistemas que emplean tecnologías de aprendizaje automático pueden cambiar o reforzar enormemente y rápidamente las estructuras de po-der o las desigualdades en una escala sin precedentes y con un daño significativo a los derechos humanos. Existe un conjunto sustancial y creciente de evidencia que muestra que los sistemas de aprendiza-je automático, que pueden ser opacos e incluir procesos inexplicables, pueden contribuir fácilmente a prácticas discriminatorias o represivas si se adoptan sin las garantías necesarias39.

Claramente la preocupación sobre la opacidad y los daños que generan los llamados sistemas de aprendizaje son notorios y producen al día de hoy serias dudas sobre su oportunidad y aplicabilidad por la constante producción de efectos discriminatorios o represivas. Pero entonces ¿Es posible negarse a ser incluido en estos procesos? ¿Constituye un derecho humano exigir la garantía de la no inclusión en dichos procesos? ¿El derecho a la autodeterminación in-formativa ampara la libre elección de no ser segmentado?

4. ¿Es posible una vida libre de algoritmos, segmentación o análisis predictivo?

Las respuestas a las preguntas con las que cerramos el apartado anterior po-drían partir de lanzar otra pregunta que es si toda la utilización de algoritmos para el procesamiento de grandes cantidades de datos por sí mismo genera una violación a nuestros derechos humanos y en concreto a nuestra vida privada o vida íntima. Tal parece que el procesar datos anónimos, desasociados de las personas, sólo produce efectos positivos para entender comportamientos co-lectivos llevándonos a suponer en principio, un actuar sin menoscabo de la vida privada. En ese sentido claramente el tratamiento de Big Data40 estaría

39 Idem40 “El término datos masivos proviene originalmente del ámbito de las ciencias de la computación, y se refiere a un conjunto de datos cuyo tamaño excede al que puede manejar el software y hardware estándares disponible para capturar, almacenar y analizarlos”. En Rodríguez, P., Palomino N., Moncada, J. El uso de datos masivos y sus técnicas analíticas para el diseño e implementación de políticas públicas en Latinoamérica y el Caribe, BID, Chile, 2017, p. 2





129

destinado a ser una herramienta muy útil para la toma de decisiones. Es in-negable destacar el aporte que en diversas materias se ha logrado a partir del tratamiento de grandes cantidades de datos para la toma de decisiones públicas tales como pobreza, crimen y seguridad, movilidad, transporte y salud41, las cuales sin la utilización de dichos datos jamás se hubieran podido resolver pro-blemas cruciales para la vida cotidiana de las personas.

En el caso particular de los datos masivos el problema no radica en la captación, uso o difusión de los mismos sino en los sesgos que las nuevas tec-nologías de aprendizaje pueden llevar a cabo en una toma de decisiones no supervisada y regulada por la mano humana. En ese sentido tendríamos nece-sariamente que distinguir entre:

a) Análisis descriptivob) Análisis predictivoc) Análisis prescriptivo

Claramente el análisis descriptivo de datos lo podemos considerar libre de cau-sar de manera autónoma una violación a los derechos humanos. La llamada analítica descriptiva consistirá en el almacenamiento y agregaciones de datos históricos, permitiéndonos observar y visualizar como ha funcionado una em-presa o una política pública.42

En donde podemos comenzar a observar algún tipo de impacto será en el llamado análisis predictivo.

(Éste) se construye sobre la analítica descriptiva y usa modelos estadís-ticos avanzados para añadir a nuestra base de información datos que no conocemos. Esto se traduce en técnicas como la predicción de va-lores futuros en series históricas de precios y demandas, pero también la clasificación automática de textos u operaciones, o la segmentación de clientes.”43

La presencia de segmentación o de sesgos para tomar decisiones puede llevar a suponer segregaciones o profundos impactos en la vida privada de las personas respecto a su libertad personal y toma de decisiones.

41 Idem, p. 342 Sobre el particular consultar https://www.iic.uam.es/big-data/analitica-descriptiva/. Última fecha de consulta el 12 de febrero de 2020.43 Idem





130

La problemática con la analítica predictiva radicará en la carencia del ser humano para impedir el tratamiento de una información que lo encasille, arrin-cone o lo clasifique respecto a un producto, servicio determinado o porque no, respecto a una preferencia política concreta. Así, por ejemplo, las nuevas ge-neraciones de refrigeradores que pueden entender nuestro comportamiento de almacenaje y consumo de leche a la semana provocarán que el supermercado nos abastezca la misma leche y en la misma cantidad por toda nuestra vida sin que tengamos posibilidad de intervenir en la decisión. Lo anterior no es nue-vo ya que sucede, como lo relatábamos en líneas anteriores, en prácticamente toda la nueva tecnología que acompaña a nuestros teléfonos móviles. Spotify predice, a partir del comportamiento, qué tipo de canciones queremos oír y nos presenta nuestra lista de posibles preferencias a partir de su lectura de nuestro comportamiento. La predicción está llamada a suprimir la elección humana por razones comerciales o por razones políticas, pero también por razones de bienestar o comodidad pues la alimentación de datos de esa segmentación la otorgamos cada uno de nosotros.

El tercero de los grupos respecto al manejo de datos es el llamado análisis prescriptivo.

Supone el nivel más alto de analítica y explota los niveles anteriores junto con estrategias de optimización operativa para indicarnos qué acciones de negocio proporcionarán los mejores resultados. Mediante la analítica prescriptiva podemos obtener recomendaciones automatizadas sobre el momento idóneo para ejecutar pedidos, mantenimientos u otras operaciones cuantificables del negocio. Con la analítica prescriptiva po-demos saber qué debemos hacer para optimizar nuestro negocio.44

Como podemos observar en este nivel tenemos un riesgo serio de posibles vio-laciones a derechos humanos, pues en la automatización de la respuesta no hay intervención humana. El procesamiento de datos que inicia con su captación estará orientado fundamentalmente para la creación de respuestas automa-tizadas que resuelvan problemas. Un caso que puede evidenciar los alcances de esta automatización de la respuesta es sin duda el caso del software Pre-dPol en Uruguay el cual estaba destinado a conseguir una mejor toma de de-cisiones en materia de presencia policiaca en las llamadas zonas de “alto ries-go”. Los resultados vinieron acompañados de preguntas interesantes sobre la

44 Idem





131

automatización de la presencia de policías en algunas zonas que el algoritmo entendió como zonas de riesgo y que en ocasiones no lo fueron. La máquina, de manera automática, generó una discriminación sobre dichas zonas. Los re-sultados fueron escasos y sólo evidenció los sesgos clasistas y racistas.45 En ese sentido cabría destacar que:

Un informe publicado en 2016 por investigadores del Human Rights Data Analysis Group (HRDAG) sugiere que este tipo de programas ge-neran un circuito de retroalimentación: Ante más presencia policial, más probabilidad de detectar un ilícito. Cuantos más ilícitos registra-dos en un área, más probabilidad de que se envíen fuerzas policiales. De acuerdo a HRDAG esto lleva a que los agentes sean enviados repeti-damente a las mismas zonas de la ciudad, generalmente aquellas donde se concentran minorías raciales, independientemente de la verdadera tasa de criminalidad en esa área46

Ante este panorama predictivo - prescriptivo vale la pena preguntarnos si el derecho a la autodeterminación informativa no ampara el derecho para que cualquier persona pueda evadirse de estos tratamientos de datos. En princi-pio la solución es muy sencilla pues aquel derecho contempla en sí mismo la capacidad que tenemos de entregar o no datos a un tercero. De igual manera contempla la posibilidad de eliminar los datos de todo aquel que los tenga o bien de oponernos a los determinados tratamientos de datos. De manera efi-ciente, cobraría sentido afirmar, que la autodeterminación informativa supone de inicio el derecho a evadirme de procesos automatizados de datos personales.

En consecuencia de lo anterior y siguiendo el principio pro homine que se ha acuñado a nivel internacional como bandera matriz de la defensa de los Derechos humanos47 tendríamos necesariamente que conminar al Estado

45 Cfr. Ortiz, op. cit. pp. 27-3046 Idem.47 Podemos entender este principio como: “criterio hermenéutico, criterio interpretativo prevalente en materia de derechos humanos, guía interpretativa, conjunto de parámetros-guía, conjunto de directrices para la interpretación y aplicación del derecho de los derechos humanos, norma subyacente, norma “no enunciada”), regla de preferen-cia-predominio, regla primaria no escrita inherente al derecho internacional de los derechos humanos, principio ordenador, vector que da sentido y jerarquiza al sistema normativo, principio general del derecho de los derechos humanos, polo cristalizador del orden público en materia de derechos humanos, norma de justicia objetiva, canon catalizador de los objetivos y fines de todo el sistema de protección de los derechos humanos, principio con arreglo al necesario derecho de la societas gentium, regla que está en la cúspide del complejo corpus iuris de los derechos humanos que prioriza a la persona humana frente a otros sujetos internacionales, punto de apoyo de la formación de un ius commune transnacional, regla amalgamadora del derecho interno e internacional de los derechos huma-





132

a otorgar una garantía de protección a todas aquellas personas que buscaran evadirse de estos tratamientos de datos al tratarse de una intromisión directa a su vida privada. Es decir que en materia de interpretación constitucional y convencional del derecho a la autodeterminación informativa el Estado ten-dría que proteger a todo individuo que buscara evadirse de los tratamientos de segmentación, predicción o prescripción algorítmica y establecer todos los mecanismos necesarios para limitar el mismo.

Llevando al extremo la práctica que se realiza en algunas partes del mun-do sobre el llamado Derecho al olvido digital, éste se encontraría encaminado a una eliminación por completa de los datos personales que se han entregado a diversos responsables y que asociados con el nombre u otros datos que nos identifican, deben ser eliminados de cualquier plataforma digital empezando con los buscadores. Este derecho al olvido digital manifiesta una vertiente de evadirnos del tratamiento de datos personales que en determinadas condicio-nes podríamos llevar al tratamiento automatizado de los mismos cuando gene-ran patrones de identificación de las personas. En ese sentido en términos del Reglamento Europeo de Protección de Datos Personales,48 este derecho al olvi-do es una mera manifestación del derecho de supresión, pero vinculado a los buscadores de internet que tiene por objeto protegernos de la lesión que impli-ca en nuestra vida privada la difusión de información en aquellas plataformas.

Ante ello cabe preguntarnos si ¿podríamos construir en el derecho al ol-vido digital una vertiente que impacte directamente en la supresión de datos que manejen algoritmos de predicción y prescripción? Sabemos que las herra-mientas jurídicas que se han construido (derecho a la vida privada, derecho a la autodeterminación informativa y derecho al olvido digital en colaboración con el principio pro homine) nos arrojan una posible salida para elaborar la posibilidad de evadirnos de este tipo de tratamientos. Los pasos a considerar serían: a) no consintiendo en el tratamiento de los datos, b) revocando nuestro consentimiento si ya los hemos dado, c) solicitando la cancelación o supresión de los datos, d) solicitando la eliminación y olvido de nuestra presencia digital en cualquier plataforma digital que trate datos de manera automatizada.

Por último, habría que preguntarnos si ello es una utopía. Habría que con-testar esa pregunta con otras. ¿La defensa de los derechos humanos lo es? ¿Por el desarrollo tecnológico estamos obligados a ceder nuestros derechos? ¿Vale

nos, base de un nuevo ius Gentium” Cfr. Drnas De Cément, Z., La complejidad del principio pro homine, CIDH, Buenos Aires, 2015, Disponible en: http://www.corteidh.or.cr/tablas/r33496.pdf. Última consulta el 10 de febrero de 2020.48 Disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016R0679. Última consulta el 19 de febrero de 2020.





133

más un algoritmo que predice la conducta que la defensa de la vida privada? En la respuesta que demos a estas interrogantes encontraremos el núcleo cen-tral del derecho a una vida de algoritmos.

5. Conclusiones

El profundo y vertiginoso cambio tecnológico ha venido acompañado de una transformación clara de los alcances y defensa de la vida privada. Así, la nueva tecnología presenta desafíos que el derecho debe atender sin el menoscabo de las ventajas y beneficios que dichos adelantos suponen.

El efecto de la inteligencia artificial a través de la llamada machine lear-ning, que logra generar un análisis de datos de manera predictiva o de manera prescriptiva, están suponiendo un estupendo semillero de problemas jurídicos vinculados no sólo con la vida privada sino también con el menoscabo de la libertad o con la generación de situación de desigualdad en prácticamente todo el mundo. La ilusión de comodidad y bienestar se desdibuja a partir de la inva-sión a la privacidad, discriminación y segmentación.

La autodeterminación informativa como un derecho derivado de la vida privada supone el control y consentimiento del tratamiento de datos perso-nales teniendo como alcance claro y definido la posibilidad de decidir sobre a quién entregamos nuestros datos, cómo queremos que sean tratados y en su caso la eliminación de dichos datos.

Los alcances de esta autodeterminación informativa proponen desdoblar-se a un nuevo derecho que el Estado debería garantizar, un derecho que permi-ta a la persona aislarse de tratamientos automatizados de datos predictivos o prescriptivos sin menoscabo de seguir obteniendo servicios de diversa índole. El Estado deberá reconocer la injerencia de los algoritmos de segmentación predictiva o prescriptiva en la vida privada de las personas, en el derecho de igualdad o en la libertad para la toma de decisiones y establecer mecanismos suficientes de protección.

6. Bibliografía

Arendt Hannah, La condición humana, PAIDOS, Barcelona, 2005AA.VV., Protección de datos personales. Compendio de lecturas y legislación, H. Cáma-

ra de Diputados - IFAI- ITAM, TIRO CORTO EDITORES, México, 2010.Beitz, Charles, La idea de derechos humanos, España, Marcial Pons, 2014. Campuzano Tome, Herminia, Vida Privada y Datos Personales, Madrid, Tecnos 2000.





134

Carbonell, Miguel, El ABC de los derechos humanos y el control de convencionalidad, México, Porrúa, 2014.

Carrillo, Marc, El Derecho a no ser molestado, Thomson Aranzadi, Navarra, 2003.Castán Tobeñas, José, Los derechos del hombre, Madrid, Reus, 1992.Desantes Guanter, José María, Derecho a la información, COSO, Valencia, 2004.Drnas De Cément, Z., La complejidad del principio pro homine, CIDH, Buenos Aires, 2015García Llorente, Manuel, Ensayo sobre la vida privada, Editorial Encuentro, Madrid, 2011.Habermas, Jürgen, Historia y crítica de la Opinión Pública, GILI, Barcelona 2004.Harari, Yuval, Homo Deus, Debate, México, 2016. Hierro, Liborio, Los derechos humanos, una concepción de la justicia, España, Marcial

Pons, 2016.Lucena-Cid, Isabel, El impacto de las nuevas tecnologías en los derechos humanos, In:

Revista Aporia Jurídica (on-line). Revista Jurídica do Curso de Direito da Facul-dade CESCAGE. 8ª. Edição. Vol. 1 (jul/dez-2017).

Molnar, Petra, LEX, Gill, Bots at the gate: A human rights analysis of automated de-cisión - making in Canada s inmigration and refugee system, Citizen Lab University of Toronto, 2018. Disponible en: https://citizenlab.ca/wp-content/uploads/2018/09/IHRP-Automated-Systems-Report-Web-V2.pdf, última fecha de consulta el 10 de febrero de 2020.

Morales Vega, Luisa Gabriela, Derechos humanos y su interpretación en la Corte, Mé-xico, DOFISCAL, 2018.

Ortiz Freuler, J. Y Iglesias, C. Algorithms e Inteligencia Artificial en Latin America: Un Estudio de implementaciones por parte de Gobiernos en Argentina y Uruguay, World Wide Web Foundation, 2018.

Pérez Luño, Antonio E, Los derechos fundamentales, Madrid, Tecnos, 2004.Ramirez García, H. Pallares Yabur, P. Derechos humanos, Oxford, México, 2011Rheingold, Howard, Multitudes inteligentes. La próxima revolución social, Barcelona:

Gedisa, 2004.Rodríguez, P., Palomino N., Moncada, J. El uso de datos masivos y sus técnicas analíti-

cas para el diseño e implementación de políticas públicas en Latinoamérica y el Caribe, BID, Chile, 2017.

Ruiz Miguel, Carlos. El derecho a la protección de la vida privada en la jurisprudencia del Tribunal Europeo de Derechos humanos. Cuadernos Civitas, Madrid, 1994.

Stallman, Richard, A radical proposal to keep your personal data safe, The Guardián, Abril 2018. Disponible en: https://www.theguardian.com/commentisfree/2018/apr/03/facebook-abusing-data-law-privacy-big-tech-surveillance. Fecha de última consulta el 6 de febrero de 2020.

Suarez Crothers, Christian. El concepto de derecho a la vida privada en el derecho an-glosajón y europeo. Rev. derecho (Valdivia). [online]. dic. 2000, vol.11 [citado 24 Noviembre 2015]. Disponible en la World Wide Web:

< h t t p : / / m i n g a o n l i n e . u a c h . c l / s c i e l o . p h p ? s c r i p t = s c i _ a r t t e x t & p i -d=S071809502000000100010&lng=es&nrm=iso>





135

Warren, S. D. Y Brandeis, L. D. El derecho a la intimidad, edición a cargo de Benigno Pendás y Pilar Baselga, Madrid, Civitas, 1995

Recursos Webhttps://www.businessintelligence.info/dss/ejemplo-data-mining-panales-y-cerveza.

html https://www.bbc.com/mundo/noticias/2014/06/140630_tecnologia_facebook_experi-

mento_emociones_criticas_lv.https://www.forbes.com.mx/feel-data-nueva-forma-de-descifrar-a-los-clientes/ https://www.lifenaut.com/https://endefensadelsl.org/guerrilla_del_acceso_abierto-binder.pdf https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_

ENG_08-2018.pdf. https://www.iic.uam.es/big-data/analitica-descriptiva/ http://www.corteidh.or.cr/tablas/r33496.pdf https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=celex%3A32016R0679




137


Desenmascarando datos: Igualdad e Inteligencia Artificial*Unmasking Data: Equality and Artificial Intelligence

Juan Cruz López Guillermón**

resumenEn el marco del presente trabajo se indagó sobre las distintas interpretaciones del principio de igualdad, el proyecto se detuvo y utilizó la noción de “no sometimiento” para entrelazarlo con la tecnología de Inteligencia Artificial (IA) y los daños que ésta podría ocasionar. El trabajo se desarrolló a partir de la utilización de una metodología cualitativa con base en trabajos doctrinarios especializados en igualdad; principalmente de la República Argentina, también en documentos públicos de organismos internacionales.

En un primer momento se sostiene que las diferencias existentes entre el modelo de igualdad como no discriminación y el de igualdad estructural, conllevan a distintas consecuencias en el plano fáctico con repercusiones desfavorables para los colectivos desaventajados y quienes lo integran.

Luego, se trazó y se expuso el vínculo con la IA. Ésta se posiciona en el presente como uno de los principales motores de cambio. En parte, se puede considerar que por su autonomía permite tomar decisiones de forma propia y sin la intervención del hombre. No obstante, como se esbozará en el proyecto, la IA trae tanto beneficios como posibles consecuencias disvaliosas. En este sentido, al depender del modelo de la IA, también de sus características –con especial énfasis en su autonomía–, se sujeta a un daño potencial ocasionado por ésta con motivo en los sesgos que puede llevar de forma implícita.

Se sostuvo y se buscó demostrar que a partir del uso de la concepción de igualdad estructural, también denominada como no sometimiento, este daño puede verse agravado al coincidir con la afectación de un individuo perteneciente a un colectivo históricamente desfavorecido (colectividades a determinarse en cada cultura y sociedad).

Por último, se propuso para disminuir y/o evitar la conformación de sesgos con potencial dañoso, la creación de grupos multidisciplinarios que sean capaces de observar e interpretar la realidad social de cada sociedad.

palabras claveIgualdad, sesgos, datos, daño, IA.

abstractIn the context of this work, the different interpretations of the principle of equality will be investigated, the project used the notion of “non-submission” to intertwine it with Artificial Intelligence (AI) technology. According to latest statements, the quality of the data they serve will be studied in depth, whether they may be biased or not, and if so, how the copes with this last problem.

keywordsEquality, biases, data, damage, IA.

*Artículo de Reflexión postulado el 29 de abril de 2020 y aceptado el 6 de octubre de 2020**Estudiante graduado en la Facultad de Derecho de la Universidad de Buenos Aires, Argentina. ([email protected]) orcid.org/0000-0001-6436-3351




J U A N C R U Z L Ó P E Z G U I L L E R M Ó N

138

SUMARIO1. Introducción2. Derecho a la igualdad 2.1 Igualdad formal 2.2 Igualdad como no discriminación2.3 Igualdad como no sometimiento3. Inteligencia Artificial3.1 Su proceso3.1.1 Características4. Datos ¿objetivos?5. Engarce 6. Conclusión 7. Bibliografía

1. Introducción

El 10 de diciembre del 2019 el presidente electo de Argentina, Alberto Fer-nández, dijo en su discurso “(…) reivindicamos la investigación científica y la tecnología, porque ningún país podrá desarrollarse sin generar conocimiento y sin facilitar el acceso de todos al conocimiento (…)”. Pocas veces encontra-mos palabras más acertadas en relación al contexto tecnológico en el cual nos vemos insertos.

Desde hace unos años la sociedad se encuentra atravesada por la denomi-nada cuarta revolución y como consecuencia se puede observar cómo la coti-dianidad cambia. En este contexto se debe crear la preocupación sobre cómo se desarrollará la principal tecnología disruptiva de esta nueva era, la Inteligencia Artificial (AI).

Cuando se habla de la IA se habla de datos. Cualquier técnica de los nom-brados sistemas utilizará datos para lograr su autonomía. Es aquí donde debe haber un detenimiento y analizar la calidad de estos, puesto que, como se ex-pondrá a lo largo del trabajo, podrían reflejar prejuicios u otra clase de sesgos.

En conexión con lo sostenido en el párrafo anterior, resulta de gran im-portancia detenerse a pensar en el concepto de igualdad. Es necesario anticipar a la exposición que tendrá lugar párrafos más adelante, que existen distintas concepciones sobre el derecho a la igualdad que generan diferentes efectos y consecuencias, tanto en el plano teórico-jurídico como en el factico. De este modo, se comenzará en la observación y en el análisis de distintas nociones con un punto de vista individual, para pasar a la denominada igualdad estructural




D E S E N M A S C A R A N D O D A T O S : I G U A L D A D E I N T E L I G E N C I A A R T I F I C I A L

139

o no sometimiento, con un punto de vista colectivo al tomar en consideración a los grupos históricamente desaventajados y quienes lo forman.1

Un tema vinculado con el derecho mencionado son los sesgos. Estos son el medio por el cual puede vulnerarse la integridad del derecho a la igualdad. Por este motivo, al hablar de sesgos, prejuicios u otros similares, que desenca-denarán de forma inevitable acciones u omisiones discriminatorias, es de gran relevancia definir el contenido y el alcance del derecho mencionado en virtud de que sus consecuencias podrían no ser las mismas.

2. Derecho a la igualdad

Existe un consenso en el principio político que versa sobre la igualdad entre los hombres. “Todos los hombres somos iguales”, es un discurso que puede escucharse con frecuencia, sin embargo, en el momento de implementarlo se encuentra más de un obstáculo que puede sostenerse e imponerse por las mis-mas personas que recitan esas bellas palabras.

Para avanzar en el tratamiento de la problemática planteada en el trabajo, se debe exponer y profundizar en el derecho a la igualdad. Las denominacio-nes e interpretaciones del derecho nombrado pueden variar al depender del ordenamiento jurídico del país en cuestión, no obstante, es habitual hallar una noción similar sin importar más allá de las diferencias recién planteadas

Desde el sistema jurídico de la República Argentina, los debates sobre sus diferentes concepciones revisten gran importancia en virtud de que la interpre-tación, la aplicación y los efectos del derecho varían dependiendo de la noción que sostenga el mencionado derecho constitucional.

Entre tantas concepciones se puede nombrar la que entiende su sentido formal, pasar por su entendimiento en tanto no discriminación para así ter-minar con su faz como no sometimiento o estructural.2 Se utilizará la última concepción para comprender el daño a exponerse.

2.1 Igualdad formal

Esta primera concepción implica que todas las personas que pertenezcan a una categoría establecida por la ley deberán ser tratadas de la misma forma. Esta

1 En este trabajo se entiende que los grupos históricamente desaventajados varían en cada sociedad, por lo cual estos colectivos podrían no coincidir en distintos países.2 Saba, Roberto y Alegre, Marcelo, “(Des) igualdad estructural” en El Derecho a la Igualdad. Aportes para un consti-tucionalismo igualitario, Buenos Aires, Lexis Nexis, 2007.





140

es la versión más restringida del principio.3 Como se ha sostenido, aquí se debe ofrecer un trato igualitario a todas las personas que se encuentren dentro de la clasificación que realiza la norma y siempre se habilita un trato diferenciado a todos los que se encuentren fuera de la misma. Dicha fórmula del nombrado principio da lugar a la sentencia “separados pero iguales”, del reconocido fallo Plessy vs. Ferguson de la Suprema Corte de EE.UU., en este se habilitó una dis-tinción con base en la raza.4

2.2 Igualdad como no discriminación

La interpretación expuesta con anterioridad es fuente de numerosos problemas. A causa de esto surge una nueva interpretación que debe entenderse como un complemento y no como una visión distinta al principio de igualdad formal. Aquí comienza la pregunta sobre la razonabilidad de la distinción a hacer, a saber, la vinculación en razón a los medios y fines perseguidos.

Entendida como no discriminación exige que se establezcan distinciones entre las personas solo cuando ese trato se encuentra justificado en la aplica-ción de un criterio razonable.5 Para llevar a cabo el examen de razonabilidad existen distintos modelos, como el estadounidense, el europeo o integrado; cada uno de ellos permite complejizar la evaluación del grado de irracionalidad de la distinción.6 Esta noción busca la correcta relación entre medios y fines, una relación que algunos autores llaman de funcionalidad.7

Sin embargo, este enfoque presenta un problema, puesto que no contem-pla las desigualdades fácticas, entendidas como estructurales, a las que son sometidos ciertos grupos históricamente desaventajados. Con base en lo men-cionado y en relación con el criterio de razonabilidad, en algunas situaciones este principio de igualdad como no discriminación puede arrojar resultados contra intuitivos derivados del desconocimiento del contexto social.8

3 Ferreyra R. G., “Gobernar es igualar. Isonomía, oportunidades y justicia social en Argentina”, Revista Academia (Buenos Aires), No. 28, año 14, segundo semestre, 2016, p. 198.4 Suprema Corte de EE. UU., “Plessy vs. Ferguson”,1896.5 Saba, Roberto, “Igualdad de trato entre particulares”, Lecciones y Ensayos (Buenos Aires), No. 89, Eudeba, 2011, p. 230.6 Bernal, Carlos, “El principio de proporcionalidad como criterio para la aplicación del derecho fundamental a la igualdad”, en Beade, Gustavo y Clérico, Laura, Desafíos a la ponderación, Bogotá, Universidad Externado de Colom-bia, 2011, pp. 299-347.7 Saba, Roberto, “Desigualdad estructural y acciones afirmativas”, en Augusto Varas y Pamela Díaz-Romero (edito-res), Fundación Equitas, Ril Editores, Santiago, Chile, 2013, pp. 85-125.8 Saba, Roberto, “Igualdad de trato entre particulares”, Lecciones y Ensayos (Buenos Aires), No. 89, Eudeba, 2011, p. 231.





141

Además, ciertos criterios de distinción se encuentran bajo la sospecha de carecer, casi en todos los casos, de una relación de funcionalidad. Esto habla acerca de las denominadas categorías sospechosas, en estas se procederá con un análisis estricto.9 Las mencionadas son “categorías o clases que implican distinciones que prima facie son inconstitucionales por implicar una discri-minación injustificada”.10 Esta concepción doctrinaria, que no es exclusiva de Argentina, se acopla a la parte primera, artículo 1 de la Convención Americana de Derechos Humanos y forma parte del bloque de constitucionalidad.

El trato neutral11 al que son sometidos los individuos de la concepción de igualdad en cuestión, al no tomar los resultados del contexto social, implica, en caso de tratarse de un grupo histórico o estructuralmente desaventajado, un tratado discriminatorio en el plano fáctico.

Otro punto de gran interés para este trabajo consistió en si la noción de categorías sospechosas se podría utilizar en las relaciones entre privados o solo cuando el Estado es quien establece la clasificación prohibida. Es decir, si al-guna empresa o particular puede ser cuestionada judicialmente por adoptar una política expresa de no contratar miembros de algún determinado grupo minoritario en este caso, si esto corresponde a la utilización estándar de las categorías sospechosas.12

Es indudable que existen diferencias entre el ámbito público y el privado, no obstante, al menos en Argentina el máximo instrumento rige tanto para el Estado como para los particulares. Como se sostuvo en el trabajo de Damián Zayat:

En la Constitución Nacional Argentina se establecen los derechos que las personas tienen tanto frente al Estado como ante los particulares y de este modo una discriminación ilegítima puede provenir tanto de la administración como de otros particulares. Así, si se puede probar que el particular utilizó un criterio discriminatorio en contra de algún

9 No se hizo una extensión sobre este criterio por razones metodológicas en virtud del entendimiento propio que se escapa al objeto del trabajo.10 Ronconi, Liliana, Derecho a la educación e igualdad como no sometimiento, Bogotá, Universidad de Externado, 2018, p. 58.11 Núñez R. S. y Diaz R., “El fin del principio de igualdad en el ordenamiento jurídico argentino. La transición entre el juicio a prueba y el principio de igualdad”, Pensar en derecho (Buenos Aires), No. 10, año 5, Eudeba, 2017, p. 173.12 Zayat, Damián “El principio de igualdad. Razonabilidad, categorías sospechosas, trato desigual e impacto despro-porcionado.” en Tratado de los Derechos Constitucionales, Buenos Aires, Abeledo Perrot, 2014, p. 13.





142

miembro de un grupo minoritario, la doctrina de las categorías sospe-chosas podría ser utilizada.13

Un fallo que puede ejemplificar lo anterior es el de Hertzriken14 con lugar en la Cámara Nacional de Apelaciones en lo Civil, Sala J, de la Ciudad Autónoma de Buenos Aires. Donde la titular de un departamento en el barrio porteño de Recoleta se negó a alquilarle a un posible inquilino por tener la religión judía.15

2.3 Igualdad como no sometimiento

Si se enlazan las nociones de categorías sospechosas y el trato neutral con motivo de la presunción de un statu quo de hecho igualitario brindado por la antes nombrada concepción de igualdad, se tendrá la destreza de advertir que en ciertas ocasiones no será suficiente con suprimir la distinción injustificada, sino que además se deberán llevar a cabo ciertas acciones (acciones positivas) para lograr una igualdad real. El grupo relacionado con esta última circunstan-cia estará constituido por aquellas personas pertenecientes a un grupo históri-camente desaventajado.16

Esta última concepción del derecho en cuestión, que toma como base a la anterior, tiene en consideración al momento de evaluar si la acción cuestiona-da es o no desigualitaria, si la persona que se vería afectada es parte integrante de un grupo históricamente desaventajado. Es decir, en esta instancia se debe analizar la situación para comprender si la acción, con la que el individuo se encuentra afectado, es llevada a cabo como una práctica (con intención o sin ella) que conlleva a la exclusión social de ciertos grupos y que da como resulta-do que estos mismos no puedan desarrollar plenamente sus derechos.17 Se debe resaltar que se pasa de contemplar una situación individual de discriminación a una grupal, esta discriminación estructural afecta a un grupo.18

13 Zayat, Damián “El principio de igualdad. Razonabilidad, categorías sospechosas, trato desigual e impacto despro-porcionado.” en Tratado de los Derechos Constitucionales, Buenos Aires, Abeledo Perrot, 2014, p. 14.14 CNCiv, Sala J, “Hertzriken, Luciano y otro c/ Sanfuentes Fernández, Magdalena s/ daños y perjuicios”, sentencia del 11/10/2006, Buenos Aires.15 La Cámara entendió que la decisión de la propietaria había sido irrazonable y que debía compensarlo por el daño sufrido a raíz del acto discriminatorio. La sentencia del mencionado tribunal no obligó a la titular del departamento a alquilar a un inquilino que no deseaba, sino a compensarlo por el daño moral.16 Ronconi, Liliana, Derecho a la educación e igualdad como no sometimiento, Bogotá, Universidad de Externado, 2018, pp. 61-62.17 López, Juan, “¿Es el Pink Tax una práctica discriminatoria?”, JA (Buenos Aires), Abeledo-Perrot, T. V, 2017, p. 87.18 Ronconi, Liliana, Derecho a la educación e igualdad como no sometimiento, Bogotá, Universidad de Externado, 2018, p. 62-63.





143

En relación con esta visión, se introduce de manera breve un fenómeno de gran relevancia como la discriminación múltiple. Si la concepción de igualdad como no discriminación toma la idea de que la causa de la discriminación es una sola y en consecuencia debe ser afrontada, no es así en la visión a tratar en este momento. Esto es posible al tomar en consideración la existencia de cier-tos casos donde no se halla un solo factor de discriminación sino múltiples. En las múltiples facetas que engloban a un individuo, acompañado muchas veces de estereotipos, estas personas al pertenecer o ser designadas a un grupo son sujetos potenciales o víctimas de distintas formas de discriminación. Es decir, los sujetos pertenecientes a los mencionados grupos ven cómo estas causas de discriminación operan de forma concurrente y conexa. De este modo se produ-ce una situación de desventaja estructural.

Por otro lado, en esta postura se exime la presunción de un statu quo de hecho igualitario para considerar los datos y las circunstancias previas al juico de comparación. Resulta intrascendente detenerse a observar si se lleva a cabo una discriminación directa o indirecta,19 solo interesando el efecto y el impacto en los grupos vulnerables.

Aquí hay una intención de evitar la formación de grupos sometidos y/o desventajados y que esa condición se perpetúe en el tiempo. Ante un supuesto de desigualdad de hecho (referido al accionar positivo como negativo del Esta-do) están permitidos los tratos desiguales cuando se busca poner fin o limitar la situación de exclusión.20

3. Inteligencia Artificial

Para comenzar, se dejará de lado por un momento el derecho a la igualdad y antes de profundizar en los datos en tanto se comprenden como instrumentos de la realidad, surgió el compromiso de hablar de otro concepto de gran im-portancia para poder seguir con el desarrollo del trabajo. El concepto es el de Inteligencia Artificial (AI).

Una de las tareas que presenta mayor dificultad dentro del marco acadé-mico es la de brindar una definición del nombrado concepto con el potencial

19 Se entiende por discriminación directa la que busca un determinado efecto con motivo de una intención anterior. En cambio, por discriminación indirecta se entiende que es la que provoca o es capaz de generar resultados dañinos, pero no existe un ánimo discriminatorio.20 Antúnez, Dalile, et al., “Tomarnos en serio la igualdad. Comentarios a más allá de la igualdad formal ante la ley: Qué les debe el estado a los grupos desaventajados”, Lecciones y Ensayos (Buenos Aires), No. 99, Eudeba, 2018, pp. 217-218.





144

necesario para ser aceptado. En este trabajo surgió el ánimo de sostener esto, puesto que a través de un examen consciente se puede observar que, tanto en documentos de varios organismos internacionales, como en textos académicos y no académicos, no hay una mirada predominante que sea libre de toda duda o cuestionamiento.

A pesar de esto, se presentó el riesgo de participar de este debate. Se puede comenzar con la manifestación de que se habla de una disciplina interdiscipli-naria, entre muchas se pueden nombrar a la Filosofía, la Lingüística, la Ciencia Cognitiva, la Neurociencia, etc. En esta misma línea se manifiesta el grupo de expertos de alto nivel sobre IA de la U.E. Estos han expresado que se puede definir a los sistemas inteligentes de esta forma:

Sistemas de software (y en algunos casos también de hardware) dise-ñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital mediante la percepción de su entorno a través de la obtención de datos, la interpretación de los datos estructu-rados o no estructurados que recopilan, el razonamiento sobre el cono-cimiento o el procesamiento de la información derivados de esos datos, y decidiendo la acción o acciones óptimas que deben llevar a cabo para lograr el objetivo establecido.21

De este modo, se puede comprender que la IA no es una sola cosa, sino más bien una constelación de procesos y tecnologías que permiten que las computado-ras complementen o reemplacen “tareas específicas que de otro modo serían ejecutadas por seres humanos, como tomar decisiones y resolver problemas”.22

En relación con lo anterior, de forma previa se debe diferenciar entre dos concepciones diferentes de IA. En las etapas iniciales de esta disciplina, fueron brindadas por el filósofo John Searle donde distinguió entre una versión débil y fuerte de IA. En la actualidad se pueden encontrar variaciones de éstas, pero con una mayor extensión y riqueza en el tratamiento. De este modo, un sistema de IA general o fuerte23 es el diseñado para realizar la mayoría de las activida-

21 European Commission, “Una definición de la Inteligencia Artificial: principales capacidades y disciplinas científi-cas. Grupo independiente de expertos de alto nivel sobre inteligencia artificial”, Unión Europea, 2018, p. 6.22 Internacional, Resolución Nº 73/348, de 29 de agosto de 2018, Promoción y protección del derecho a la libertad de opinión y expresión de la. Asamblea General de las Naciones Unidas, ONU, 2018. Considerando 3. [Consultado el 29 de noviembre de 2019], Disponible en: http://undocs.org/es/A/73/34823 A nivel académico se puede encontrar el debate sobre si ambos conceptos pueden o no ser utilizados como sinó-nimos. En este trabajo por considerarlo introductorio se entienden como sinónimos.





145

des que pueden llevar a cabo los seres humanos.24 En otras palabras, la IA ya no simula ser una mente humana, es una mente y por consiguiente debería ser capaz de pensar como una persona.25 Por el contrario, los sistemas de IA espe-cíficos (o mencionados como débiles) solo están destinados a realizar una ta-rea concreta o un número reducido de ellas. Es decir, construir programas que ayuden al ser humano en sus actividades mentales en lugar de duplicarlas. En el campo de la segunda concepción se puede afirmar que se ha progresado de manera considerable en los últimos tiempos, gracias, sobre todo, al crecimiento de la capacidad de procesamiento (computer processing power), la disponibili-dad de grandes cantidades de datos y al desarrollo del aprendizaje automático (machine learning).

Este trabajo, expuesto en las próximas líneas, no se enfocó en la versión general, puesto que todavía no se han podido realizar grandes avances en di-cho campo por las dificultades que presenta tal noción, en consecuencia, se abordó en la versión débil por el motivo de sus grandes avances.

3.1 Su proceso

3.1.1 CaracterísticasSin intención de presentar una repetición en el futuro inmediato, se deben ex-poner las tres características principales de los sistemas inteligentes: a) softwa-re que aprende y en consecuencia se adapta,26 b) hardware con un poder masivo de cómputo, c) grandes cantidades de datos.

Estas características combinadas son las que les dieron vida a estos nuevos sistemas inteligentes.27 Su resultado determina que los sistemas de IA (por me-dio de algoritmos) ya pueden aprender por sí mismos y pueden ser autónomos y adaptativos.28

24 Dictamen del Comité Económico y Social Europeo sobre la «Inteligencia Artificial: las consecuencias de la inteli-gencia artificial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad», (Dictamen de iniciativa), (2017/C 288/01), Ponente: Catelijne MULLER, 31.8.2017, Diario Oficial de la Unión Europea, párrafo 2.2.25 Badia, Mántaras et al., Inteligencia Artificial, España, Editorial Catarata, CSIC, 2017, pp.10-11. 26 Una de sus características, observable solamente a través de la comprensión cabal del procedimiento, es su adap-tabilidad. Esta es consecuencia de que los algoritmos en que se basan son capaces de determinar progresivamente nuevos problemas y de elaborar nuevas respuestas.27 López Briega, Raúl, Libro online IAAR. p. 4. [Consultado el 29 de julio de 19], Disponible en: https://iaarbook.github.io/autor/28 Dictamen del Comité Económico y Social Europeo sobre la «Inteligencia artificial: las consecuencias de la inteli-gencia artificial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad, Diario oficial de la Unión Europea. 2017, párrafo 2.3.





146

Para alcanzar estas características existen distintas técnicas. Entre tantas se pueden nombrar los sistemas expertos, las redes neuronales, los algoritmos genéticos, etc. Para los fines de este trabajo se decidió tomar como marco la técnica de redes neuronales, con una arquitectura combinada por capas y de forma indistinta por modelos recurrentes, por refuerzo, supervisado y no su-pervisado29 se entiende que el fondo del tratamiento puede ser útil más allá de la variante elegida.

Teniendo en cuenta lo anterior, es adecuado y oportuno brindar una no-ción general de ciertos conceptos antes de adentrar el trabajo en el proceso de aprendizaje. En la base de la IA están los algoritmos, los códigos informáticos diseñados y los escritos por seres humanos que ejecutan instrucciones para traducir datos en conclusiones, información o productos.30 Se puede comenzar diciendo que el aprendizaje automático incluye algoritmos capaces de ense-ñarse a sí mismos tareas específicas sin estar programados para eso. El método se basa en el procesamiento de datos de entrenamiento que sirven de base al algoritmo para aprender a reconocer patrones y formular normas. El aprendi-zaje profundo (deep learning), una de las tantas formas de machine learning, utiliza estructuras de redes neuronales basadas a grandes rasgos en el cerebro humano que aprende mediante el ensayo y la respuesta.

La distribución de neuronas se realiza dentro de la red que forma niveles o capas con un número determinado de dichas neuronas en cada una, allí la red aprende algo simple en la capa inicial de la jerarquía y luego envía esta infor-mación a la siguiente capa.31 Ésta toma la información simple, la combina con algo un poco más complejo y la pasa a la tercera capa. Este proceso se lleva a cabo de tal manera que cada capa de la jerarquía construye algo más complejo de la entrada que recibió de la capa anterior. De esta forma, la red aprende por medio de la exposición a los datos de ejemplo.32

A su vez, cuando los resultados arrojados no son los esperados, se realizan cambios adaptativos en los pesos y a veces en las conexiones entre ellas. En

29 Bravo, Paola Carranza, “Introducción a las técnicas de Inteligencia Artificial aplicadas a la gestión financiera empresarial.” Fides et Ratio - Revista de Difusión cultural y científica de la Universidad La Salle en Bolivia., (Bolivia), 2010, p.12.30 Internacional, Resolución Nº 73/348, de 29 de agosto de 2018, Promoción y protección del derecho a la libertad de opinión y expresión de la. Asamblea General de las Naciones Unidas, ONU, 2018. Considerando 3. [Consultado el 29 de noviembre de 2019], Disponible en: http://undocs.org/es/A/73/34831 López Briega, Raúl, Libro online IAAR. p. 16. [Consultado el 29 de julio de 19], Disponible en: https://iaarbook.github.io/autor/32 López Briega, Raúl, Libro online IAAR. p. 16. [Consultado el 29 de julio de 19], Disponible en: https://iaarbook.github.io/autor/





147

caso de que la estructura sea fija, solo varían los pesos, en caso contrario lo harán tanto los nombrados como los enlaces.33 Para que se ejecute una deter-minada tarea es necesario someterla a un proceso de aprendizaje o de entre-namiento, a través de la presentación repetitiva y sistemática de un apreciable conjunto de ejemplos.

En el proceso de aprendizaje los enlaces ponderados de las neuronas po-seen la capacidad de ajustarse de tal manera que se obtengan ciertos resultados específicos esperados. Con base en esto, una red neuronal no necesita un al-goritmo para resolver un problema, puesto que es capaz de generar su propia distribución de pesos en los enlaces mediante el proceso de aprendizaje.34 A su vez, también existen redes neuronales que continúan aprendiendo de manera permanente, incluso después de completar su período de entrenamiento.

Al tener presente lo anterior como un punto de partida surgen las siguien-tes interrogantes: ¿El sistema inteligente es el único que determina la toma de decisión?, ¿no hay intervención humana en dicha toma de decisiones?

La función del diseñador consiste en la obtención de la arquitectura apro-piada, en este sentido es necesario que desarrolle un algoritmo de aprendizaje adecuado que le proporcione a la red la capacidad de discriminar.35

La red neuronal aprende a base de ejemplos, no es el programador sino el propio sistema (gracias a la gran cantidad de datos que le sirven de ejemplo) el que realiza la toma de decisión. Por este motivo:

Los programadores de algoritmos basados en IA pierdan la capacidad de saber por qué aquel ha tomado una determinada decisión, puesto que lo hizo sobre la base del conjunto de entradas que recibió. El algo-ritmo adquiere cierta distancia frente al diseñador o al programador.36

Por lo anterior, en algunas técnicas de aprendizaje automático, se encuentran grandes críticas a su trasparencia. De manera concreta, se halla el concepto de

33 Boden, Margaret, Inteligencia artificial- Traducción de Inmaculada Pérez Parra, Madrid, Turner Publicaciones S.L., 2017, p. 88.34 López Briega, Raúl, Libro online IAAR. p. 20. [Consultado el 29 de julio de 19], Disponible en: https://iaarbook.github.io/autor/35 Grupo de Investigación Aplicada a la Ingeniería Química. Informática Aplicada a la Ingeniería de Procesos. Ro-sario: Universidad Tecnológica Nacional – Facultad Regional Rosario, Departamento de Ingeniería Química, p. 9. [Consultado el 26 de julio de 2019], Disponible: https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf36 Danesi, Cecilia, “¿Quién responde por los daños ocasionados por los robots?”, RCyS, (Buenos Aires), No. 11, año 20, Thomson Reuters., p. 26.





148

caja negra que refiere a este tipo de escenarios en los que no es posible encon-trar el motivo subyacente a determinadas decisiones.37

4. Datos ¿objetivos?

Con base en lo expuesto en párrafos anteriores, el proyecto es capaz de advertir qué tan necesario resulta contar con una gran cantidad de datos para poder realizar el proceso de aprendizaje. Resulta evidente que se utilizarán los que se consideren relevantes para esa tarea específica, debiéndose dejar de lado los otros datos que no guarden relación con la tarea. En caso de estar en la búsqueda de la obtención de un resultado se deben utilizar los que se estimen como conducentes con él y se dejan de lado a los otros por considerarse sin relevancia. También la calidad de estos es muy importante. La función de los algoritmos consiste en procesar datos, como consecuencia están sujetos a una limitación compartida por todos los tipos de procesamiento de datos, esto con-siste en que el producto nunca puede superar la información aportada.38

Al hablar de estos (los que son ajenos a la ciencia de datos) se suele pensar que son simples representaciones objetivas. Sin embargo, es probable que al esforzarse por ver más allá de lo aparente se detecte que estos no son objetivos, sino que reflejan ideas preconcebidas como prejuicios y otros sesgos.

Se hará un detenimiento breve en una de las posibles manifestaciones de estos sesgos, los estereotipos. Las personas por medio de distintos procesos cognitivos, encaran la difícil tarea de asimilar el mundo que los enfrenta. Ellas buscan gastar la menor cantidad posible de recursos cognitivos para asimilar la realidad y por lo tanto, intentan muchas veces de forma inconsciente, op-timizar los recursos antes mencionados a través de distintas prácticas como la utilización de estereotipos. Estos podrían definirse como el proceso de atri-bución a un individuo de características, roles y actitudes con motivo de su aparente pertenencia a un grupo particular. En otras palabras, “la asignación de estereotipos produce generalizaciones o pre-concepciones concernientes a los atributos, características o roles de quienes son miembros de un grupo par-ticular (...)”.39

37 European Commission, “Una definición de la Inteligencia Artificial: principales capacidades y disciplinas científi-cas. Grupo independiente de expertos de alto nivel sobre inteligencia artificial”, Unión Europea, 2018, p. 8.38 Internacional, Resolución Nº 73/348, de 29 de agosto de 2018, Promoción y protección del derecho a la libertad de opinión y expresión de la. Asamblea General de las Naciones Unidas, ONU, 2018. Considerando 62. [Consultado el 29 de noviembre de 2019], Disponible en: http://undocs.org/es/A/73/34839 Cook R. J., y Cusack. S., Estereotipos de Género. Perspectivas Legales Transnacionales, Bogotá, Editorial Profamilia, 2009, p. 1.





149

Al establecer a través de este proceso la pertenencia de un individuo a un determinado grupo, solo por el simple hecho de considerar su pertenencia a él, se puede asumir que actuará de manera acorde con la visión o la precon-cepción asignada a éste. En el mencionado proceso de asignación no se agota en la asignación de características, sino también en el accionar consecuente respecto a éstas, el cual tiene el potencial de generar un daño tanto de tipo pa-trimonial como extra patrimonial.40 Un ejemplo de una práctica, con estereoti-pos como contenido es la publicidad abusiva que causa violencia de género al reproducir características, roles o expectativas de género.41

Dicho de otra manera, antes de comenzar el proceso de entrenamiento, los datos tienen que ser codificados, es decir que deben hallarse valores apropia-dos para representar las características simbólicas (alto, bajo, adecuado, etc.)42

A su vez, también se debe determinar un estado inicial, lo que significa: escoger un conjunto inicial de pesos para las diversas conexiones entre las neuronas de la red neuronal. Además, se debe tener presente que muchas veces, al ser un campo con tantas y variadas aplicaciones, se utilizarán datos sustitutivos para lograr correlaciones entre dos puntos. Muchas veces estas correlaciones son discriminatorias.

Consecuente con lo anterior, es necesario sostener que todo modelo es una simplificación, puesto que no es posible reducir la complejidad de la realidad a una serie limitada de datos. Es inevitable que parte de la información impor-tante se quede afuera.

Al crear un modelo se decidió que es relevante y amerita su inclusión en el mismo, así se transforma en una versión reducida de lo que se entiende por realidad. Al reducir la realidad a través de un modelo es irrebatible que que-den puntos sin ver. Estos puntos ciegos son la consecuencia de que el modelo refleja opiniones y prioridades de sus creadores para obtener el objetivo deter-minado.43 Al incluirse opiniones y prioridades en estos modelos es inevitable

40 Para obtener un ejemplo de las problemáticas generadas por los estereotipos puede verse López, Juan, “Un primer acercamiento al “Pink Tax” y su estudio a través del derecho del consumidor argentino”, en Barocelli Sergio, Género y Derecho del Consumidor, Buenos Aires, Editorial Aldina, 2019, pp. 127-150.41 Ortiz, Diego y Pacevicius, Iván, “Violencia de género en la publicidad”, en Barocelli Sergio, Género y Derecho del Consumidor, Buenos Aires, Editorial Aldina, 2019, pp. 153-180.42 Grupo de Investigación Aplicada a la Ingeniería Química. Informática Aplicada a la Ingeniería de Procesos. Ro-sario: Universidad Tecnológica Nacional – Facultad Regional Rosario, Departamento de Ingeniería Química, p. 28. [Consultado el 26 de julio de 2019], Disponible: https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf43 O’Neil, Cathy, Armas de destrucción matemática, Madrid, Capitán Swing Libros S.L., 2017, p. 31.





150

que los propios valores y deseos influyan en las decisiones. Este marco abre la posibilidad de que puedan engendrarse actitudes discriminatorias.

El mismo razonamiento surge de la Resolución Nº 72/540 de la Asamblea General de las Naciones Unidas ‒ONU (2018) sobre “El derecho a la privacidad” donde se manifiesta lo siguiente:

Contrariamente a su estructura aritmética que les da una apariencia de objetividad, los algoritmos ‘inevitablemente conllevan valores’. Los valores que encarnan suelen reflejar los supuestos culturales o de otra índole de los ingenieros informáticos que los diseñan y les implantan dentro de su estructura lógica a modo de opiniones tácitas.44

En síntesis, se puede decir que la IA aprende con base en los datos que se le brinden. Dependiendo de la calidad de los datos que se dispongan para que se efectúe el proceso de entrenamiento, estos serán la calidad de los resultados obtenidos, como sostiene el Grupo de expertos de alto nivel sobre IA de la U.E.:

Si los datos de formación presentan sesgos —es decir, si no son sufi-cientemente equilibrados o inclusivos—, el sistema de IA formado a partir de esos datos no podrá extraer generalizaciones correctas y exis-te la posibilidad de que tome decisiones injustas (…)45

El algoritmo no introduce sesgos, sino que reproduce y profundiza en los que ya tienen en virtud al hecho primero.46 El resultado sesgado es producto del dato sesgado que le dio origen.

5. Engarce

Hasta aquí, se han desarrollado las nociones principales en búsqueda de la comprensión del significado de Inteligencia Artificial. A su vez, se desarro-llaron las distintas nociones existentes en el ordenamiento jurídico sobre el derecho a la igualdad y se optó por aquella como no sometimiento. Resultado

44 Internacional, Resolución Nº 73/348, de 29 de agosto de 2018, Promoción y protección del derecho a la libertad de opinión y expresión de la. Asamblea General de las Naciones Unidas, ONU, 2018. Considerando 57. [Consultado el 29 de noviembre de 2019], [Disponible en: http://undocs.org/es/A/73/348].45 European Commission, “Una definición de la Inteligencia Artificial: principales capacidades y disciplinas científi-cas. Grupo independiente de expertos de alto nivel sobre inteligencia artificial”, Unión Europea, 2018, p. 6.46 Lavista, Juan Miguel, “El riesgo moral en el aprendizaje automático”, en Algoritmolandia, inteligencia artificial para una integración predictiva e inclusiva de América latina, (Buenos Aires), Editorial Planeta, 2018, p. 248.





151

de todo lo anterior, es posible que se comience a advertir el conflicto al que apunta este trabajo.

El peligro de hospedar datos sesgados en los procesos de aprendizaje de las redes neuronales, es existente puesto que toda persona encargada de la confor-mación del modelo está cargada de su propia subjetividad.

Si se comienzan a desarrollar los ámbitos en lo que se deben ser precavidos y estar atentos, se pueden comenzar por las propias ideas de los profesionales en cuestión. Con base en esto, se buscó hablar acerca de que, incluso de forma inconsciente, muchos de ellos poseen ideas formadas de prejuicios o estereoti-pos y se verán reflejados en su trabajo.

En segundo lugar, pero con igual grado de importancia, se encuentran las prácticas que desarrollan los anteriores comportamientos que crean ideas y luego se vuelven prácticas. Aquí resultó necesario advertir que tanto las ideas y las prácticas, como el siguiente punto posiblemente adverso, se relacionan e influyen entre sí, potenciándose o disminuyéndose de forma recíproca.

Al retomar lo mencionado en el párrafo anterior, se puede encontrar el último escenario posiblemente adverso. Éste es el contexto que envuelve a los individuos y los compromete en sus decisiones. Los tres ámbitos previamente introducidos tienen el potencial para suponer una amenaza con miras al des-enlace posible –objeto del trabajo–.

Como opinión se puede presentar que al imaginarse el momento previo a observar cualquier clase de daño se suele pensar en un extremo del mismo, quizás para que la ejemplificación sea más sencilla. En cambio, si para este tra-bajo hay un esfuerzo y se ve más allá de lo simple, al utilizar como premisa la concepción del derecho a la igualdad elegida, se puede encontrar un escenario un poco más complejo, pero más interesante. Quizás con un ejemplo se puede comprender mejor esta cuestión. Robert Post al trabajar la problemática acerca de cuál debe ser la noción prevaleciente de igualdad, brindó un conocido ejem-plo sobre orquestas municipales. Donde relata lo siguiente:

Con la intención de evitar una práctica discriminatoria en la confor-mación de las orquestas municipales, las audiciones en las que se pro-baban a los postulantes para formar parte de ellas, se realizaban con paneles opacos que separaban al candidato/a de los miembros del jura-do examinador. (…) De este modo, el sexo, la raza, la religión, el color de piel, el origen nacional o la apariencia externa de la persona, todas características irrelevantes para la selección que se trataba (solo se-ría relevante tener la habilidad necesaria para ejecutar un instrumento





152

musical), se encontraba completamente detrás del “velo de ignorancia” –casi sin metáforas– del comité examinador, de modo que la decisión de contratar a una de esas personas estuviera basada solamente en la calidad del sonido emitido por el instrumento ejecutado. (…) Este siste-ma de selección, absolutamente ciego de las diferencias entre las per-sonas que no fueran relevantes para la selección de que se trata (resulta ser el método correcto de selección de acuerdo con las exigencias del principio de igualdad como no discriminación). La línea que se traza repartiendo a las personas a uno u otro lado de ella es aquella que aísla la única característica relevante en este caso para justificar un trato diferente: la idoneidad como ejecutor o ejecutora de un instrumento musical.47

Al observar este ejemplo con la perspectiva de igualdad estructural, se puede ver una falla en este. Para la elegida concepción de igualdad, antes de iniciar la audición, se debe mirar la situación del hecho que la antecede, es decir, su estructura social. Es probable que se contemple que dicha selección mantiene y afirma la desigualdad del hecho existente en la realidad, puesto que es la razón a la no observación de la situación de desigualdad o desventaja de esos grupos,48

se demuestra con esto las falencias de la igualdad como no discriminación.En efecto, como se mencionó en el pasado, la igualdad estructural tiene en

cuenta la situación de los hechos de estos grupos desaventajados y deja de lado la visión individualista de las otras nociones.

Por el motivo expuesto con anterioridad, se alertó acerca del potencial conflicto en puertas, tras señalar los riesgos en los que se ven inmersos los que carguen con la tarea de crear las redes neuronales, determinar los datos y su calidad, de tomar en consideración por la visión de igualdad estructural, deja sin dudas el posible conflicto a enfrentar.

Así, resulta trascendental que al determinarse los datos relevantes para la conformación del modelo se tengan en cuenta los que representen la situa-ción de hecho de esos grupos, incluso cuando parezcan no ser conducentes para la tarea puntual a la que está destinada la IA específica. Se entiende esta última recomendación en clave que se necesita representar la operatoria de la

47 Ejemplo obtenido de Saba, Roberto, “Desigualdad estructural y acciones afirmativas”, en Augusto Varas y Pamela Díaz-Romero (editores), Fundación Equitas, Ril Editores, Santiago, Chile, 2013, p. 5.48 Tan simple como ello sería entender que los integrantes de estos grupos, por su situación grupal, en un contexto social y económico determinado, se ven en peores situaciones para aprender o perfeccionar su habilidad con el instrumento musical.





153

estructura social para acompañar la noción de igualdad estructural y evitar el daño agravado en los colectivos sensibles.

Además, al tomar la idea de fondo de las acciones afirmativas, están per-mitidos los tratos desiguales, cuando lo que se busca es poner fin o limitar la situación de exclusión, apreciación contraria a su entendimiento como no dis-criminación. Por lo que, en tanto a los datos y su contenido se refiere, estaría avalado un trato diferenciado que represente el contexto general buscando la concepción de igualdad.

A su vez, y al tomar la sucinta explicación introductoria a la discrimina-ción múltiple, resulta ser necesario captar el mayor y más amplio espectro de datos de la realidad para intentar reflejar la situación de hecho con la que con-viven los grupos desaventajados. De no hacerlo o no lograrlo se abre la posibi-lidad de caer en una discriminación interseccional y con esto producir un daño.

De lo narrado y del ejemplo mencionado hay una capacidad de apreciar cómo, en la conformación de modelos, es fundamental incluir los datos que sean susceptibles de reflejar la situación de hecho de los grupos vulnerables, más allá de ser o no conducentes para la tarea específica.

6. Conclusión

En lo extenso del trabajo hubo un esfuerzo por desarrollar los elementos ne-cesarios para comprender el problema planteado. Es decir, se desarrollaron de manera oportuna las diferentes concepciones de igualdad, se optó por la que lo entiende como no sometimiento en tanto la toma de consideración de los datos o elementos del contexto social y económico. También se introdujo de forma concisa la noción de discriminación múltiple para integrarla y relacionarla con los efectos de la práctica nociva a trabajar.

A su vez, en un estudio simultáneo se explicó el concepto de Inteligencia Artificial, su funcionamiento dentro de los términos planteados en el presente trabajo y su relación con los datos.

Con estos últimos se trabajó la idea de que los algoritmos conllevan a cier-tos valores en tanto reflejen los supuestos culturales o de otra índole de los ingenieros informáticos49 que los diseñan y los implantan.

Como resultado de lo explicado, también se desarrolló el vínculo existente entre los datos sesgados y la igualdad en clave de no sometimiento. En otras

49 Se optó por denominarlos de este modo, pero no resulta estrictamente necesario que sean estos trabajadores los encargados, basta con que se desenvuelva la tarea en cuestión.





154

palabras, en lo extenso del trabajo se buscó advertir y demostrar con base en la doctrina especializada en igualdad y en documentos públicos de organismos internacionales, que el daño producido por la IA con motivo en sus datos ses-gados (de tomarse en consideración la idea de igualdad estructural o también llamada no sometimiento) debería considerarse agravado de resultar en un in-dividuo perteneciente a un grupo o un colectivo históricamente desaventajado.

Por este motivo, se propusieron diversas repuestas con esperanzas de con-vertirse en soluciones.

En un primer paso, tal como propone este trabajo, se debe analizar al mo-mento de determinar qué datos son relevantes para la composición del estado inicial de la red neuronal si estos son compatibles con la noción de igualdad como no sometimiento. De este modo, se propuso incluir al estado inicial los que pueden aparentar no ser conducentes para la tarea específica pero sí re-flejan al contexto social pertinente. Se habló de la apariencia, pues aunque se entiende que ésta no posee una relación estrecha con la tarea, sí hace parte de la misma debido a que brinda el contexto necesario para no incurrir en accio-nes u omisiones dañosas.

Conforme a la perspectiva de no sometimiento, en un segundo paso, re-sultó relevante la incorporación de datos históricos y sociales que presente el fenómeno de sometimiento y exclusión sistemático al que se encuentran some-tidos amplios sectores de la sociedad.50

En tercer lugar, se propuso que los deberes mencionados con anteriori-dad sean llevados a cabo por equipos multidisciplinarios con intención de que arrojen posturas o políticas multidireccionales. No se puede desconocer la con-fluencia de facetas que conforman a los individuos y si existe la posibilidad de que se contemple un accionar discriminatorio, se debe pensar más allá de las políticas unidireccionales y abrazar las que brinden múltiples y variados puntos de vista.

Para concluir, se expuso que se debe exigir para evitar el daño que de manera obligatoria produzca el desarrollo de la Inteligencia Artificial, un en-foque inclusivo. Esto significa que debe haber una participación relevante de las personas y de las comunidades en cómo se recogen, se analizan y se utilizan los datos.51 En este orden de ideas, también se entendió que debe haber una revisión periódica del diseño, del desarrollo y de la implementación de la IA.

50 Saba, Roberto y Alegre, Marcelo, “(Des) igualdad estructural”, en El Derecho a la Igualdad. Aportes para un cons-titucionalismo igualitario, Buenos Aires, Lexis Nexis, 2007.51 Suiza, Informe de 7-9 junio 2017, “IA para el bien -Inteligencia artificial puede ayudar a resolver los grandes desa-fíos de la humanidad”, UIT, Ginebra, Suiza, p. 63. Disponible en:https://www.itu.int/en/ITU-T/AI/Documents/Report/





155

7. Bibliografía

Antúnez, Dalile, et al., “Tomarnos en serio la igualdad. Comentarios a más allá de la igualdad formal ante la ley: Qué les debe el estado a los grupos desaventajados”, Lecciones y Ensayos (Buenos Aires), No. 99, Eudeba, 2018, pp. 215-244.

Badia, Mántaras et al., Inteligencia Artificial, España, Editorial Catarata, CSIC, 2017.Bernal, Carlos, “El principio de proporcionalidad como criterio para la aplicación del

derecho fundamental a la igualdad”, en Beade, Gustavo y Clérico, Laura, De-safíos a la ponderación, Bogotá, Universidad Externado de Colombia, 2011, pp. 299-347.

Boden, Margaret, Inteligencia artificial- Traducción de Inmaculada Pérez Parra, Ma-drid, Turner Publicaciones S.L., 2017.

Bravo, Paola Carranza, “Introducción a las técnicas de Inteligencia Artificial aplicadas a la gestión financiera empresarial.” Fides et Ratio - Revista de Difusión cultu-ral y científica de la Universidad La Salle en Bolivia., (Bolivia), 2010.

CNCiv, Sala J, “Hertzriken, Luciano y otro c/ Sanfuentes Fernández, Magdalena s/ da-ños y perjuicios”, sentencia del 11/10/2006.

Cook R. J., y Cusack. S., Estereotipos de Género. Perspectivas Legales Transnacionales, Bogotá, Editorial Profamilia, 2009.

Danesi, Cecilia, “¿Quién responde por los daños ocasionados por los robots?”, RCyS, (Buenos Aires), No. 11, año 20, Thomson Reuters, pp. 24-34.

Dictamen del Comité Económico y Social Europeo sobre la «Inteligencia Artificial: las consecuencias de la inteligencia artificial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad», (Dictamen de iniciativa), (2017/C 288/01), Ponente: Catelijne MULLER, 31.8.2017, Diario Oficial de la Unión Europea.

European Commission, “Una definición de la Inteligencia Artificial: principales capa-cidades y disciplinas científicas. Grupo independiente de expertos de alto nivel sobre inteligencia artificial”, Unión Europea, 2018.

Ferreyra R. G., “Gobernar es igualar. Isonomía, oportunidades y justicia social en Ar-gentina”, Revista Academia (Buenos Aires), No. 28, año 14, segundo semestre, 2016, pp. 185-227.

Grupo de Investigación Aplicada a la Ingeniería Química. Informática Aplicada a la Ingeniería de Procesos. Rosario: Universidad Tecnológica Nacional – Facultad Regional Rosario, Departamento de Ingeniería Química, p. 9. [Consultado el 26 de julio de 2019], Disponible: https://www.frro.utn.edu.ar/repositorio/catedras/quimica/5_anio/orientadora1/monograias/matich-redesneuronales.pdf

Internacional, Resolución Nº 73/348, de 29 de agosto de 2018, Promoción y protección del derecho a la libertad de opinión y expresión de la. Asamblea General de las

AI_for_Good_Global_Summit_Report_2017.pdf





156

Naciones Unidas, ONU, 2018. Considerando 3. [Consultado el 29 de noviembre de 2019], Disponible en: http://undocs.org/es/A/73/348

Lavista, Juan Miguel, “El riesgo moral en el aprendizaje automático”, en Algoritmolan-dia, inteligencia artificial para una integración predictiva e inclusiva de Améri-ca latina, (Buenos Aires), Editorial Planeta, 2018.

López Briega, Raúl, Libro online IAAR. p. 4. [Consultado el 29 de julio de 19], Disponi-ble en: https://iaarbook.github.io/autor/

López, Juan, “¿Es el Pink Tax una práctica discriminatoria?”, JA (Buenos Aires), Abe-ledo-Perrot, T. V, 2017.

López, Juan, “Un primer acercamiento al “Pink Tax” y su estudio a través del derecho del consumidor argentino”, en Barocelli Sergio, Género y Derecho del Consumi-dor, Buenos Aires, Editorial Aldina, 2019, pp. 127-150.

Núñez R. S. y Diaz R., “El fin del principio de igualdad en el ordenamiento jurídico ar-gentino. La transición entre el juicio a prueba y el principio de igualdad”, Pensar en derecho (Buenos Aires), No. 10, año 5, Eudeba, 2017, pp. 165-206.

O’Neil, Cathy, Armas de destrucción matemática, Madrid, Capitán Swing Libros S.L., 2017.

Ronconi, Liliana, Derecho a la educación e igualdad como no sometimiento, Bogotá, Universidad de Externado, 2018.

Saba, Roberto y Alegre, Marcelo, “(Des) igualdad estructural” en El Derecho a la Igual-dad. Aportes para un constitucionalismo igualitario, Buenos Aires, Lexis Nexis, 2007.

Saba, Roberto, “Igualdad de trato entre particulares”, Lecciones y Ensayos (Buenos Ai-res), No. 89, Eudeba, 2011, pp. 217-276.

Saba, Roberto, “Desigualdad estructural y acciones afirmativas”, en Augusto Varas y Pamela Díaz-Romero (editores), Fundación Equitas, Ril Editores, Santiago, Chi-le, 2013, pp. 85-125.

Suiza, Informe de 7-9 junio 2017, “IA para el bien -Inteligencia artificial puede ayu-dar a resolver los grandes desafíos de la humanidad”, UIT, Ginebra, Suiza, p. 63. Disponible en:https://www.itu.int/en/ITU-T/AI/Documents/Report/AI_for_Good_Global_Summit_Report_2017.pdf

Zayat, Damián “El principio de igualdad. Razonabilidad, categorías sospechosas, trato desigual e impacto desproporcionado.” en Tratado de los Derechos Constitucio-nales, Buenos Aires, Abeledo Perrot, 2014.




157


Derechos Humanos: trabajo y seguridad social frente a las nuevas tecnologías de la cuarta revolución industrial en México*Human Rights: Work and Social Security Against the New Technologies of the Fourth Industrial Revolution in Mexico

Emmanuel López Pérez**

resumenEl presente artículo tiene como objetivo el análisis del impacto de las nuevas tecnologías de la cuarta revolución industrial en dos grandes derechos humanos: trabajo y seguridad social.

Conscientes de que durante la evolución de las sociedades los avances tecnológicos han sido una constante en la vida cotidiana de las personas sin embargo, hoy en día esta 4RI*** generará cambios radicales por lo que estas situaciones de hecho deberán ser reguladas por un nuevo derecho.

En ese contexto este análisis se desarrollará mediante el uso de los métodos deductivo-analítico; primeramente se analizan las principales acepciones del tema, los efectos de las nuevas TICs en el trabajo y la seguridad social, el nuevo mercado laboral así como los posibles esquemas de aseguramiento social del futuro. Por último, se presentan a manera de conclusiones retos que deberán afrontar las personas-Estados para la protección de estos derechos humanos en una era digital, finalizando con las fuentes de investigación.

palabras claveTrabajo, seguridad social, cuarta revolución industrial, trabajador 4.0

abstractThe main objective of this article is to analyze the impact of the new technologies of the fourth industrial revolution on two human rights: labor and social security.

Aware that during the evolution of societies technological advances have been a constant in people’s daily lives, however, today this 4RI, will generate radical changes, so these situations must in fact be regulated by a new law.

In that context this analysis will be developed through the use of deductive-analytical methods; First, the main meanings of the topic, the effects of new TICs on labor and social security, the new labor market as well as the possible social insurance schemes of the future.

Finally, the main challenges in the matter are presented -in conclusion form-. and the sources of research

keywordsLabor, social security, fourth industrial revolution, worker 4.0

*Artículo de Investigación postulado el 10 de febrero de 2020 y aceptado el 4 de noviembre de 2020**Doctorando en la Facultad de Derecho y Ciencias Sociales de la Universidad Autónoma del Estado de Morelos, México. ([email protected]) orcid.org/0000-0003-2416-9292 ***A partir de este momento se usará este Acrónimo para referirnos a la cuarta revolución industrial




E M M A N U E L L Ó P E Z P É R E Z

158

SUMARIO1. Introducción 2. Precisiones terminológicas 3 La nueva revolución industrial 4 La industria 4.0 y el trabajo 5. El derecho a la seguridad social frente a la industria 4.0 6. Hacia una seguridad social 4.0 7. Reflexiones finales

I. Introducción

La evolución de las sociedades ha sido marcada por grandes avances tecno-lógicos que han roto paradigmas en diversos aspectos de las personas. Estos avances de las tecnologías se vieron representadas en tres grandes revolucio-nes industriales en donde cada una se caracterizó por diferentes invenciones.

En la actualidad nos enfrentamos a una cuarta revolución industrial o también llamada industria 4.0 la cual, se encuentra caracterizada por una com-pleta automatización en los procesos de producción gracias a las inteligencias artificiales, las tecnologías digitales y el internet de las cosas.

Estas nuevas tecnologías que conlleva la industria 4.0 traen ciertas ven-tajas y desventajas en todos los aspectos de la vida cotidiana de las personas sin embargo, por ser interés principal del presente artículo se resalta aquellos que influyen directamente en dos derechos humanos importantes en México; el trabajo y la seguridad social.

En ese contexto el presente trabajo tiene como objetivo establecer cuál es el impacto de las nuevas tecnologías de la industria 4.0 en materia del trabajo y seguridad social, así como cuestionar los requerimientos o propuestas nece-sarias para hacer frente a estos nuevos hechos que deben ser regulados por un nuevo derecho.

Para ello, el presente artículo se desarrolla bajo el uso de los métodos de-ductivo-analítico; en un primer momento se establecen las precisiones termi-nológicas que envuelven al tema; a la postre, se analiza la nueva revolución industrial y sus antecedentes así como el impacto de esta 4RI en el trabajo y la seguridad social, proponiendo el nacimiento de una seguridad social 4.0.

Por último, se desarrollan las reflexiones finales que se llegaron en la ela-boración del presente trabajo.




D E R E C H O S H U M A N O S : T R A B A J O Y S E G U R I D A D S O C I A L F R E N T E A L A S N U E V A S T E C N O L O G Í A S . . .

159

2. Precisiones terminológicas

a. Trabajo

El trabajo ha estado presente desde la existencia del hombre y la mujer sin embargo, la concepción del mismo ha evolucionado con base a los propios contextos y necesidades sociales que se desarrollan en determinada época.

De tal suerte que hablar de trabajo en la era primitiva no resulta igual a lo que fue en el siglo XVIII con la primera revolución industrial, pues basta señalar que nuestros ancestros desempeñaban trabajos mediante la división del mismo1

con la finalidad de sobrevivir a las propias inclemencias de la época sin tener como objetivo una retribución de naturaleza económica sino de primera necesi-dad. Por el contrario, hoy en día hablar de trabajo implica obligatoriamente tener como eje primordial una retribución reflejada tanto en dinero como en especie.

A pesar de ello, se debe resaltar que el trabajo sea la época en que se desa-rrolle tiene un elemento en común, su finalidad, la cual se encuentra direccio-nada en la satisfacción de las necesidades básicas de la persona y su entorno.

La existencia de múltiples acepciones de este concepto obliga a retomar aquellos que por su naturaleza fungen como un pilar para determinar lo que es el trabajo.

Al respecto, la Organización Internacional del Trabajo (OIT) establece que el trabajo es el conjunto de actividades humanas, remuneradas o no, que produ-cen bienes o servicios en una economía, o que satisfacen las necesidades de una comunidad o proveen los medios de sustento necesarios para los individuos.2 Dentro de esta definición se encuentran inmersos elementos importantes tales como la actividad humana que puede ser remunerada o no, así como la pro-ducción de bienes y servicios que satisfagan las necesidades de los individuos dentro de su comunidad.

Por su parte, el Doctor Néstor de Buen en su libro “Derecho del trabajo” considera al trabajo como un sinónimo de actividad provechosa, de esfuerzo dirigido a la consecución de un fin valioso,3desprendiendo que todo trabajo implica un esfuerzo físico o mental el cual, tiene como objetivo la obtención de una contraprestación de naturaleza económica o en especie.

1 División del trabajo como la recolección de frutos, la caza de animales, el cuidado de los hijos, entre otros.2 Organización Internacional del Trabajo, ¿Qué es el trabajo decente?, OIT, Suiza, 2004, [Consulta: 4 de enero, 2020]. Disponible en: https://www.ilo.org/americas/sala-de-prensa/WCMS_LIM_653_SP/lang--es/index.htm3 De Buen, Néstor, Derecho del Trabajo, Editorial Porrúa, México, 2015, p. 19.





160

En ese contexto, la propia Ley Federal del Trabajo en su artículo octavo define como actividad humana, intelectual o material, independientemente del grado de preparación técnica requerido por cada profesión u oficio.4 Cier-tamente la existencia de diversas acepciones respecto de un concepto tan con-trovertido como el trabajo, implica el estudio y contexto donde se encuentra implementado (resaltando por supuesto la época en que se vive).

De lo anterior surge el cuestionamiento respecto de la evolución del traba-jo a causa de las nuevas tecnologías digitales de la 4RI.

El tiempo ha confirmado que la concepción del trabajo ha cambiado por lo tanto, resulta coherente establecer que el trabajo que hoy conocemos en diez o veinte años no será el mismo por lo que la definición que contempla la legis-lación laboral en el país tendrá que transformarse para encuadrar a la nueva realidad en la materia a causa de las tecnologías tanto en México como en el resto del mundo.

b. Seguridad social

El concepto seguridad social ha sufrido varias mutaciones a lo largo de la his-toria, en gran parte por los cambios socioculturales y económicos que sufren las sociedades pese a ello, su finalidad no ha logrado cambiar enfocándose a brindar una protección social a las personas con la intención de elevar su cali-dad de vida a través de sus principales herramientas: la beneficencia social, la asistencia social, el seguro social y los seguros privados.

La seguridad social es tan antigua como la humanidad,5 ya que los seres humanos por naturaleza buscamos tener una vida plena y lo más satisfactoria posible con los elementos presentes en nuestro entorno donde la seguridad social ha fungido como un medio para garantizar dicha plenitud.

Al respecto, la OIT refiere que la seguridad social:

Es la protección que la sociedad proporciona a sus miembros, bajo un enfoque integral de bienestar del trabajador y su familia, que consiste en proporcionar atención a las contingencias en materia de salud por enfermedad, maternidad y protección del trabajador en casos de acci-dente, desempleo, invalidez, vejez o muerte y el otorgamiento de pres-taciones económicas y subsidios a la población con menores ingresos.6

4 Ley Federal del Trabajo, Diario Oficial de la Federación, 1 de abril de 1970.5 Briseño Ruiz, Alberto, Derecho Mexicano de los Seguros Sociales, Ed. Harla, México, 2017, p.13. 6 Organización Internacional del Trabajo, Indicadores del sistema seguridad social glosario de seguridad social y





161

Como se desprende del concepto establecido por la OIT de una manera general, la seguridad social comprende diversas ramas de protección social enfocadas al trabajador y sus beneficiarios. Para ello se debe observar desde dos puntos de vista; el primero, garantizándolo a través de prestaciones de naturaleza eco-nómicas y; el segundo, mediante las prestaciones en especie que comúnmente derivan de la atención médica, hospitalaria, farmacéutica, sociales, entre otros.

En México la legislación no contempla un concepto referente a la seguri-dad social sin embargo, no resulta ser omisa del todo puesto que se establece su finalidad, al mencionar que:

La seguridad social tiene por finalidad garantizar el derecho a la salud, la asistencia médica, la protección de los medios de subsistencia y los servicios sociales necesarios para el bienestar individual y colectivo, así como el otorgamiento de una pensión que, en su caso y previo cumplimiento de los requisitos legales, será garantizada por el Estado.7

De tal suerte que la seguridad social garantiza los elementos sociales necesa-rios así como los económicos para que las personas puedan gozar de las presta-ciones que ésta ofrece, aclarando que para ser sujeto de dichas prestaciones que la ley otorga se deberá cumplir con los requisitos que la misma exige.

Por consiguiente, se debe establecer que la seguridad social es:

El conjunto de instituciones, principios, normas y disposiciones que protegen a todas las personas contra cualquier contingencia que pudie-ran sufrir y las previene, a fin de permitir su bienestar mediante la su-peración de aspectos psicofísico, moral, económico, social y cultural.8

Ahora bien, se debe resaltar que la principal problemática de la seguridad social en México surge a causa del tratamiento dado por la legislación nacional ya que no es contemplada como un derecho humano sino correspondiente de otro derecho humano, el trabajo. Es decir la seguridad social en México se encuen-tra laboralizada, ya que sin la existencia de un trabajo formal el acceso a ella resulta compleja, ciertamente existe el aseguramiento voluntario a través del

términos relacionados, Ed. OIT, Perú, 2012, [Consulta: 13 de diciembre, 2019] Disponible en: http://white.lim.ilo.org/spanish/260ameri/oitreg/activid/proyectos/actrav/segsoc/estadisticas/indicadores/glosario.html7 Ley del Seguro Social, Diario Oficial de la Federación, 21 de diciembre de 1995.8 Briceño Ruiz, Alberto, Derecho de la seguridad social, Ed. Oxford, México, 2011, p.14.





162

seguro de familia aunque, el acceso a las prestaciones solo se limita aquellas contempladas en la rama de enfermedad y maternidad.

Esta problemática se agudiza al empalmar las nuevas modalidades de tra-bajar a raíz de las tecnologías digitales de la 4RI pues se espera que la im-plementación de inteligencias artificiales remplacen la mano de obra humana en los centros de trabajo9 originando dos hechos: la perdida de trabajos y por consiguiente el aseguramiento social.

De lo anterior la seguridad social no solo se limita a garantizar determi-nadas prestaciones pecuniarias y en especie a las personas, sino a la par funge como un estabilizador socioeconómico de un país. Sobra mencionar la gran importancia de este derecho humano en la vida de las personas contemplado en la Declaración Universal de los Derechos Humanos de la ONU en su artículo 22,10 un derecho humano que hasta hoy su materialización ha sido un gran reto para la mayoría de los países de América Latina y México poniendo una carga más a los avances tecnológicos de la 4RI.

c. Industria 4.0

La concepción de la industria 4.0, también conocida como cuarta revolución industrial conlleva de manera implícita la aplicación y uso de nuevas tecnolo-gías digitales en diversos aspectos de la vida de las personas (principalmente en aspectos que involucren el trabajo); cabe mencionar que contar con una de-finición precisa del significado de industria 4.0 resulta compleja, ya que hasta 2015 Carolina Castresna señaló que había más de 134 definiciones para poder explicar qué es este fenómeno global.11

No obstante, cada una de estas definiciones comparten algunas similitu-des que permiten abrir un panorama respecto al significado de lo que es este fenómeno.

La industria 4.0 es:

Un nuevo modelo de organización y de control de la cadena de valor a través del ciclo de vida del producto y a lo largo de los sistemas de fabri-cación apoyado y hecho posible por las tecnologías de la información.12

9 Se verá con mayor profundidad adelante. 10 Naciones Unidas, Declaración Universal de los Derechos Humanos, 1948, Disponible en: https://www.un.org/es/universal-declaration-human-rights/11 Cfr. Castresna Sáenz, Carolina, et al., Industria 4.0, España, Universidad de la Rioja, 2016, p. 12, [Consulta: 22 de diciembre, 2019]. Disponible en: https://biblioteca.unirioja.es/tfe_e/TFE002004.pdf12 Conferencia de Directores y Decanos de Ingeniería Informática, Industria 4.0: la transformación digital de la indus-





163

Donde la interacción del hombre en los sistemas de producción se verá dismi-nuido en razón a la automatización de los procesos originado por la implemen-tación de inteligencias artificiales.

De tal suerte que esta industria 4.0 se encuentra basada en sistemas de pro-ducción ciberfísicos. En estos, los procesos de producción sean físicos o bioló-gicos, son controlados o monitoreados por algoritmos estrechamente integrados con Internet.13

De una manera más digerible, se traduce que las tecnologías permitirán una interacción totalmente autónoma entre máquinas donde la mano del hom-bre se reducirá a lo mínimo, permitiendo una producción de los bienes y ser-vicios con mayor eficacia y eficiencia gracias a los procesos digitales hechos posibles por el internet de las cosas.14

Sin duda, la industria 4.0 se:

Asocia con la informatización y digitalización de la producción y con la generación, integración y análisis de una gran cantidad de datos a lo largo del proceso productivo y del ciclo de vida de los productos, facilitados fundamentalmente por el internet.15

Por lo que al hablar de industria 4.0 conlleva referirnos al uso del internet pues a través de él así como de las diferentes tecnologías de la información y de la comunicación es posible cambiar la forma sustancial de lo que se produce, cómo se trabaja y cómo se vive actualmente borrando las esferas físicas, digi-tales y biológicas.16

De tal suerte que la industria 4.0 es un nuevo modelo de organización hecho posible por la invención de las nuevas tecnologías digitales, el uso de inteligencias artificiales y el internet de las cosas a través de las TIC´s permi-tiendo la creación de productos con mayor eficacia y eficiencia, eliminando las barreras de lo físico y lo digital en los procesos de producción.

En ese contexto la repercusión de la industria 4.0 tanto en el trabajo como en la seguridad social resultan íntimamente ligadas, al menos en México y en

tria, España, p. 3, [Consulta: 19 de noviembre, 2019]. Disponible en: http://coddii.org/wp-content/uploads/2016/10/Informe-CODDII-Industria-4.0.pdf13 Comisión Económica para América Latina, Industria 4.0 Oportunidades y desafíos para el desarrollo productivo de la provincia de Santa Fe, CEPAL, Chile, p. 1014 El internet de las cosas es la comunicación entre máquinas por medio de las TIC´s capaces de tomar decisiones de manera autónoma sin la intervención de un humano para el desarrollo de determinada actividad. 15 Basco, Ana Inés, Beliz, Gustavo, et. al., Industria 4.0 fabricando el futuro, UN, Argentina, 2018, p. 24.16 Cfr. Ídem.





164

aquellos países donde la seguridad social se encuentra vinculada al trabajo, por lo que el surgimiento de un nuevo derecho que atienda las nuevas necesidades en el contexto de la industria 4.0 resultan ser necesarias para la protección de las sociedades en estos dos grandes derechos humanos.

3. La nueva revolución industrial

La cuarta revolución industrial también conocida como industria 4.0 se en-cuentra en auge en diversos países del mundo y México no resulta ajeno a este fenómeno global, ciertamente tiene un mayor impacto en naciones con alto desarrollo socioeconómico en comparación a países que se encuentran en vías de desarrollo como es el caso mexicano.

Cabe recordar que la humanidad ha vivido tres grandes revoluciones in-dustriales; la primera, tuvo lugar a finales del siglo XVIII en el Reino Unido misma que se encontró caracterizada por la invención de la máquina de vapor la cual fue la cuna del desarrollo de la época pues tuvo gran auge en los proce-sos de producción de las industrias así como en los sistemas de comunicación por medio del ferrocarril;17 la segunda, aparece a finales del siglo XIX teniendo auge en algunos países en su mayoría europeos.18

Esta segunda revolución industrial tuvo un impacto en las industrias ya que se materializó mediante la producción en cadena o masa que permitió a las industrias la elaboración de sus productos con una mayor eficacia y eficiencia reflejándose en el costo y tiempo para producir sus bienes asimismo la creación de medios de transporte como la fabricación del automóvil, buques marítimos de mayor capacidad y el aeroplano impulsado por motores a gasolina.19

La tercera revolución industrial tiene inicios en la década de los años setenta teniendo como característica fundamental la invención de las computadoras y el uso del internet así como otros elementos tecnológicos que rompieron paradig-mas importantes en materia de comunicación como: los sistemas de navegación a través de satélites y uso de la telefonía remota con la creación de los celulares.

Hoy en día nos encontramos ante la cuarta revolución industrial que tras-toca todos los aspectos cotidianos de las personas de una manera totalmente diferente, entre los cuales encontramos: el ámbito laboral y la seguridad social.

17 Mendizábal Bermúdez, Gabriela, Sánchez-Castañeda, Alfredo, et. al, Industria 4.0 Trabajo y seguridad social, IIJ-UNAM, México, 2019, p. XV.18 Países como Francia, Alemania, Bélgica, Japón y Estados Unidos de América.19 Silva Arriaga, Luis, La segunda revolución industrial y el nacimiento de la gran empresa, España, [Consulta: 12 de enero, 2020]. Disponible en: https://ocw.unican.es/pluginfile.php/1213/course/section/1495/MC-II-3.pdf





165

Una revolución industrial peculiar y distinta que está rompiendo paradig-mas en diversos aspectos de la vida de las personas sobre todo por el tipo de tecnologías aplicadas en diversos ámbitos de sus vidas pues son invenciones que nunca se habían visto en la realidad sino solo en películas de ficción.

Esta 4RI ha planteado diversas incógnitas desde su aplicación e impacto a nivel personal, así como la necesidad de los propios Estados de encontrarse preparados para recibir los efectos tanto positivos como negativos que pudie-ran traer las nuevas tecnologías en el ámbito laboral, económico, social, políti-co y cultural de una sociedad.

Ciertamente los efectos de la 4RI no se sentirán de una manera directa en un corto plazo en países que no tienen la capacidad de desarrollar tecnologías vanguardistas, sin embargo, los efectos permearán de una manera progresiva en todo el mundo en gran medida por el fenómeno de la globalización y la internacionalización.

Se debe mencionar que las revoluciones industriales antecesoras obliga-ron a las personas ha readaptarse a los nuevos conocimientos y restos que con-llevaba la aplicación de las tecnologías, retos que afectaron en su mayoría a los trabajadores de las industrias pues las máquinas llegaron a desplazar puestos de trabajo ocupados por personas, a tal grado que en la Revolución industrial de fines del siglo XVIII y principios del siglo XIX, los trabajadores textiles en el Reino Unido quemaron las máquinas de tejer para protestar contra los nuevos telares automáticos, que habían ocupado sus puestos de trabajo,20por lo que esta nueva revolución industrial no resultaría ser la excepción.

De tal suerte que son hechos que el derecho debe salvaguardar, procuran-do la protección de dos grandes derechos humanos que han acompañado al hombre desde su existencia: el trabajo y la seguridad social.

4. La industria 4.0 y el trabajo

Nuevos trabajos, nuevas profesiones, una reinvención de los trabajadores son algunas de las cosas que depara la industria 4.0 para las personas en mate-ria laboral. La implementación de las tecnologías en el mundo del trabajo ha abierto la posibilidad de la existencia de trabajos que en años anteriores no se creerían, plasmadas en una utopía que hoy se puede hacer realidad.

La incertidumbre se agudiza cuando surgen diversas interrogantes respec-to al tema ¿Los robots terminarán realizando los trabajos de las personas? ¿Qué

20 Oppenhaimer, Andrés, Sálvese quien pueda, El debate, México, 2018, p. 44





166

empleos serán los más afectados por las nuevas tecnologías? ¿Qué se necesita para estar preparados y competir por los empleos del nuevo mercado laboral? ¿Cuál es rol del Estado para la protección de sus ciudadanos en materia de tra-bajo y seguridad social?

Evidentemente son cuestionamientos sin una respuesta concreta, aunque la realidad es que las tecnologías que conlleva la cuarta revolución industrial impactarán de una manera jamás antes vista en el ámbito laboral, por tanto la reinvención de cada uno de los trabajadores es algo inaplazable.

Existen diversos ejemplos de estos cambios, conscientes de que el impacto y el desarrollo del mismo dependerán del país y las posibilidades tanto econó-micas como tecnológicas que se disponga, sin embargo, en un mundo donde la globalización ha hecho que todo el planeta se encuentre interconectado, tarde o temprano las tecnologías llegarán a cada uno de los puestos de trabajo inclu-so a los menos esperados como el caso mexicano.

Cabe destacar que existen centros de distribución de productos que son operados completamente por robots, tiendas completas sin cajeros (Amazon), y restaurantes totalmente automatizados.21

La implementación de tecnologías en puestos de trabajo resulta conve-niente para los empleadores, ponderando el ahorro en costos laborales que se generarían así como una mayor eficacia y eficiencia en sus productos o servi-cios, por lo que es muy probable que tiendas, restaurantes, fábricas, centros de distribución, entre otros estén encaminados a la robotización de sus procesos de producción.

De lo anterior se plantea si estas tecnologías pondrán fin al trabajo de las personas. Para lograr responder este cuestionamiento se debe tomar en cuenta lo siguiente:

Se preguntan si la tecnología acabará con el trabajo y con todos los be-neficios comúnmente asociados a tener un empleo (por ejemplo, tener acceso a una pensión o seguro médico). Argumentando que estamos viviendo una revolución tecnológica sin precedentes, donde el cambio se está acelerando a un ritmo creciente. Si las máquinas son capaces de ejecutar mejor y de forma más económica lo que hoy hacen los huma-nos. ¿Qué le espera a la humanidad? ¿Nos condenará la tecnología al desempleo masivo y a la desigualdad? Es obvio que la tecnología tiene

21 Cfr. Pages Serra, Carmen, Ripani, Laura, “El empleo en la Cuarta Revolución Industrial”, Revista integración & comercio, Número 42, agosto, 2017, p. 266.





167

un enorme potencial de destrucción de empleo, pero ¿cuál será su efec-to global? Para anticipar cómo impactará la tecnología al nivel y a la composición del trabajo es preciso tener en cuenta varias cuestiones.22

Estas cuestiones se reflejan en lo siguiente: primero, se debe establecer que estas tecnologías podrán remplazar tareas rutinarias es decir, que son fácil-mente automatizables, por lo que no todo el trabajo que realizan las personas se verá afectado; segundo, al ser sustituidas las tareas más rutinarias se abre la posibilidad para que profesiones con un grado de preparación mayor se dejen fuera de las máquinas para ser ocupadas por las personas, por lo que una es-pecialización en determinada profesión será requerida para desempeñar esos puestos de trabajo, y; tercero, la creación de nuevos empleos que actualmente no existen, si bien es cierto que algunos desaparecerán o serán ocupados por robots, también resulta verdad que se crearán nuevos trabajos para ser desa-rrollados por las personas e incluso la implementación de las tecnologías en determinado sector crearan trabajos para poder desempeñar o dar servicio a esas tecnologías, tal y como ha sido documentado por James Bessen, la incor-poración masiva de cajeros automáticos no ha acabado con los empleados del sector bancario, sino que, por el contrario, estos han crecido un 2% por año.23

Por lo tanto se desprende que en efecto, las tecnologías de la 4RI impacta-rán en el mundo del trabajo pero esto no implica la destrucción del mismo sino una trasformación totalmente diferente a la que hoy conocemos, por lo que la acción para contrastar esos efectos se basará en la reinvención de los trabaja-dores (una nueva reeducación para el trabajo que servirá en el mercado laboral digital) en esta nueva era así como una transformación de lo que conocemos como un trabajo tradicional y las nuevas formas de trabajar.

A pesar de ello se debe abrir el debate respecto del tipo de trabajo que se es-tará creando sus características y la posible vulneración de los derechos laborales existentes. Al respecto se pude comenzar analizando los siguientes apartados.

a. Las nuevas formas de trabajo en 4RI

Es un hecho que debido a la cuarta revolución industrial las personas deberán estar preparadas para avanzar y realizar cambios en diferentes ámbitos tanto personales como en sociedad. El avance tecnológico no solo trae modificaciones

22 Ibídem, pp. 270-271.23 Ibídem, p. 271.





168

en todo lo que conocemos sino además hace replantearnos si la forma en que estamos haciendo las cosas es la mejor.

El mundo laboral de hace diez años no es el mismo de ahora, ni en México ni en el mundo, la evolución ha sido tan grande que incluso algunos trabajos se han vuelto obsoletos, por lo que el reto es la actualización o reinvención de los trabajadores perfeccionando sus habilidades para estar a la altura de estos cambios y ser sujetos idóneos en el nuevo mercado laboral.

Todos los cambios que han surgido debido al avance tecnológico han traí-do como resultado nuevas formas de trabajar por ejemplo, en algunos trabajos ya no es necesario estar en un lugar físico para desempeñar la jornada laboral pues gracias a la tecnología podemos estar enviando y recibiendo información desde cualquier lugar.

Estos avances tecnológicos nos dan la oportunidad de realizar el trabajo en cualquier lugar y en el momento que se deseé surgiendo nuevos modelos de trabajo como el Smart Working donde el trabajador podrá decidir en dónde quiere trabajar, teniendo libertad y flexibilidad de horario, asimismo el auge de los FreeLancer, personas que trabajan de manera independiente. Estos dos conceptos nacen y seguirán creciendo gracias a la 4RI.

Por consiguiente las nuevas formas de trabajo se pueden ver desde dos perspectivas, por un lado, las grandes empresas buscan personas mejor capa-citadas para realizar el trabajo, personas que dominen el tema de las nuevas tecnologías y conozcan cómo utilizarlas con facilidad. Por otro, los emplea-dores pueden ofertar trabajos fáciles y de tareas sencillas donde el trabajador no necesariamente esté especializado en el área a través de las plataformas digitales, como Uber, Rappi, Didi, entre otros. Por supuesto estos últimos son trabajos más palpables en México.

Por desgracia la creación de estos nuevos empleos conlleva a trabajos pre-carios ya que en su mayoría son empleos realizados bajo proyecto teniendo como consecuencia que no cuenten con derechos laborales reconocidos en la legislación del trabajo mexicana y por ende, la negación al acceso de seguri-dad social pues no existe una relación laboral sino una prestación de servicios, siendo acreedores únicamente a la percepción económica.

b. Precarización del trabajo

La llegada de la 4RI ha venido a modificar todo cuanto conocemos; la di-gitalización, la inteligencia artificial, el desarrollo de las TIC´s y las nuevas





169

tecnologías no solo han impactado de forma considerable la manera en que vivimos, sino también nos exige adaptarnos y avanzar a la par.

Las sociedades se ha beneficiado con estos procesos tecnológicos en dife-rentes áreas como la medicina, vivienda, en la creación de productos que nos hacen más fácil la vida, entre otras sin embargo, también trastoca aspectos no muy favorables para la propia sociedad como las modificaciones de los em-pleos tradicionales,24una precarización de los trabajos existentes que impactan de manera directa a las personas pues estas innovaciones tecnológicas están logrando que los trabajos fácilmente automatizables sean destruidos o rempla-zables por inteligencias artificiales teniendo como consecuencia que tanto las empresas como las personas que no logren adatarse a este cambio fracasen en un corto plazo.

Todo este cambio tecnológico no es algo nuevo para las personas pues las sociedades siempre se encuentran evolucionando, ellas son capaces de adap-tarse y trabajar a la par con los cambios que le marca el propio contexto so-cio-histórico. Así, los cambios que implica la actual revolución industrial son totalmente nuevos ya que las tecnologías se encuentran en un proceso de in-dependencia, es decir, cada día requieren menos la interacción del ser humano para la toma de decisiones lo cual impacta en las cadenas de producción de las industrias y por ende, los puestos de trabajo serán ocupados en un gran por-centaje por las inteligencias artificiales desplazando a los trabajadores que no sean compatibles con las propias tecnologías que él mismo crea.

Cabe precisar que el miedo al desempleo tecnológico es un fenómeno que ha existido desde hace varios siglos y se ha documentado que se agudiza en épocas de cambios tecnológicos radicales25 como ya lo estamos viviendo.

Además, la cuarta revolución industrial va más allá de inteligencia artifi-cial o del uso de robots, este avance tecnológico está trayendo nuevas formas de trabajo, desempleo, transformación, entre otros puntos repercutiendo direc-tamente en las personas, su economía y en su aseguramiento social.

Sin duda alguna replantearse el desempleo como una posibilidad de este hito tecnológico resulta ser una constante ya que por un lado, las grandes em-presas buscarán la forma de producir más gastando menos, lo cual implica invertir en máquinas que puedan realizar lo mismo que diez trabajadores, las

24 El periodista Andrés Oppenheimer en su obra ¡Sálvese quien pueda! El futuro del trabajo en la era de la automa-tización hace una descripción de cómo los trabajos tradicionales como los banqueros, mensajeros, operadores de cabina entre otros desaparecerán producto de las máquinas y las tecnologías de esta era.25 Minian, Isaac y Martínez Monroy, Ángel, “El impacto de las nuevas tecnologías en el empleo en México”, Revista Problemas del Desarrollo, octubre-diciembre, 2018, p. 28.





170

cuales no requieren aportaciones a la seguridad social, no se enferman, no existe una relación laboral, ni mucho menos prestaciones laborales.

De tal suerte que las personas podrán ser remplazadas por máquinas en sus puestos de trabajo.26

El mundo laboral está cambiando, hoy en día el aumento de los empleos a través de plataformas digitales y trabajos bajo la modalidad de proyectos en México27 son ocupados por los jóvenes que se encuentran interesados en desempeñar estos servicios ya que por un lado pueden desarrollar la actividad laboral en el lugar que ellos decidan si tener que acudir a un espacio físico para realizarlas y por supuesto no estar ligados a un horario laboral.

Pese a ello se debe mencionar que carecen de alguna certeza o permanen-cia en el empleo debido a que estas formas de trabajar en México son desarro-lladas como prestación de servicios regidas por legislación de corte civil, lo que implica que solo tendrán derecho a los honorarios recibidos por la contrapres-tación excluyendo las prestaciones laborales como: vacaciones, aguinaldos, aseguramiento social, entre otros.

Estas formas precarizadas de trabajar son el auge hoy en día, trabajos que se encuentran formando a los nuevos jornaleros digitales de la nueva era.28

El trabajo tradicional podrá encontrarse en vías de extinción dando paso a estas formas de trabajar que desgraciadamente vulnera los derechos laborales que a lo largo de los años han sido objeto de lucha de las y los trabajadores y han permitido un equilibro social.

Asimismo el derecho a la seguridad social deberá adaptarse a las nuevas condiciones y situaciones que le exige el contexto social con la finalidad de continuar brindando esa protección que requieren las personas de una sociedad.

5. El derecho a la seguridad social frente a la industria 4.0

El mundo del trabajo se encuentra rompiendo paradigmas y transformándose a formas de trabajar totalmente diferentes a las tradicionales por lo tanto, el

26 Economía Basada en Recursos, El Desempleo Tecnológico: Conceptos EBR, Colombia, 2015, [Consulta: 14 de sep-tiembre, 2019]. Disponible en: http://economiabasadaenrecursos.co/index.php/economia-basada-en-recursos/con-ceptos-ebr/desempleo-tecnol%C3%B3gico.html27 Cfr. García, Ana Karen, Precariedad laboral en plataformas está creando jornaleros digitales: OIT, El economista, 2019, [Consulta: 14 de septiembre, 2019]. Disponible en: https://factorcapitalhumano.com/innovacion-y-tecnolo-gia/precariedad-laboral-en-plataformas-esta-creando-jornaleros-digitales-oit/2019/02/28 Cfr. Millán, Mauricio, Empleo calificado ante la Cuarta Revolución Industrial, Vanguardia, México, 2018, [Consulta: 12 de noviembre, 20109]. Disponible en: https://vanguardia.com.mx/articulo/empleo-calificado-ante-la-cuarta-re-volucion-industrial





171

sistema jurídico mexicano debe adaptarse a las nuevas realidades sociales para regular y otorgar una seguridad jurídica a las personas en todos los ámbitos donde el derecho se vea involucrado.

Si el trabajo está cambiando también la forma de brindar seguridad social debe cambiar y adaptarse a los nuevos contextos y necesidades que marcan las situaciones de la vida cotidiana de una sociedad, tomando como premisa que la seguridad social es un instrumento de política social que se diseña para responder a las necesidades de una colectividad en un tiempo determinado.29

Cabe mencionar que la materialización de la seguridad social resulta un tema sumamente complejo pues otorgar este derecho humano30 en países en vías de desarrollo es complicado, en primer lugar por la falta de reconocimien-to de la seguridad social como un derecho humano y; segundo, al no establecer los medios idóneos para poder hacer efectivo este derecho a toda la población, limitándose a solo brindar una protección social a través del asistencialismo.

Actualmente (al menos en lo que respecta a México) el requisito indispen-sable de contar con un trabajo formal para acceder a la seguridad social resulta una limitante máxime por el gran número de personas que se encuentran en el sector informal superando a aquellas que se encuentran en la formalidad.

Por lo que la barrera de la formalidad laboral tendrá que modificarse para abrir otros mecanismos de aseguramiento social que no solo se encuentren ligados a la formalización de un empleo.

Con ello se abre la interrogante respecto de ¿por qué la industria 4.0 im-pacta en la seguridad social? Pues bien, como se ha mencionado con anteriori-dad todas las innovaciones tecnológicas traen consigo ventajas y desventajas y esta 4RI no es la excepción.

Por lo que respecta a las ventajas, podemos establecer que existe una ma-yor producción con mayor eficacia y eficiencia, reducción de costos de elabo-ración, flexibilización en las jornadas laborales permitiendo una conciliación de la vida laboral-familiar así como nuevas invenciones que permiten realizar la vida cotidiana más fácil de una persona.

Sin embargo, las desventajas también se encuentran presentes en esta in-dustria 4.0 siendo más notorias y perjudiciales para la clase trabajadora e inclu-so, para cualquier persona que tenga una relación laboral ya que se encuentra en juego su aseguramiento social en razón a que las inteligencias artificiales son capaces de ocupar puestos de trabajo que son fácilmente automatizables,

29 Narro Robles, José, Moctezuma Navarro, David, et al., “Hacia un nuevo modelo de seguridad social”, Economía UNAM, vol. 7, núm. 20 mayo-agosto 2010.30 En el caso mexicano desconoce dentro de su carta magna el Derecho a la Seguridad Social como derecho humano.





172

lo que traería como consecuencia una precarización en el aseguramiento social de las personas así como el aumento en la tasa de desempleo y una alza en los trabajos de la economía informal.31

Si bien es cierto, no todos los trabajos serán ocupados por las máquinas, pero podrá existir una precarización en las jornadas laborales debido a la posibi-lidad de una reducción de las mismas, pues las máquinas podrán absorber tiem-pos de trabajo que realizaban las personas cuestión más redituable para el patrón.

Tal precarización de las jornadas de trabajo tendrá como efecto una preca-rización en el aseguramiento social de cada una de las y los trabajadores.

En ese contexto estos cambios tecnológicos en el mundo del trabajo tienen un impacto en los sistemas de seguridad social ya que el aumento de desempleo trae consigo la pérdida de acceso a ésta y por desgracia, la laboralización de la seguridad social en México resulta ser una problemática constante.

De tal suerte que las políticas de protección social deben adaptarse a los cambios en el mundo laboral.32

También algunos trabajadores y los propios empleadores se verán benefi-ciados con los avances tecnológicos de esta revolución industrial aunque, exis-tirá una mayor afectación a las y los trabajadores derivado del peligro de ser sustituidos de los puestos de trabajo por las máquinas.

De este modo es necesaria una transformación de la seguridad social que responda a los requerimientos y necesidades que demanda una sociedad 4.0 carente de mecanismos de protección social frente a las nuevas invenciones tecnológicas en el nuevo mercado laboral.

6. Hacia una seguridad social 4.0

La premisa de lo anteriormente analizado es que el trabajo tradicional que hoy conocemos sufrirá grandes cambios a consecuencia de la industria 4.0, por lo que es congruente mencionar que el sistema de seguridad social de México debe de cambiar máxime aquellos que establecen que para generar el derecho a la seguridad social es indispensable la existencia de un trabajo formal.

31 Cfr. Mendizábal Bermúdez, Gabriela, López Pérez, Emmanuel, “¿Un nuevo modelo de seguridad social?”, Revista Internacional y Comparada de Relaciones laborales y Derecho del Empleo, Volumen 6, núm. 1, enero -marzo, 2018, pp. 298-327.32 Banco Mundial, Las políticas de protección social deben adaptarse a los cambios en el mundo laboral, dice el Banco Mundial, Banco mundial, Estados Unidos de América, 2019, [Consulta: 23 de noviembre, 2019]. Disponible en: https://www.bancomundial.org/es/news/press-release/2019/09/17/social-protection-must-adapt-to-changing-nature-of-work-world-bank-says





173

Continuar con los sistemas tradicionales de aseguramiento social traerían una posible precarización en materia de protección social de las personas que hoy en día se encuentran vinculadas a la seguridad social sin embargo, surge la incertidumbre de que los trabajos que actualmente se encuentran activos, en unos años puedan dejar de existir o en el mejor de los casos se trasformen y que cambien las condiciones de contratación del empleado (a), pasando de una re-lación de trabajo personal y subordinada para actualizarse a una simple presta-ción de servicios profesionales, originando que el trabajador (a) (futuro profe-sionista) así como sus beneficiarios pierdan el derecho a acceder a la seguridad social bajo un régimen obligatorio dejándolos en un estado de vulnerabilidad.

De lo anterior se desprende la necesidad de plantearse una transformación de los sistemas de protección social para formar una seguridad social 4.0.

En ese contexto, cabe destacar lo siguiente:

Seguridad social 4.0 es el conjunto de programas sociales (PPS) segu-ros sociales (prestaciones de derecho laboral) y servicios obligatorios de carácter público y privado que, integrados en una red y con diver-sos mecanismos de exigibilidad jurídica, positivicen y materialicen el derecho humano a la seguridad social en una sociedad regida por la industria 4.0.33

La seguridad social 4.0 es la integración de las propias herramientas de la se-guridad social pasando por aquellas que deriven de la asistencia social, los seguros sociales y los seguros voluntarios.

Esta integración debe estar debidamente relacionada entre sí y no ser ma-nejada como instrumentos totalmente diferentes, debe existir una articulación entre ellas para poder perseguir un objetivo en común, el máximo otorgamien-to de protección social a las personas.

En ese sentido el Banco Mundial en su informe sobre el desarrollo Mundial 2019 “La naturaleza cambiante del trabajo” establece que:

Los tres principales componentes de los sistemas de protección social (un mínimo social garantizado —con la asistencia social como eje prin-cipal, la seguridad social y la regulación del mercado de trabajo) pue-den servir para abordar los desafíos que presenta el mercado laboral.34

33 Mendizábal Bermúdez, Gabriela, Sánchez-Castañeda, Alfredo, et al, (coord.), op. cit., p. 11.34 Traducción personal a partir de: three main components of social protection systems—a guaranteed social mini-mum (with social assistance at its core), social insurance, and labor market regulation—can manage labor market





174

De esta aseveración, se puede concluir que la tendencia en materia de protec-ción social es el establecimiento de pisos de protección social en cada uno de los Estados, una iniciativa liderada por la Organización de las Naciones Unidas y la Organización Internacional del Trabajo que considera la provisión de ser-vicios esenciales y transferencias a todas aquellas personas en necesidad de protección para prevenir que caigan en estado de pobreza extrema o facilitar su salida de la misma.35 Aunque se debe poner peculiar atención en el tema ya que para el establecimiento de PPS36 deben atenderse las propias recomenda-ciones de la OIT para una correcta aplicación del mismo en la sociedad.

A través del PSS se pretende establecer un mínimo de protección social, la cual:

Incluye un conjunto de programas de asistencia social que brindan apoyo financiero a una gran parte de la población, o incluso a su tota-lidad. Impulsada por la preocupación por la equidad, la expansión de la asistencia social cobra relevancia en vista de los crecientes riesgos que surgen en los mercados laborales y dada la importancia de brindar un apoyo adecuado, independientemente del modo en que la persona participa en esos mercados.

(...)

El objetivo de este enfoque es ampliar la cobertura dando a la vez prio-ridad a los más pobres.37

Sin embargo, se debe estar conscientes que la asistencia social debe comple-mentarse con un seguro que no dependa exclusivamente del empleo asalariado formal. Un sistema de este tipo permitiría brindar cobertura básica universal, subsidiando las primas para los pobres y extendiendo la asistencia social,38

pero al mismo tiempo debe contemplarse el establecimiento de contribuciones obligatorias con base a los ingresos de las personas.

challenges, en: Worl Bank, The changing nature of work, World bank Group, 2019, Estados Unidos de América, p. 106.35 Bertranou, Fabio, Iniciativa del Piso de Protección Social, Ed. OIT, 2010, p. 1, [Consulta: 20 de enero, 2020]. Dispo-nible en: http://www.ilo.org/wcmsp5/groups/public/---ed_protect/---soc_sec/documents/publication/wcms_sec-soc_17458.pdf36 Piso de Protección Social37 World Bank, op. cit., p. 106.38 Ídem.





175

Una seguridad social 4.0 requiere grandes cambios en los sistemas de se-guridad social de los Estados así como una concientización de las personas en relación a la importancia de afiliarse a dichos sistemas de seguridad social. Una estrategia integral de promoción de la cultura entre los actores que interven-gan en ella impulsando el aseguramiento social a través de seguros sociales en colaboración con los demás instrumentos, sino se tiene claro los beneficios que acarrea contar con seguridad social no se va a avanzar mucho; si sabemos cuáles son las prestaciones económicas que se derivan de ella, la vamos a valorar,39máxime en esta era tan cambiante que repercute en el día a día de las personas y su entorno familiar.

7. Reflexiones finales

Estas reflexiones finales nos lleva a desarrollarlas en dos puntos clave:

1. El ámbito laboral. Es un hecho que el mundo del trabajo está cambian-do exponencialmente y nuestra profesión también por lo tanto, una reinvención del trabajador resulta ser una necesidad que se debe aten-der en México y en el resto del mundo.

La reeducación de las personas tiene que ser base elemental para no quedar desfasados ante esta oleada tecnológica que acarrea la 4RI para su incorpora-ción al nuevo mercado laboral a través del desarrollo de competencias habili-tantes para la industria 4.0.

2. Seguridad social. Es claro que este derecho debe de ajustarse a una nueva realidad que permita el acceso a sus prestaciones a todas las personas, para ello, es indispensable hablar de una deslaboralización de la seguridad social es decir, establecer otros mecanismos de acceso diferentes al trabajo formal.

Por supuesto una construcción de un modelo de seguridad social donde inter-vengan de manera articulada sus propios instrumentos: asistencia social, segu-ros sociales y seguros privados.

39 Secretaría del Trabajo y Previsión Social, Fomenta STPS cultura de la Seguridad Social, Gobierno de México, Mé-xico, 2017, [Consulta: 19 de enero, 2020]. Disponible en: https://www.gob.mx/stps/prensa/fomenta-stps-cultu-ra-de-la-seguridad-social





176

Por último, atendiendo que hoy en día los mecanismos de protección so-cial fungirán como medios de contención para la protección de contingencias en esta era tan cambiante, resulta necesario establecer una concientización de la importancia de este derecho en la vida de las personas por lo que una cultu-ralización de la seguridad social como formación de vida debe ser implementa-da en cada una de las sociedades.

8. Fuentes de investigación

Banco Mundial, Las políticas de protección social deben adaptarse a los cam-bios en el mundo laboral, dice el Banco Mundial, Banco mundial, Esta-dos Unidos de América, 2019, [Consulta: 23 de noviembre, 2019]. Disponi-ble en: https://www.bancomundial.org/es/news/press-release/2019/09/17/social-protection-must-adapt-to-changing-nature-of-work-world-bank-says

Basco, Ana Inés, Beliz, Gustavo, et al., Industria 4.0 fabricando el futuro, UN, Argen-tina, 2018, p. 24.

Bertranou, Fabio, Iniciativa del Piso de Protección Social, Ed. OIT, 2010, p. 1, [Consulta: 20 de enero, 2020]. Disponible en: http://www.ilo.org/wcmsp5/groups/public/-

--ed_protect/---soc_sec/documents/publication/wcms_secsoc_17458.pdfBriceño Ruiz, Alberto, Derecho de la seguridad social, Ed. Oxford, México, 2011, p. 14.

—————, Derecho Mexicano de los Seguros Sociales, Ed. Harla, México, 2017, p. 13. Castresna Sáenz, Carolina, et al., Industria 4.0, España, Universidad de la Rioja, 2016, p.

12, [Consulta: 22 de diciembre, 2019]. Disponible en: https://biblioteca.unirioja.es/tfe_e/TFE002004.pdf

Comisión Económica para América Latina, Industria 4.0 Oportunidades y desafíos para el desarrollo productivo de la provincia de Santa Fe, CEPAL, Chile, p. 10

Conferencia de Directores y Decanos de Ingeniería Informática, Industria 4.0: la transformación digital de la industria, España, p. 3, [Consulta: 19 de noviem-bre, 2019]. Disponible en: http://coddii.org/wp-content/uploads/2016/10/Informe-CODDII-Industria-4.0.pdf

De Buen, Néstor, Derecho del Trabajo, Editorial Porrúa, México, 2015, p. 19.Díaz, Verónica, Revolución Industrial 4.0, inflexión para la fuerza laboral, Prensario TI

Latin América, Argentina, 2017, en: https://www.prensariotila.com/19524-Re-volucion-Industrial-40-inflexion-para-la%20fuerzalaboral.note.aspx

Economía Basada en Recursos, El Desempleo Tecnológico: Conceptos EBR, Colombia, 2015, [Consulta: 14 de septiembre, 2019]. Disponible en: http://economiaba-sadaenrecursos.co/index.php/economia-basada-en-recursos/conceptos-ebr/desempleo-tecnol%C3%B3gico.html

Forbes, Globalización 4.0: una transformación constante, México, 2019, [Con-sulta: 23 de diciembre, 2019]. Disponible en: https://www.forbes.com.mx/globalizacion-4-0-una-transformacion-constante/





177

García, Ana Karen, Precariedad laboral en plataformas está creando jornaleros digita-les: OIT, El economista, 2019, [Consulta: 14 de septiembre, 2019]. Disponible en: https://factorcapitalhumano.com/innovacion-y-tecnologia/precariedad-labo-ral-en-plataformas-esta-creando-jornaleros-digitales-oit/2019/02/

Ley del Seguro Social, Diario Oficial de la Federación, 21 de diciembre de 1992.Ley Federal del Trabajo, Diario Oficial de la Federación, 1 de abril de 1970.Mendizábal Bermúdez, Gabriela, López Pérez, Emmanuel, “¿Un nuevo modelo de se-

guridad social?”, Revista Internacional y Comparada de Relaciones laborales y Derecho del Empleo, Volumen 6, núm. 1, enero -marzo, 2018, pp. 298-327.

Mendizábal Bermúdez, Gabriela, Sánchez-Castañeda, Alfredo, et al, Industria 4.0 Tra-bajo y seguridad social, IIJ-UNAM, México, 2019, p. XV.

Millán, Mauricio, Empleo calificado ante la Cuarta Revolución Industrial, Vanguardia, México, 2018, [Consulta: 12 de noviembre, 20109]. Disponible en: https://vanguar-dia.com.mx/articulo/empleo-calificado-ante-la-cuarta-revolucion-industrial

Minian, Isaac, Martínez Monroy, Ángel, “El impacto de las nuevas tecnologías en el empleo en México”, Revista Problemas del Desarrollo, octubre-diciembre, 2018, p. 28.

Naciones Unidas, Declaración Universal de los Derechos Humanos, 1948, en: https://www.un.org/es/universal-declaration-human-rights/

Narro Robles, José, Moctezuma Navarro, David, et al., “Hacia un nuevo modelo de se-guridad social”, Economía UNAM, vol. 7, núm. 20 mayo-agosto 2010.

OBS Business School, Industria 4.0, entonces Formación 4.0, Universitat Barcelona, Es-paña, [Consulta: 30 de septiembre, 2019]. Disponible en: https://www.obs-edu.com/int/blog-investigacion/logistica/industria-40-entonces-formacion-40

Oppenhaimer, Andrés, Sálvese quien pueda, El debate, México, 2018, p. 44Organización Internacional del Trabajo, ¿Qué es el trabajo decente?, OIT, Suiza, 2004,

[Consulta: 4 de enero, 2020]. Disponible en: https://www.ilo.org/americas/sa-la-de-prensa/WCMS_LIM_653_SP/lang--es/index.htm

Organización Internacional del Trabajo, Indicadores del sistema seguridad social glosa-rio de seguridad social y términos relacionados, Ed. OIT, Perú, 2012, [Consulta: 13 de diciembre, 2019] Disponible en: http://white.lim.ilo.org/spanish/260a-meri/oitreg/activid/proyectos/actrav/segsoc/estadisticas/indicadores/glosario.html

Organización para la Cooperación y el Desarrollo Económicos, El cambiante mundo laboral requiere una nueva estrategia de empleo, dice la OCDE, OCDE, 2018, [Consulta: 19 de octubre, 2019]. Disponible en: https://www.oecd.org/centro-demexico/medios/elcambiantemundolaboralrequiereunanuevaestrategiadeem-pleodicelaocde.htm

Pages Serra, Carmen, Ripani, Laura, “El empleo en la Cuarta Revolución Industrial”, Revista integración & comercio, Número 42, agosto, 2017, p. 266.

Paramo López, Paola y Díaz Lozano, M. José, Economía: Ventajas y desventajas de la globalización, La verdad, España, 2019, [Consulta: 1 de noviembre, 2019].





178

Disponible en: http://www.miperiodicodigital.com/2019/grupos/pamfas-77/economia-ventajas-desventajas-globalizacion-2107.html

Secretaría del Trabajo y Previsión Social, Fomenta STPS cultura de la Seguridad Social, Gobierno de México, México, 2017, [Consulta: 19 de enero, 2020]. Disponible en: https://www.gob.mx/stps/prensa/fomenta-stps-cultura-de-la-seguridad-social

Silva Arriaga, Luis, La segunda revolución industrial y el nacimiento de la gran empre-sa, España, [Consulta: 12 de enero, 2020]. Disponible en: https://ocw.unican.es/pluginfile.php/1213/course/section/1495/MC-II-3.pdf

World Bank, The changing nature of work, World Bank Group, 2019, Estados Unidos de América, p. 106.




179


El derecho de protección de datos personales en los sistemas de inteligencia artificial*The personal data protection right in artificial intelligence systems

Olivia Andrea Mendoza Enríquez**

resumen El objetivo del documento es analizar la inteligencia artificial (IA) desde la visión del derecho de protección de datos personales con el fin de identificar los desafíos que existen para la salvaguarda de este derecho humano. La aportación se desarrolla a partir de una revisión documental que establece el estado de la cuestión, describe la forma en la que incide la IA en el derecho a la privacidad especialmente en el de protección de datos personales, identifica los desafíos normativos en esta materia y posibles soluciones que involucran a los actores que intervienen en los sistemas de inteligencia artificial, particularmente los Estados.

palabras claveInteligencia artificial, regulación, derechos humanos, derecho a la privacidad, derecho de protección de datos personales.

abstract The objective of the document is the analysis of artificial intelligence from data protection right perspective to identify the challenges for the safeguarding of this human right. The contribution is developed from a documentary review that establishes the actual context, describes how artificial intelligence could affect the right to privacy, especially data protection right and identifies the regulatory challenges in this matter and possible solutions that involve artificial intelligence actors, particularly States.

keywordsArtificial intelligence, regulation, human rights, right to privacy, data protection right.

*Artículo de Investigación postulado el 30 de abril de 2020 y aceptado el 10 de noviembre de 2020**Profesora investigadora en la División de Estudios Jurídicos del Centro de Investigación y Docencia Económicas, México. ([email protected]) orcid.org/0000-0002-4704-740X




O L I V I A A N D R E A M E N D O Z A E N R Í Q U E Z

180

SUMARIO1. Introducción.2. Concepto de inteligencia artificial y usos en la economía digital.3. Configuración del derecho de protección de datos personales como derecho humano

y sus implicaciones en la inteligencia artificial.4. Inteligencia artificial y derecho a la privacidad.5. Inteligencia artificial y protección de datos personales en México.6. Conclusiones.

1. Introducción

El vertiginoso desarrollo tecnológico ha permitido que las organizaciones uti-licen cada vez más técnicas como la inteligencia artificial, a fin de hacer más eficientes los procesos y la toma de decisiones.

Los usos de la IA son tan variados que pueden ser incorporados en sectores desde la agricultura hasta medios de transporte, por lo que tienen una inciden-cia en todos los espacios de la sociedad.

Los usuarios digitales también encuentran en la IA una oportunidad para el procesamiento de información, por ejemplo, relativa a su estado de sa-lud, preferencias comerciales, o simplemente para buscar información en el ciberespacio.

Estos beneficios son posibles a partir del análisis masivo y sistemático de la información, que incluye casi siempre, datos personales que identifican o hacen identificables a los humanos.1

Derivado de lo anterior, existe una constante preocupación respecto del uso masivo de sistemas de IA que para su funcionamiento requieran de infor-mación que identifique o haga identificable a la persona detrás del dato. Esto frente a prácticas como los tratamientos indebidos de datos (falta de cumpli-miento normativo o de incorporación de límites éticos), la falta de medidas de seguridad o errores en el diseño de la técnica, que podrían traer consigo la violación de derechos humanos: desde el derecho a la vida, el derecho a la no

1 No debemos perder de vista que algunos países funcionan como periféricos y que simplemente son consumidores tecnológicos de lo que para algunos países desarrollados resulta obsoleto. La obsolescencia tecnológica que no es casualidad, es un fenómeno propiciado por las corporaciones a partir de la situación de desventaja de países que no tiene desarrolladas sus propias capacidades tecnológicas. Un ejemplo claro, es la compra de pruebas rápidas que detectan el Covid-19 por parte de países como España, que ya han sido descartadas para diagnósticos oportunos y certeros en países como Alemania. La obsolescencia tecnológica también tiene un impacto en la forma en la que los países utilizan y explotan la información y los beneficios que de ello obtienen en la economía digital.




E L D E R E C H O D E P R O T E C C I Ó N D E D A T O S P E R S O N A L E S E N L O S S I S T E M A S D E I N T E L I G E N C I A . . .

181

discriminación, el derecho a la salud, hasta el derecho a la privacidad y a la protección de datos personales, por enunciar algunos.

Por otro lado, cuando estamos ante tratamientos de información que con-tienen datos personales a través de sistemas de inteligencia artificial, ya existe un marco normativo transversal de índole local y en algunos casos regional o internacional, sobre todo en materia de protección de datos personales, por lo que la hipótesis central de este documento es que el desafío del derecho de pro-tección de los datos personales en la IA no es del todo normativo (como podría pensarse), sino de mecanismos que permitan el efectivo ejercicio y garantía de los derechos humanos por parte de los actores involucrados en la IA (desarro-lladores, corporaciones y usuarios).

También resulta pertinente analizar si el marco legal de los derechos hu-manos, en específico el de protección de datos personales permite proteger a la persona frente a técnicas como la inteligencia artificial, a fin de lograr un correcto balance entre innovación y dignidad de la persona.

El lector encontrará en las siguientes líneas una aproximación conceptual de la IA y algunos de sus usos en la economía digital, la forma en la que el derecho de protección de datos personales se ha configurado como un derecho humano, un estudio sobre el derecho a la privacidad y el de protección de datos personales en la IA y un apartado de conclusiones.

2. Concepto de inteligencia artificial y usos en la economía digital

Como ha quedado establecido, el término “inteligencia artificial” aparece des-de los años 50 en algunas investigaciones de ciencias de la computación. El concepto fue utilizado por primera vez en 1955 en el proyecto de investigación de John McCarthy, Marvin L. Minsky, Nathaniel Rochester, y Claude Shannon.2

También el término de IA en la dimensión atribuida por la informática ha sido explorado por la ciencia jurídica desde 1960. Los primeros documentos jurídicos que hablan de inteligencia artificial lo hacen para referirse a la trans-cripción de medios de prueba en una forma legible por computadoras para obtener un procesamiento eficiente de la información,3 así como para procesar la información proporcionada por un cliente a un abogado y determinar la

2 Mc Carthy, J., et al. “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence”. AI Magazine. 1955, vol. 27, núm. 4, p. 2. Disponible en: https://doi.org/10.1609/aimag.v27i4.1904.3 Gibbs, M., y Adams, (1962). “A report on the second national law and electronics conference”. En: MULL: Modern Uses of Logic in Law, [en línea]. V. 3, no. 4, pp. 215–223 [consulta 20-03-20]. Disponible en: www.jstor.org/sta-ble/29760908





182

probabilidad de ganar un caso, la cantidad estimada de daños si los hubiere, el análisis de la legislación legal, así como la jurisprudencia.4

En recientes fechas, el Grupo de Alto Nivel en IA creado por la Comisión Europea para desarrollar la Estrategia Europea en Inteligencia Artificial, ha aplicado el concepto de IA a “sistemas que manifiestan un comportamiento inteligente, al ser capaces de analizar el entorno y realizar acciones, con cierto grado de autonomía, con el fin de alcanzar objetivos específicos”.5

Desde una perspectiva técnica, entonces podemos afirmar que el térmi-no IA se usa en general para referir la capacidad de una máquina para imitar las funciones cognitivas de los humanos; sin embargo, nos encontramos tam-bién frente nuevas ramas que derivan del concepto de inteligencia artificial, tales como el aprendizaje de las máquinas (machine learning), en el cual, los sistemas aprenden a partir de ejemplos, pruebas o de la información y compor-tamiento de usuarios de dicho sistema, y los modelos de redes neuronales,6 por lo que el alcance del concepto de IA irá evolucionado a la par de los avances tecnológicos en la materia.

Una vez que hemos dado una aproximación conceptual a la inteligencia artificial, resulta necesario hablar de algunos de sus usos en la economía digi-tal para identificar las intersecciones específicas con el derecho de protección de datos personales.

De acuerdo al Libro Blanco sobre la IA-un enfoque europeo orientado a la excelencia y la confianza-, el impacto derivado de los usos de los sistemas de IA debe considerarse no solo desde una perspectiva individual, sino también desde la perspectiva de la sociedad en su conjunto y que el uso de sistemas de IA puede tener un papel importante en la consecución de los Objetivos de Desarrollo Sostenible y en el respaldo de los procesos democráticos y los dere-chos sociales.7

Esto resulta importante porque el uso de sistemas de IA no solo beneficia a la persona en lo individual, sino que tiene un impacto social, en los derechos humanos e incluso en las democracias. Es por esta razón que algunos países

4 Winston, J. (1967). “The Law and Legal Education in the Computer Age.” En: Journal of Legal Education, [en línea]. V. 20, no. 2, pp. 159-168. [consulta 12-02-20] Disponible en: www.jstor.org/stable/428918395 Artificial Intelligence for Europe. Comisión Europea, 2018 [consulta 13-03-20]. Disponible en: https://ec.europa.eu/digital-single-market/en/artificial-intelligence6 Inteligencia Artificial. Foro Consultivo de Ciencia y Tecnología, 2018 [consulta 13-03-20]. Disponible en: https://www.foroconsultivo.org.mx/INCyTU/documentos/Completa/INCYTU_18-012.pdf. 7 Libro Blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza. Comisión Europea, 2020 [consulta 13-03-20]. Disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-pa-per-artificial-intelligence-feb2020_es.pdf





183

desarrollados ya han advertido el impacto favorable que tendría la incorpo-ración de sistemas de inteligencia artificial, por lo que han dedicado planes y política pública para el desarrollo de dicha innovación.

Para tener una idea del alcance que se tiene proyectado para la inteligen-cia artificial, globalmente, Europa se sitúa a la zaga en inversiones privadas en IA, las cuales oscilaron entre 2 400 y 3 200 millones EUR en 2016, frente a 6 500-9 700 millones EUR en Asia y 12 100-18 600 millones EUR en América del Norte.8

En el mismo sentido, resulta necesario analizar que el tráfico mundial a través del Protocolo de Internet (IP) pasó de unos 100 gigabytes (GB) al día en 1992, a más de 45.000 GB por segundo en 2017, debiendo considerarse que el mundo solo se encuentra en los principios de la economía basada en datos y que las predicciones son que para 2022 el tráfico IP mundial alcance los 150.700 GB por segundo, alimentado por un número cada vez mayor de personas que se conectan por primera vez y por la expansión de Internet de las Cosas (que funciona con sistemas de inteligencia artificial).9

El tipo de IA que ha disparado la aplicación práctica de esta disciplina es la que se conoce como IA-débil10 que se caracteriza por desarrollar soluciones capaces de resolver un problema concreto y acotado. La aplicación de este tipo de sistemas es extensa: desde los videojuegos a sistemas de defensa, pasando por entorno sanitario, control industrial, robótica, buscadores de Internet, tra-tamiento de lenguaje natural, marketing, asistentes personales, recursos huma-nos, optimización de servicios públicos, gestión energética, medioambiente y cualquier otra actividad que nos podamos imaginar.11

Por citar algunos ejemplos, en Dinamarca, la IA ayuda a salvar vidas al permitir a los servicios de emergencias diagnosticar paradas cardíacas u otras dolencias analizando la voz de la persona que llama. En Austria, ayuda a los radiólogos a detectar tumores con mayor precisión, al facilitarles la comparación instantánea de las radiografías con una gran cantidad de otros datos médicos.

8 Op. Cit., nota 5. 9 Informe sobre la economía digital 2019. Creación y captura de valor: repercusiones para los países en desarrollo. Conferencia de las Naciones Unidas sobre Comercio y Desarrollo, UNCTAD. [consulta 30-03-20]. Disponible en: https://unctad.org/es/PublicationsLibrary/der2019_overview_es.pdf10 En función del alcance y el ámbito de aplicación de la inteligencia artificial se diferencian tres categorías distintas de IA: las inteligencias artificiales fuertes, generales y débiles. La IA general podría resolver cualquier tarea intelec-tual resoluble por un ser humano; la IA fuerte o superinteligencia iría más allá de las capacidades humanas.11 Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. Agencia Española de Protección de Datos Personales, 2020 [consulta 13-03-20]. Disponible en: 5https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf





184

Muchas explotaciones agrarias de toda Europa ya están utilizando la IA para controlar los desplazamientos, la temperatura y el consumo de los anima-les. La IA también está contribuyendo a que el sector industrial europeo resulte más eficiente y a que la fabricación vuelva a Europa.12

Es fácil entonces, identificar los enormes beneficios que traen consigo los sistemas de inteligencia artificial, pero no se puede obviar una constante preocupación específicamente cuando el insumo de la IA que es la informa-ción, contiene datos personales, ya que al ser sistemas que se incorporan en la vida diaria y que recopilan todo tipo de información, pueden tener un impacto considerable a ámbitos privados de las personas, por lo que resulta necesario establecer los límites para el tratamiento de la información y en general, salva-guardar la vida privada de las personas, aún con la utilización de sistemas de inteligencia artificial, por lo que en el apartado cinco, analizaremos algunas de las disposiciones normativas que establecen reglas para el tratamiento de datos en sistemas de inteligencia artificial.

3. Configuración del derecho de protección de datos personales como un derecho humano y sus implicaciones en la inteligencia artificial

Cuando se habla del derecho de protección de datos personales es usual pensar que es un derecho nuevo que nace a partir de la economía digital, del uso de Internet y del vertiginoso desarrollo de las Tecnologías de la Información y Comunicación.

No obstante, si bien es un derecho de reciente reconocimiento en la Cons-titución Política de los Estados Unidos Mexicanos (2009), tiene antecedentes importantes en la época de posguerra en Europa.

Pensemos así en una Alemania nazi que trató los datos de miles de judíos a través de un censo realizado por el Estado, con la ayuda de las tarjetas perfora-das de la empresa IMB, con el objetivo de identificar a esta población y planear su exterminio de forma más efectiva.13

12 Disruptive technologies: Advances that will transform life, business, and the global economy, McKinsey Global Institute, 2013. [consulta 13-03-20]. Disponible en: https://www.mckinsey.com/business-functions/mckinsey-digi-tal/our-insights/disruptive-technologies

13 BLACK, Edwin. IBM y el Holocausto. La alianza estratégica entre la Alemania Nazi y la más poderosa corporación norteamericana, Buenos Aires: Atlántida, 2001, p. 18.





185

A partir de atrocidades como éstas, se volvió evidente la necesidad de es-tablecer límites del Estado frente a la vida privada de las personas y ejemplo de ello está manifestado en el artículo 12 de la Declaración Universal de Derechos Humanos, -en adelante DUDH-.

Antes de analizar este artículo, es pertinente dar un contexto sobre la ne-cesidad histórica de reconocer en instrumentos internacionales un concepto tan importante como la dignidad humana, que hasta el día de hoy, es sustento de los instrumentos jurídicos en materia de derechos humanos. Es decir, a par-tir de las atrocidades cometidas durante la Segunda Guerra Mundial, países ganadores y vencidos encontraron esencial reconocer derechos mínimos a las personas, en una invocación inédita a la dignidad humana.

Es así, que la manifestación del límite del Estado respecto de la vida pri-vada de las personas está plasmado en el citado artículo 12 de la DUDH, el cual señala:

Nadie será objeto de injerencias arbitrarias en su vida privada, su fami-lia, su domicilio o su correspondencia, ni de ataques a su honra o a su reputación. Toda persona tiene derecho a la protección de la ley contra tales injerencias o ataques.

Como se puede advertir, este artículo no reconoce de forma expresa el derecho de protección de datos personales, pero sí es un antecedente importante para la evolución normativa manifestada a través de nuevos derechos como el de protección de datos personales.

Aunado a la DUDH, existen otros instrumentos internacionales en materia de derechos humanos que reconocen límites del Estado frente a la vida privada de las personas, como el artículo 11 de la Convención Americana de Derechos Humanos14 (Pacto de San José de Costa Rica), de 1966, el artículo 17 del Pacto Internacional de Derechos Civiles y Políticos15 de 19 de diciembre del mismo año 1966, el artículo 8 del Convenio Europeo de Derechos Humanos16 de 4 de

14 “Artículo 11. Protección de la Honra y de la Dignidad 1. Toda persona tiene derecho al respeto de su honra y al reconocimiento de su dignidad. 2. Nadie puede ser objeto de injerencias arbitrarias o abusivas en su vida privada, en la de su familia, en su domicilio o en su correspondencia, ni de ataques ilegales a su honra o reputación. 3. Toda persona tiene derecho a la protección de la ley contra esas injerencias o esos ataques”.15 “Artículo 17. 1. Nadie será objeto de injerencias arbitrarias o ilegales en su vida privada, su familia, su domicilio o su correspondencia, ni de ataques ilegales a su honra y reputación. 2. Toda persona tiene derecho a la protección de la Ley contra esas injerencias o esos ataques”.16 “Artículo 8. Derecho al respeto a la vida privada y familiar. 1. Toda persona tiene derecho al respeto de su vida privada y familiar, de su domicilio y de su correspondencia.2. No podrá haber injerencia de la autoridad pública en el ejercicio de este derecho, sino en tanto en cuanto esta





186

noviembre de 1950 son ejemplo de ello; asimismo, la Carta de los Derechos Fundamentales de la Unión Europea suscrita en Niza el 7 de diciembre de 2000.

Desde el derecho continental, un paso importante para el derecho de pro-tección de datos personales se reconoce cuando el Tribunal Constitucional Federal Alemán, en la sentencia de 15 de diciembre de 1983 sobre el Censo, completó los derechos constitucionales de la personalidad, sobre la base del derecho a la dignidad humana y al libre desarrollo de la personalidad, lo cual garantizó la continuidad de las libertades básicas reconocidas anteriormente, a través de la formulación de un nuevo derecho denominado autodeterminación informativa. Este derecho reconoce la facultad de las personas para decidir so-bre el tratamiento de sus datos personales y así garantizar derechos conexos como el derecho a la no discriminación y al libre desarrollo de la personalidad.17

En este sentido, el reconocimiento de la dignidad humana resulta el sus-tento del derecho al libre desarrollo de la persona que es la esencia y funda-mento del derecho a la identidad, el de imagen y el de datos personales, a fin de no instrumentalizar a la persona humana. Esto en concordancia con la fórmula del objeto de Kant (objekt formel)18 y su aplicación a este caso: la persona es el fin más no el instrumento (la persona no puede ser tratada como el medio porque no es un objeto en el mercado con un valor determinado). En otras palabras, la IA tendría que ser desarrollada para mejor la vida de los humanos y no para utilizarlos, por ejemplo, a través de tratamientos de datos personales que vulneren derechos como la no discriminación, la privacidad, la protección de datos personales o incluso el derecho a la vida.

Determinar el alcance del derecho humano a la protección de datos perso-nales no es tarea sencilla ya que, al tratarse de un derecho humano, es suscepti-ble de colisionar con otros derechos, por ejemplo, el de la libertad de expresión, por lo que la ponderación de derechos de forma casuística permite a los tribu-nales establecer los parámetros del derecho de protección de datos personales en el marco de una sociedad democrática.

injerencia esté prevista por la ley y constituya una medida que, en una sociedad democrática, sea necesaria para la seguridad nacional, la seguridad pública, el bienestar económico del país, la defensa del orden y la prevención del delito, la protección de la salud o de la moral, o la protección de los derechos y las libertades de los demás”.17 Sentencia de 15 de diciembre de 1983 emitida por el Tribunal Constitucional Federal Alemán. [consulta 13-03-20]. Disponible en: http://www.informatica-juridica.com/jurisprudencia/alemania.asp. El principio de consentimiento se analiza en esta Sentencia, anulando la Ley del Censo de Población de 1.982 y dio lugar a una revisión sustancial de la ley federal de 1977, así como las leyes del Ejército y del Servicio Secreto. 18 Lefranc, Federico, “La necesidad de reafirmar el principio de la dignidad humana en el Derecho del siglo XXI”. México Revista Penal México. 2011, no. 2, p. 155, [consulta 13-03-20]. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6158028.





187

El reconocimiento que ha hecho México del derecho de protección de da-tos personales como un derecho humano tiene interesantes consecuencias ya que derivado de la reforma constitucional en materia de derechos humanos de 2011, el estado mexicano se ve comprometido a salvaguardar y promover este derecho e incluso, la aplicación de principios como el de progresividad de los derechos humanos, compromete a México a evolucionar normativamente en favor de este derecho.

No obstante lo anterior, para el estado mexicano la salvaguarda del dere-cho de protección de datos personales en el ámbito tecnológico resulta bastan-te compleja. Esto atendiendo a que se ha depositado una enorme responsabi-lidad en las corporaciones para que sean éstas las que decidan los términos y condiciones en los que garantizarán los derechos humanos. Es decir, espacios ubicuos como Internet o un sistema de inteligencia artificial, hacen inminen-te la reducción de la figura tradicional de Estado-Nación, cuando se trata de garantizar y promover los derechos humanos, ya que estas acciones quedan mayormente en manos de las corporaciones.

Pensemos, por ejemplo, si las políticas de privacidad de una cuenta o perfil en una red social están redactadas en términos de la máxima protección que reconoce la norma mexicana para el tratamiento de datos personales, particu-larmente en términos del ejercicio del derecho de cancelación u oposición para el tratamiento de datos personales, o de la jurisdicción que reconoce la red social para resolver posibles disputas.

Ante este panorama, cada vez se vuelve más necesario incorporar el prin-cipio de escrutinio de los derechos humanos como habilitador para el Estado de un mecanismo efectivo para la supervisión, garantía y ejercicio de los derechos humanos a la luz del desarrollo tecnológico.

En este sentido, un caso interesante sobre desarrollo de instrumentos de control estatal que permite la salvaguarda de los derechos humanos en la inte-ligencia artificial, es el Consejo de la Unión Europea que presentó en febrero de 2019 unas conclusiones relativas al Plan Coordinado sobre la IA “Made in Eu-rope”, entre las que destaca la importancia de garantizar el pleno respeto de los derechos de los ciudadanos mediante la aplicación de directrices éticas para el desarrollo y uso de la inteligencia artificial.19

19 López, Baroni, (2019). “Las narrativas de la inteligencia artificial. Revista”. En: Bioética y Derecho, No. 46, p. 13 [consulta 10-10-20]. Disponible en: https://revistes.ub.edu/index.php/RBD/article/view/27280





188

Dicho esto, podemos afirmar que, en la mayoría de las legislaciones, se reconoce un catálogo de derechos humanos que pueden verse afectados con la instrumentación de la IA sin límites éticos, jurídicos y sociales

Desde del derecho público, particularmente para el caso de México, tam-bién podemos plantear la siguiente interrogante: ¿los Estados deben impulsar e incidir en la transparencia en el desarrollo de algoritmos y sistemas de fun-cionamiento general de la inteligencia artificial? El planteamiento con miras a hacer posible que la autoridad tenga claros los temas de vigilancia y cum-plimiento que deben seguir las corporaciones, respecto de la explotación de la información.

Ante tal panorama, el derecho humano de protección de datos personales tiene retos complejos que superar frente la inteligencia artificial, los cuales ra-dican primordialmente en recuperar la parte humanística relacionada al mismo, para así otorgar certidumbre, generar confianza y ofrecer un entorno digital ético a los usuarios. Reforzando esta idea, es necesario invocar la Declaración de Principios de la Cumbre Mundial sobre la Sociedad de la Información, en la que se estableció el compromiso de construir una sociedad basada en la perso-na, en la que todos pudiéramos crear, consultar, utilizar y compartir la infor-mación y el conocimiento, para impulsar el desarrollo sostenible y mejorar la calidad de vida, sobre la base de los propósitos y principios de la Carta de las Naciones Unidas y respetando plenamente y defendiendo la Declaración Uni-versal de Derechos Humanos.20

Derivado de lo anterior, podemos afirmar que la idea de dignidad huma-na debe estar más presente que nunca en el desarrollo tecnológico y en la forma en la que se configura la regulación en torno a dicho rubro, y uno de los gran-des desafíos de no hacerlo, es la paradoja de la coordinación y fragmentación de procesos desiguales de desarrollo.21 Es decir, el desarrollo tecnológico debe preservar un equilibrio entre la libertad y la dignidad humana, el cual podría lograrse a través de un humanismo sólido y del respeto de dicha dignidad como eje de cualquier avance científico: la tecnología como herramienta para empo-derar a las personas, pero no como el único fin.

20 Adelantando un poco la respuesta respecto a los principios ahí establecidos y el resultado de la sociedad digital construida, podemos mencionar el informe anual del Alto Comisionado de las Naciones Unidas para los Derechos Humanos de 2014, denominado el Derecho a la Privacidad en la Era Digital, que deja en relieve la responsabilidad que hasta ahora han tenido las empresas para vulnerar la privacidad de las personas en el ciberespacio. [con-sulta 13-03-20]. Disponible en: https://icdppc.org/wp-content/uploads/2015/02/Resolution-on-Privacy-In-digi-tal-Age-Spanish-version.pdf 21 Giddens, A., Consecuencias de la Modernidad, Madrid: Alianza, 1993, p. 162.





189

Apuntalando lo anterior, el derecho en nuestro siglo tiene el reto de recu-perar el carácter humanístico frente al desarrollo tecnológico.22

4. Inteligencia artificial y derecho a la privacidad

En este apartado, primero es necesario dar una aproximación a lo que referi-mos cuando decimos palabras aparentemente iguales, pero que tienen peque-ñas variaciones en su significado, necesarias de distinguir cuando queremos preservar la privacidad en tiempos de inteligencia artificial.

Es así que el significado de términos como privacidad, vida privada, y pro-tección de datos personales, tiene alcances distintos.

Iniciando desde la conceptualización del derecho a la privacidad, éste tie-ne su origen en la doctrina estadounidense de finales del siglo XIX,23 cuando Warren y Brandeis publicaron su ensayo The Right to Privacy, el cual mani-festaba el necesario reconocimiento del derecho a no ser molestados (right to be alone), y posteriormente Westin amplió este concepto e incluyó dentro del derecho a la privacidad, el derecho de todo individuo para determinar cómo, cuándo y hasta qué punto su información personal es comunicada a los demás.24

El fin último que se busca preservar frente a posibles injerencias arbitra-rias en la vida privada de las personas, es contar con mecanismos legales que en su conjunto salvaguarden la vida privada. Uno de estos mecanismos, es el derecho de protección de datos personales (que únicamente protege el poder del titular de un dato personal para decidir sobre su tratamiento, salvo excep-ciones), pero al menos para el caso de México, hay otros instrumentos como el reconocimiento constitucional del secreto de las comunicaciones, la incorpo-ración de figuras del derecho civil que protegen el derecho al honor, a la propia imagen y disposiciones de índole penal que establecen las reglas de geolocali-zación en tiempo real. Es decir, todas estas disposiciones en su conjunto permi-ten (en el deber ser), al Estado garantizar la vida privada de las personas.

El concepto “privacidad” no es un concepto terminado y depende del con-texto y circunstancias de los casos particulares, poder acotarlo. Es decir, lo que en un país puede considerarse como una situación del ámbito privado, en otro no.25

22 Lefranc, F. Terra Incógnita. Bases para una política criminal pro persona en la sociedad digital, México: INFOTEC, 2015, p. 9.23 A pesar de que el concepto surge en un sistema de derecho perteneciente al common law, esta doctrina ha tenido un impacto provechoso en sistemas jurídicos del derecho continental, como en el caso de México, particularmente para la construcción del derecho a la protección de datos personales.24 Westin, A. Privacy and Freedom. Nueva York: Ateneum, 1967, p. 7.25 Mendoza, O. Definición de privacidad. En: Diccionario Protección de Datos Personales, INAI, 2020, p. 672. [consul-





190

En virtud de lo anterior, el término “privacidad” no es fácil de definir, ya que hasta el momento no se tiene una idea clara de sus alcances. Esto se confir-ma con lo dicho por el Tribunal Europeo de Derechos Humanos, que conside-ra la privacidad como un concepto amplio, no susceptible de una definición exhaustiva.26

Para el caso de México, la Suprema Corte de Justicia de la Nación (SCJN) estableció que las afirmaciones contenidas en las resoluciones nacionales e internacionales relacionadas a la privacidad o vida privada son útiles en la me-dida en que no se tomen de manera descontextualizada, emerjan de un análisis cuidadoso de los diferentes escenarios jurídicos en los que la idea de privaci-dad entra en juego y no se pretenda derivar de ellas un concepto mecánico de vida privada, de referentes fijos e inmutables. Lo único que estas resoluciones permiten reconstruir, en términos abstractos, es la imagen general que evoca la idea de privacidad en nuestro contexto cultural.27

Es así que en términos generales podemos decir que la privacidad es el ámbito más íntimo o profundo de la vida de una persona, que puede com-prender sus sentimientos, pensamientos, emociones, vida familiar o relaciones personales y el derecho a la privacidad, el poder que tiene la persona frente a cualquier intromisión de un tercero que pudiera manifestarse (incluido el pro-pio Estado). El derecho a la privacidad es el poder de decisión de una persona sobre su espacio privado, con quién lo comparte, qué debe formar parte de lo público y qué de lo privado.28

La privacidad y derecho a la privacidad no necesariamente refieren a lo mismo: la privacidad es un elemento consustancial a la dignidad humana y por ende debe ser protegido por el derecho y el derecho a la privacidad es aquél que todo individuo tiene a separar aspectos de su vida privada del escrutinio público.29

ta 13-03-20]. Disponible en: http://inicio.inai.org.mx/PublicacionesComiteEditorial/DICCIONARIO_PDP_digital.pdf26 Piñar, J. “¿Existe privacidad?, Lección magistral impartida en la Apertura Solemne del Curso Académico en la Universidad San Pablo-CEU de Madrid”. En: Protección de Datos Personales. Compendio de lecturas y legislación. México, 2010, Editorial Tiro Corto, p. 16.27 165823. 1a. CCXIV/2009. Primera Sala. Novena época. Semanario Judicial de la Federación y su Gaceta. Tomo XXX, diciembre de 2009, p. 277. Derecho a la Vida Privada. Su contenido general y la importancia de no descontex-tualizar las referencias a la misma. [consulta 10-03-20]. Disponible en: http://sjf.scjn.gob.mx/sjfsist/Documentos/Tesis/165/165823.pdf. Fecha de consulta: 20 de agosto de 2018.28 El derecho a la privacidad no es un derecho absoluto y estará limitado a apreciaciones establecidas en precedentes judiciales como el grado de exposición pública de una persona, la trascendencia en las actividades que realiza, los alcances de protección de la libertad de expresión, el interés público, etc.29 Ricci, D. Artículo 16 Constitucional. Derecho a la privacidad. En: Derechos Humanos en la Constitución: comenta-rios de jurisprudencia constitucional Interamericana II. [en línea]. México: Instituto de Investigaciones Jurídicas, p.





191

Por otro lado, los conceptos de privacidad y vida privada se han redefi-nido a partir del vertiginoso desarrollo tecnológico, el cual hace posible la so-breexposición de ámbitos que hasta hace unas décadas eran meramente del ámbito privado.

Una vez que hemos tratado de definir o al menos dar una aproximación conceptual de la privacidad, vida privada y derecho de privacidad, podríamos estar preguntándonos entonces, ¿por qué es tan importante preservar la priva-cidad en tiempos de inteligencia artificial?:

Una primera respuesta es que el valor de la privacidad tiene un componen-te privado, pero también es un social good, en la medida en la que es necesaria para la pervivencia de la democracia y la libertad.30 Por ejemplo, no podríamos imaginar un estado constitucional y democrático de derecho, frente a censos que utilicen la IA para procesar información de la población, que deriven en un exterminio masivo de personas, como sucedió en la Alemania nazi durante el Holocausto.

Una segunda respuesta sobre la importancia de preservar la privacidad en tiempos de IA tiene que ver con la enorme capacidad técnica de las organiza-ciones para recabar grandes cúmulos de información en tiempo real, procesarla y tomar decisiones, lo cual expone aspectos privados de la vida de las personas, como los hábitos de consumo de un hogar, los ingresos económicos de una per-sona o su ideología política o religiosa, por mencionar algunos. Esta sobreex-posición y concentración de información por parte de unos cuantos, deja a los usuarios de sistemas de inteligencia artificial, particularmente desprotegidos frente al poder acumulado por las corporaciones y ejemplos como el de Cam-bridge Analytical,31 hacen evidente la necesidad de vigilar el comportamiento de tecnologías como la inteligencia artificial.

La tercera respuesta está relacionada con el párrafo anterior, ya que el rol de las corporaciones como actores que ostentan el poder en la economía digi-tal propicia la eventual disminución del Estado Nación y la no intervención a

1045. [consulta 2-03-20]. Disponible en: https://archivos.juridicas.unam.mx/www/bjv/libros/8/3567/39.pdf. 30 Contreras, Carlos. El papel del gobierno en la era digital: un enfoque de economía pública. 2017, Editorial Univer-sitaria Ramón Arces, p.p. 153 y 154.31 Este caso consistió en que la empresa Cambridge Analytical tuvo acceso a los datos de unos 87 millones de usuarios de Facebook, según reveló la red social. La información fue obtenida a través de una aplicación que ofrecía realizar un test de personalidad pero que, en realidad usó ese acceso para recopilar datos de los usuarios y de sus redes de amigos hasta sumar hasta un 15% de la población de Estados Unidos. La empresa utilizó este material para elaborar perfiles psicológicos de cada usuario y diseñar mensajes hechos a medida para tratar de influir en las elecciones presidenciales de Estados Unidos de 2016. [consulta 12-03-20]. Disponible en: https://www.bbc.com/mundo/noticias-43971491





192

través de su rectoría, para la salvaguarda de derechos humanos como el dere-cho a la privacidad.

Como podemos advertir de las líneas anteriores, el rápido desarrollo tec-nológico hace que cada vez sea más complejo garantizar el derecho a la pri-vacidad, ya que la información que se genera a partir del uso de Internet y de sistemas de inteligencia artificial, se encuentra susceptible a ser sometida a tra-tamientos masivos, y muchas veces sin contar con el conocimiento y consen-timiento informado del titular del dato. En este punto, es conveniente resaltar que hoy día, la IA permite en algunos casos hacer tratamiento de datos legales pero poco éticos, ya que si bien los sistemas son programados para cumplir en el mejor de los casos, con los requisitos mínimos de las normas, (en materia de protección de datos personales sería el consentimiento de los titulares de la información), este consentimiento no es verdaderamente informado, o no se propician los mecanismos necesarios para que los titulares de datos alcancen a entender la dimensión de la autorización.32

5. El derecho de protección de datos personales en los sistemas de inteligencia artificial

Como hemos visto en apartados previos, el artículo 12 de la Declaración Uni-versal de Derechos Humanos, reconoce el derecho a la no injerencia en la vida privada de las personas, el cual puede considerarse el antecedente más impor-tante, que estableció las bases para una evolución normativa e incorporación a los marcos legales domésticos de distintas figuras jurídicas, que en su conjunto protegen la vida privada de las personas.

Una de estas figuras, es el derecho de protección de datos personales, el cual fue reconocido en 2009, en la Constitución Política de los Estados Unidos Mexicanos, mediante adhesión de un párrafo al artículo 16, el cual, señala:

“Artículo 16. …

Toda persona tiene derecho a la protección de sus datos personales, al acceso, rectificación y cancelación de los mismos, así como a manifestar

32 En este punto, es fácil escuchar discursos que criminalizan a los usuarios de sistemas de inteligencia artificial, por otorgar el consentimiento sin comprender las dimensiones del tratamiento de la información, pero se debe tener en cuenta, primero la falta de educación digital de los usuarios (porque existe muy poca política pública efectiva de educación e inclusión digital en México), en segundo lugar, los condicionamientos para la prestación de servicios necesarios, incluso aunque sean contrarios a las normas nacionales, tercero, la instrumentación de cláusulas de adhesión en los contratos y cuarto, la responsabilidad final y única de las corporaciones para insertar aspectos éticos en el tratamiento de datos, que pudieran generar confianza.





193

su oposición, en los términos que fije la ley, la cual establecerá los su-puestos de excepción a los principios que rijan el tratamiento de datos, por razones de seguridad nacional, disposiciones de orden público, segu-ridad y salud públicas o para proteger los derechos de terceros.

…”.33

El derecho de protección de datos personales le confiere al titular del dato, el poder de decisión sobre el tratamiento de su información, desde que se recaba hasta que se destruye. Este derecho cobra vida a través de los denominados de-rechos ARCO, también reconocidos en el referido artículo 16 de la carta magna, y consistentes en los derechos de: acceso, rectificación, cancelación y oposi-ción frente al tratamiento de datos personales.34

No obstante, como pasa con otros derechos humanos, el de protección de datos personales no es un derecho absoluto y encuentra sus restricciones en el multicitado artículo 16 constitucional, al referir que todas las personas goza-rán del derecho de protección de datos personales, salvo que exista un impedi-mento o restricción por razones de seguridad nacional, disposiciones de orden público, seguridad y salud públicas o para proteger derechos de terceros.

En otras palabras, el derecho de protección de datos personales encuentra sus límites en aquellas excepciones reconocidas expresamente en el 16 consti-tucional y que resultan necesarias en sociedad democrática.

El derecho de protección de datos personales en México ha sido regulado en dos normas: La Ley Federal de Protección de Datos Personales en Posesión de los Particulares (2010) y la Ley General de Protección de Datos Personales en Posesión de los Sujetos Obligados (2017).

En general, estas normas, la primera de índole federal y la segunda de aplicación nacional, reconocen los principios que deben regir el tratamiento de datos personales, las obligaciones de los Responsables y Encargados del trata-miento, las medidas de seguridad que deben considerarse, los procedimientos de denuncia que tiene la persona frente a la vulneración de este derecho y los mecanismos de sanción que tiene el Instituto Nacional de Transparencia,

33 México. Constitución Política de los Estados Unidos Mexicanos. Diario Oficial de la Federación el 5 de febrero de 1917. P. 17.34 A partir de la publicación de la Ley General de Protección de Datos Personales en Posesión de Sujetos Obligados (ley de datos cuyo ámbito de aplicación es el sector público), se ha discutido si el reconocimiento en la norma de la portabilidad del dato debe considerarse o no una extensión de los llamados derechos ARCO. En opinión de la autora, la portabilidad no es más que una forma de manifestación del derecho de acceso a los datos personales.





194

Acceso a la Información y Protección de Datos Personales (INAI) frente al in-cumplimiento de las disposiciones legales en la materia.

El camino del derecho de protección de datos personales en México desde la perspectiva normativa, parece ser un camino largo y sólido que brinda dos leyes que regulan el tratamiento de datos personales tanto en empresas como en el sector público, e incluso reconoce la coexistencia de algunas normas sectoriales con disposiciones en la materia, que también constituyen excepciones dentro del régimen general de este derecho, como la Ley de Instituciones de Crédito.

No obstante, cuando hablamos del derecho de protección de datos per-sonales en ámbitos digitales o tecnológicos, como lo es el de la inteligencia artificial, -por las características propias de las innovaciones-, parece que el alcance de este derecho se diluye respecto de los alcances efectivos que sí tiene en el mundo físico.

El efectivo ejercicio de derechos ARCO en sistemas de IA a veces resul-ta casi imposible, por ejemplo, la dificultad de ejercer los derechos de acceso y/o rectificación previa a una posible vulneración de derechos humanos frente al tratamiento de datos personales que haga un sistema de identificación facial utilizado por el Estado. Es decir, el sistema de IA funcionará con la información que haya suministrado alguna entidad estatal, haciendo casi imposible el acce-so, la rectificación o cancelación del dato, antes o después de una vulneración a un derecho humano como podría ser el de libertad de expresión.

Aunado a esto, pensemos en la falta de transparencia en el funcionamien-to de estos sistemas de identificación facial, ya que muchos de ellos trabajan con información de la población en general y no solo de aquellos individuos que representan por cualquier motivo válido en una sociedad democrática, un riesgo para la seguridad pública o la seguridad nacional y en la medida des-proporcionada en la que los sistemas de identificación son utilizados por parte de los Estados.

Tal vez en este ejemplo, el sistema de IA de identificación facial constituya por sí mismo una vulneración a la libertad de expresión en una sociedad demo-crática, que establece una medida sistemática y previa de censura y despropor-cionada por parte del Estado. Esta conclusión que nada aparentemente tiene que ver con el derecho de protección de datos personales, se pude elaborar a partir del análisis del tipo de datos que trata un sistema, los fines para llevar a cabo dicho tratamiento y una evaluación a la luz del principio de proporciona-lidad en materia de datos personales.

Lo anterior, sin tomar en consideración que la IA permite incorporar nue-vas posibilidades que representan desafíos para los derechos humanos, por





195

ejemplo, el análisis de emociones a través de lo que una persona publica en una red social y un algoritmo que calcule el riesgo que su estado anímico, pen-samientos, ideología, representa para la seguridad de un Estado.

En este ejemplo, las políticas de privacidad de las redes sociales desempe-ñan un papel importante, por ejemplo, los usuarios que fueron analizados para crear perfiles psicológicos por la empresa Cambridge Analytical, lo hicieron proporcionando su consentimiento para el tratamiento de datos en general, y dicha autorización la hicieron cuando fueron condicionados a otorgarla para usar una aplicación de proyección del futuro.

Este último punto permite la reflexión sobre el enorme peso que desde el modelo mexicano de regulación en materia de datos personales se ha deposi-tado sobre el principio de información y su manifestación través del aviso de privacidad, ya que el cumplimiento tanto del principio de información como el de consentimiento a través de dicho aviso, no asegura un tratamiento ético de la información. Es decir, estamos frente a tratamientos lícitos de datos per-sonales, pero no éticos.

Es pertinente matizar el ejemplo diciendo que el enorme desafío que se advierte respecto del derecho de protección de datos personales en la IA es el de lograr un balance que permita aprovechar los beneficios de esta tecnología, sin poner en peligro la dignidad de las personas y sus derechos fundamentales. Esto no parece sencillo, por lo que elementos como la transparencia, el es-crutinio de la proporcionalidad en el uso de sistemas de inteligencia artificial, la incorporación de esquemas de cumplimiento normativo y ético, los meca-nismos de supervisión estatal y de defensa frente a afectaciones derivadas de decisiones automatizadas, permitirían hacer frente a los peligros que hoy día preocupan a expertos en la materia.

Es decir, en palabras de Federico Lefranc, no hay que equivocarse, la críti-ca no es a la evolución de la tecnología, ni tampoco frente a sus posibilidades ni frente a sus usos. La crítica se dirige a la concepción epistemológica del dis-curso, en el entendido de que esta concepción se puede articular entendiendo al sujeto como receptor de dicho discurso.35

También el derecho de protección de datos personales en la IA se debe es-tudiar bajo la óptica del fenómeno de los países periféricos (consumidores de tecnología que no generan o desarrollan sus propias capacidades de ciencia, tecnología e innovación), los cuales casi siempre ven reducido su marco nor-mativo, frente las políticas de privacidad de las corporaciones trasnacionales,

35 Op. Cit., nota 22, p. 44.





196

que no son compatibles necesariamente, con la dimensión, que por ejemplo México, le ha dado al derecho humano de protección de datos personales.

Es decir, cuando hablamos de tecnología, a pesar de que México cuenta con un marco legal en materia de protección de datos personales robusto, que retoma los más altos estándares de protección de la persona, en la lógica del modelo de regulación europeo y de la familia romano germánica, todos estos esfuerzos se ven reducidos frente a sistemas de IA que han sido diseñados prin-cipalmente en países desarrollados cuya familia jurídica pertenece al derecho anglosajón.

A nivel global existen desarrollos de IA que han despertado el interés y preocupación de muchos Estados, pensando por ejemplo en los sistemas de de-fensa y en los robots autónomos cuya tendencia en su desarrollo es que puedan tratar datos personales en tiempo real (imágenes) y tomar decisiones sobre los blancos de ataque. Esto considerando si el derecho internacional humanitario alcanza o no para regular los límites que deben tener en cuenta los desarro-lladores al momento de programar el software. Por ejemplo, la viabilidad de preguntarse si es lícito o no programar un robot para comparar con una base de datos, imágenes de niños y civiles para descartarlos como blanco de ataque y la autonomía de decisión del robot.

Como respuesta a algunas de las preocupaciones generadas a partir de los ejemplos citados, se han creado instancias que trabajan sobre las directrices que debe seguir el desarrollo de IA y cuyo eje transversal sin duda alguna, se-rán las reglas y límites para el tratamiento de información personal. Un ejem-plo interesante de los esfuerzos que supone el uso de la IA protegiendo a la persona frente a tratamientos de sus datos, lo encontramos en el documento de la Agencia Española de Protección de Datos Personales, denominado “Adecua-ción al RGPD de tratamientos que incorporan Inteligencia Artificial. Una in-troducción”36, en el que se puede encontrar un modelo de incorporación de dis-posiciones normativas en materia de datos a sistemas de inteligencia artificial.

Retomando el caso de México en los ejemplos mencionados, se puede ad-vertir que si bien el país ha reconocido a nivel constitucional el derecho de protección de datos personales cuenta con normas secundarias que dan vida a este derecho (Ley Federal de Protección de Datos Personales en Posesión de los Particulares de 2010 y Ley General de Protección de Datos Personales en Posesión de Sujetos Obligados de 2017), el nivel de protección de la persona

36 Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción. Agencia Española de Protección de Datos Personales, 2020 [consulta 11-03-20]. Disponible en: https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf





197

frente a la tecnología no puede garantizarse cuando hablamos de inteligencia artificial, debido a fenómenos como la ubicuidad, la no existencia de fronteras físicas, la extraterritorialidad de la normas, la reducción del Estado Nación (al depositarse principalmente la garantía de derechos humanos en manos de las corporaciones), la falta de mecanismos estatales de supervisión y garantía de los derechos humanos en la inteligencia artificial.

Es decir, los esfuerzos de los Estados para la salvaguarda de los derechos humanos en ámbitos tecnológicos, especialmente Internet e inteligencia artifi-cial, muchas veces se ven diluidos en la globalización de la era digital.

A pesar de que la falta de mecanismos efectivos para el ejercicio del dere-cho de protección de datos personales en la IA podría ser el principal problema al que se enfrenta este derecho, no debemos dejar de advertir dos cosas.

Las leyes nacionales en materia de datos personales no contienen disposi-ciones específicas para el tratamiento de datos personales en sistemas de inte-ligencia artificial, lo cual no sería un problema determinante, salvo que por las características de dicho tratamiento y la forma en la que funciona la técnica, es necesario cuestionarse sobre la necesidad de configurar nuevos derechos que permitirían la efectiva garantía de la dignidad humana frente a sistemas de inteligencia artificial. Estos derechos son: el “derecho a la no identificación” de las personas en la utilización de inteligencia artificial, el “derecho a que la in-formación personal no sea tratada mediante técnicas de inteligencia artificial” o incluso un “derecho de reclamación” frente a afectaciones a los derechos de las personas, derivadas de las decisiones tomadas mediante sistemas de inteli-gencia artificial.

Es decir, el marco jurídico de los derechos humanos, en específico el del derecho de protección de datos personales, sirve para establecer las reglas para el tratamiento de datos a través de sistemas de inteligencia artificial, por ejem-plo, los principios, deberes, obligaciones y mecanismos para el ejercicio de los derechos ARCO. No obstante, como consecuencia de los tratamientos automa-tizados de datos personales a través de inteligencia artificial, empieza a hacerse necesario el reconocimiento de nuevas modalidades de ejercicio del derecho de protección de datos personales que incluso servirían para garantizar otros dere-chos humanos, como el de no discriminación (que no es objeto de este trabajo).

Ahora bien, no se puede hablar del derecho de protección de datos per-sonales en sistemas de IA sin mencionar que al ser la información un valor muy preciado en la economía digital, este derecho tiene también lugar en las negociaciones de tratados internacionales, no sólo de derechos humanos, sino comerciales también.





198

Es así que cuando hablamos de protección de datos personales e inteligen-cia artificial, resulta necesario situarnos en la influencia que han tenido instru-mentos jurídicos internacionales en la construcción y forma de interpretación de este derecho en México.

En este sentido, en 2018 México fue aceptado al Convenio 108 del Con-sejo de Europa para la protección de las personas con respecto al tratamiento automatizado de datos de carácter personal, -un instrumento paradigmático en materia de protección de datos personales en el ámbito europeo y de paí-ses terceros que sean aceptados a formar parte de éste)-, lo cual establece las bases para una máxima protección de la información de las personas, en un reconocimiento jurídico, histórico y político de la dignidad humana frente al desarrollo tecnológico.

Este paso tan significativo para México ha tenido una etapa de estanca-miento, en donde hoy día, existen amenazas directas al reconocimiento que ha hecho el país sobre el derecho de protección de datos personales. Esta afirma-ción tiene sustento en la aceptación por parte de México de cláusulas conteni-das en un instrumento primordialmente económico como el Tratado comercial entre México, Estados Unidos de Norteamérica y Canadá (TMEC), que están por debajo del nivel de protección que el país se comprometió a otorgar en 2018, a través del citado Convenio 108.37 Otro elemento que apuntala la afirmación de que el derecho de protección de datos personales se ha visto estancado en México, es la falta de voluntad política y legislativa para solicitar la adhesión al Convenio 108 Plus del Consejo de Europa, que permitiría a México terminar la armonización del marco legal doméstico con las normas en el ámbito europeo en materia de protección de datos personales, paso necesario para la consolidación de modelos de comercio digital, cooperación internacional entre autoridades y en general, para la transferencia internacional de datos personales.

Sobre el capítulo 19 de comercio digital del TMEC, el artículo 19.8 habla sobre la protección de la información personal, e inicia haciendo un reconoci-miento de los beneficios económicos y sociales de la protección de la informa-ción personal de los usuarios del comercio digital y la contribución que dicha protección aporta para generar confianza en el consumidor. En principio, este artículo otorga un margen de apreciación para que cada Estado, adopte o man-tenga un marco legal que disponga la protección de la información personal de los usuarios de comercio digital, e incluso señala que cada Estado, podrá tomar

37 Tratado entre Estados Unidos de Norteamérica, Canadá y México en materia comercial. [consulta 17-03-20]. Disponible en: https://www.gob.mx/t-mec





199

en consideración los principios y directrices de los organismos internacionales pertinentes, tales como el Marco de Privacidad de APEC y la Recomendación del Consejo de la OCDE relativa a las Directrices de la OCDE sobre protección de la privacidad y flujos transfronterizos de datos personales (2013).

Los Estados también reconocen la importancia de asegurar el cumplimien-to de las medidas para proteger la información personal y asegurar que las res-tricciones a los flujos transfronterizos de información personal sean necesarias y proporcionales a los riesgos presentados.38

Lo que llama la atención de este capítulo, es el numeral 6 que indica: “6. Reconociendo que las Partes podrán tomar diferentes enfoques legales

para proteger la información personal, cada Parte debería fomentar el desarro-llo de mecanismos para promover la compatibilidad entre estos diferentes regí-menes. Las Partes procurarán intercambiar información sobre los mecanismos aplicados en sus jurisdicciones y explorarán maneras de extender estos u otros acuerdos adecuados para promover la compatibilidad entre estos. Las Partes reconocen que el sistema de Reglas de Privacidad Transfronterizas de APEC es un mecanismo válido para facilitar las transferencias transfronterizas de infor-mación mientras se protege la información personal”.39

En este sentido, la Comisión Europea ya se ha pronunciado sobre elemen-tos que se deben advertir al momento de negociar tratados internacionales en materia comercial, dejando sentado que los aspectos económicos no pueden estar por encima de los derechos humanos.

También se debe resaltar que si bien la adhesión de México al Convenio 108 del Consejo de Europa, establece un antecedente inédito para indicar el rumbo hacia donde debe evolucionar normativamente este derecho en el marco le-gal doméstico, (atendiendo primero, al principio de progresividad de los dere-chos humanos y en segunda lugar, al principio pro persona y la interpretación conforme, reconocidos en la Constitución, a partir de la reforma de derechos humanos de 2011), están pendientes los trabajos de adhesión para el citado Convenio 108 Plus, que ya prevé el impacto transversal de la tecnología en la vida privada de las personas.

Esto no es nada menor, ya que países como República Dominicana, hoy día se encuentran analizando y estableciendo las bases para solicitar la adhesión al Convenio 108 plus y México ha tenido retrocesos al aceptar disposiciones

38 Se recomienda revisar las restricciones señaladas por la Unión Europea a Estados Unidos de Norteamérica y an-tecedentes como el Safeharbor.39 Capítulo 19 de Comercio Digital del TMEC. [consulta 17-03-20]. Disponible en: https://www.gob.mx/cms/uploads/attachment/file/465801/19ESPComercioDigital.pdf





200

de menor protección para el tratamiento de datos personales, previstas en el apartado de comercio electrónico del propio TMEC.

Este fenómeno tiene su explicación en la forma en la que el valor econó-mico de los datos prevalece sobre el reconocimiento del derecho de protección de datos personales del modelo europeo, que considera la dignidad humana como el eje rector para el desarrollo tecnológico, de ciencia y de innovación, y hace un enérgico llamado a las corporaciones a insertar aspectos éticos que sirvan como límites frente a tratamientos que atenten en contra de la dignidad de las personas.

Es decir, en su momento, México decidió sobre el modelo de regulación por el que optaría, siendo el modelo europeo de protección de datos personales el que consideró el más idóneo y dicho modelo, también incluye algunas direc-trices para la IA y el tratamiento de la información de carácter general, por lo que en el marco del estado constitucional y democrático de derecho, se tendría que guardar congruencia a este reconocimiento y protección de la dignidad de las personas logrando un balance entre los intereses comerciales o económicos que podrían estar contenidos en otros instrumentos internacionales posterio-res a la adhesión de México al referido Convenio 108.

Para una mejor explicación del tema, en el caso de la Unión Europea, fue la Comisión Europea la que aprobó las disposiciones para los flujos de datos transfronterizos, derivadas del cierre de la consulta sobre la orientación del artículo 49 del Reglamento Europeo de Protección de Datos Personales. Estas disposiciones se aprueban como horizontales para los flujos de datos trans-fronterizos y la protección de datos personales en los acuerdos comerciales, ya que los datos personales son un derecho fundamental, que no pueden ser objeto de negociación en los acuerdos comerciales de la UE.

Es decir, la Comisión Europea está tratando de romper las barreras al flujo de datos entre empresas, en futuros acuerdos comerciales como parte de su impulso hacia una economía más digital, al tiempo que salvaguarda los princi-pios fundamentales del derecho de protección de datos personales.

Las disposiciones están diseñadas para insertarse en futuros acuerdos comerciales y garantizar que los principios subyacentes al Reglamento Europeo de Protección de Datos Personales no se vean socavados. Lo interesante de esta propuesta para suscribir acuerdos internacionales por la que optó la Unión Europea, es que las cláusulas relativas a datos personales incluidas en un tratado comercial, serán excluidas de cualquier tribunal de inversión establecido por el





201

acuerdo para arbitrar y resolver disputas, lo que significa que las disposiciones estarán sujetas a la jurisdicción del tribunal más alto de la Unión Europea.40

Derivado de lo anterior, el TMEC si bien reconoce el margen de apreciación para que un Estado regule a través de sus normas domésticas el derecho de protección de datos personales, establece las normas del Foro de Cooperación Económica Asia-Pacífico (APEC), como un punto de encuentro para realizar transferencias internacionales de datos, lo cual no está redactado en términos de lo resuelto por la Comisión Europea, específicamente en el tema de la reso-lución de controversias, ya que no sería el alto tribunal europeo quien resuelva una posible controversia, sino probablemente los árbitros señalados dentro de los mecanismos alternativos que reconoce el Foro, lo cual propiciaría que si no se cumplen las disposiciones de datos que ya se tienen en México, su revisión no recaería sobre una instancia europea (cuando las transferencias involucren datos de personas nacidas o que vivan en alguno de los países miembros de la Unión Europea), sino en la instancia señalada por el propio APEC. Esto sería algo menor si México no fuera parte del Convenio 108 del Consejo de Europa.

Por otro lado, resaltar que México aún no ha sido declarado país seguro (país tercero fuera de Europa que brinda garantías para un debido tratamiento de datos que reciba por transferencia), por lo que los acuerdos comerciales hacia Europa, podrían verse mermados por esta situación y por la falta de vo-luntad de alinear las normas locales con los compromisos internacionales, es-pecíficamente del ámbito europeo a los que México se comprometió.

En este sentido, los Acuerdos de Puerto Seguro desempeñan un rol im-portante porque pueden ser los puentes por los que se intercambien datos per-sonales entre uno de los países miembro de la Unión Europea con países que no tienen el mismo nivel normativo de protección del dato, como el caso de Estados Unidos de Norteamérica.41

En 2015 el Tribunal de Justicia de la Unión Europea declaró la invalidez del acuerdo sobre la transferencia internacional de datos personales pues entendía

40 Guidelines on Article 49 of Regulation 2016/679. Consejo de Europa, 2018, [consulta 30-03-20]. Disponible en: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=61423241 El 16 de julio de 2020 el Tribunal de Justicia de la Unión Europea (TJUE) ha hecho pública una sentencia en la que anula la Decisión 2016/1250 de la Comisión que declaraba el nivel adecuado de protección del esquema del Escudo de Privacidad (Privacy Shield) para las transferencias internacionales de datos a EEUU. Esta Decisión sustituía a su vez a Puerto Seguro que también fue declarado inválido por el TJUE en octubre de 2015. La sentencia, cuyas impli-caciones marcan un nuevo punto de inflexión sobre la forma en la que se realizan las transferencias internacionales de datos a EEUU, establece, a su vez, la validez de las cláusulas contractuales estándar adoptadas por la Comisión Europea para realizar transferencias internacionales de datos entre un Responsable establecido en la Unión Europea y un Encargado del tratamiento fuera de la UE. [consulta 17-03-20]. Disponible en: https://curia.europa.eu/jcms/upload/docs/application/pdf/2015-10/cp150117es.pdf





202

que la legislación estadounidense no brindaba las garantías suficientes para proteger aquella información que provenía del espacio europeo.

Tras un nuevo acuerdo, en julio del 2020, el mismo tribunal declaró la invalidez del escudo privacy shield como herramienta jurídica válida para garantizar el derecho de protección de los datos de los ciudadanos europeos en supuestos de transferencia internacional.42

La figura de los Acuerdos de Puertos Seguro pueden ser una vía idónea para que México transfiera datos personales al país del norte, a fin de tener certeza sobre el tipo de tratamiento proporcional y razonable que haga el país receptor y que el tratamiento de la información no derive en vulneraciones a la dignidad humana, como pasó con los datos personales de migrantes, que instancias mexi-canas compartieron con autoridades migratorias de Estados Unidos.

En la región iberoamericana (que privilegia el derecho continental), se han trabajado documentos de soft law, que sirven como orientadores para com-prender las necesidades regulatorias en el tratamiento de datos en la inteligen-cia artificial.

El primer documento que analizaremos se denomina “Recomendaciones generales para el tratamiento de datos en la Inteligencia Artificial” de la Red Iberoamericana de Protección de Datos, el cual está dirigido a desarrolladores de productos de IA y da recomendaciones generales, entre las que destacan la elaboración de estudios de impacto de privacidad, la ética y seguridad desde el diseño, accountability, esquemas de gobernanza, respeto a los derechos de los titulares del dato, etcétera.43

De este documento es importante destacar que no tiene como pretensión oponerse a que las corporaciones traten datos personales a través de la inteli-gencia artificial, sino que lo hagan con las garantías necesarias, atendiendo las reglas, principios y derechos que dan vida a la protección de datos personales, para así evitar cualquier daño, abuso o vulneración de los derechos de los titu-lares de esos datos.

La guía se acompaña por un documento más específico, emitido también por la Red Iberoamericana de Protección de Datos Personales, denominado

“Orientaciones específicas para el cumplimiento de los principios y derechos

42 La última Sentencia es la STJUE (Gran Sala) del 16 de julio del 2020. Asunto C-311/18 que tuvo por objeto resolver una petición de decisión prejudicial planteada, con arreglo al artículo 267 TFUE, por la High Court (Tribunal Superior, Irlanda).43 Recomendaciones generales para el tratamiento de datos en la Inteligencia Artificial. Red Iberoamericana de Protección de Datos, 2019, [consulta 18-03-20]. Disponible en: https://www.redipd.org/sites/default/files/2020-02/guia-recomendaciones-generales-tratamiento-datos-ia.pdf





203

que rigen la protección de datos personales en los proyectos de inteligencia ar-tificial”,44 en el marco del instrumento normativo que constituye la referencia común para las entidades integrantes de la señalada Red, como son los Están-dares de Protección de Datos Personales para los Estados Iberoamericanos que se aprobaron en Santiago de Chile, en 2017.

Otro documento normativo paradigmático en favor del derecho de protec-ción de datos personales vinculado con disposiciones específicas sobre IA es el Reglamento General de Protección de Datos (RGPD) aplicable en el ámbito europeo, el cual refuerza los requisitos relacionados con las decisiones auto-matizadas, basadas en el uso de inteligencia artificial; es decir, las entidades que utilicen algoritmos (insumos de la inteligencia artificial) tendrán que pro-porcionar una explicación sobre la lógica de las decisiones automatizadas y sobre sus consecuencias principales para los individuos, pudiendo éstos pedir la intervención humana y recurrir la decisión (principio de transparencia).45

Derivado de lo anterior, se advierte que si bien se cuenta con un marco normativo que establece los límites para el tratamiento de datos personales a través de sistemas de inteligencia artificial, resulta necesario pensar en la configuración de mecanismos específicos para que los Estados supervisen el cumplimiento de los alcances de este derecho humano en la IA (principio de escrutinio) y habilitar nuevas manifestaciones del derecho de protección de da-tos personales para que los titulares tengan mecanismos concretos de defensa frente a las consecuencias de los tratamientos de datos a través de IA (meca-nismos de reclamación, de no identificación y de no tratamiento de datos en sistemas de inteligencia artificial).

6. Conclusiones

De las líneas anteriores se ha podido identificar que la IA tiene diversos usos que impactan en todas las esferas de la sociedad. Los beneficios de su incorpo-ración son evidentes por lo que empresas y gobiernos se encuentran exploran-do nuevas posibilidades de uso y explotación de esta técnica.

44 Orientaciones específicas para el cumplimiento de los principios y derechos que rigen la protección de datos personales en los proyectos de inteligencia artificial. Red Iberoamericana de Protección de Datos, 2019, [consulta 18-03-20]. Disponible en: https://www.redipd.org/sites/default/files/2020-02/guia-orientaciones-espec%C3%ADfi-cas-proteccion-datos-ia.pdf45 Adecuación al Reglamento General de Protección de Datos de tratamientos que incorporen Inteligencia Artificial. Agencia Española de Protección de Datos Personales. [consulta 18-03-20]. Disponible en: https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf





204

La IA funciona principalmente a través del procesamiento masivo de in-formación (que puede contener datos personales) lo cual despierta enormes preocupaciones para su instrumentación.

En este sentido, si bien existe un marco legal robusto en materia de datos personales en México, se han identificado algunos de los desafíos para la sal-vaguarda de este derecho cuando se trata de entornos tecnológicos, específica-mente en la inteligencia artificial.

Estos desafíos, relacionados con la extraterritorialidad de la norma, la no existencia de fronteras físicas, las múltiples jurisdicciones interactuando, la reducción del Estado Nación, la responsabilidad otorgada para que sean las corporaciones las que salvaguarden derechos humanos como el de privacidad y datos, diluyen en un mundo digital global el alcance que tiene el derecho de protección de datos en el mundo físico. Esto particularmente desde los países periféricos, que no actúan en bloque regional y que no tienen mecanismos efectivos de obligatoriedad y cumplimiento de sus normas nacionales.

Aunado a lo anterior, se ha identificado la necesidad de reconocer la confi-guración de nuevas manifestaciones del derecho de protección de datos perso-nales, atendiendo la forma en la que funciona y se incorporan los sistemas de inteligencia artificial, tales como el derecho de reclamación frente a decisiones automatizadas, el derecho a no ser sometido a tratamientos de datos a través de IA y el derecho a que la persona no sea identificada en los tratamientos a través de esta técnica.

Derivado de lo anterior, podemos afirmar que el derecho de protección de datos personales desde su ámbito de derecho humano permite establecer en general las reglas para el tratamiento de los datos personales en la inteligencia artificial, como los principios, los deberes y las obligaciones que Responsa-bles y Encargados deben tener en cuenta. No obstante, la forma en la que se ha diversificado su uso hace necesario hablar de nuevas manifestaciones del derecho de protección de datos personales como las referidas en el párrafo pre-vio, que en su conjunto permitirían incluso proteger otros derechos humanos, como el derecho a la no discriminación.

Por otro lado, frente al crecimiento exponencial de la inteligencia artificial, nos encontramos que los sistemas son programados para cumplir requisitos formales normativos para el tratamiento de datos personales, sin que esto sig-nifique que sean tratamientos éticos; es decir, estamos frente a tratamientos lí-citos, pero en muchos casos no éticos.

Desde la óptica de los tratados internacionales, México debe suscribir solo aquéllos que estén armonizados con los compromisos internacionales que el





205

país ha asumido, relativos a la salvaguarda de los derechos humanos de las personas y su dignidad, particularmente respecto del derecho de protección de datos personales.

Finalmente, México tiene una oportunidad para fungir como país lí-der hacia una integración regional que estandarice las normas en materia de protección de datos personales aplicadas a la inteligencia artificial, optando por el modelo europeo, que al menos para los países de Iberoamérica, resulta el más compatible, en términos de la herencia del derecho continental y la for-ma en la que se han configurado los sistemas jurídicos domésticos.

Bibliografía

Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una intro-ducción. Agencia Española de Protección de Datos Personales, 2020 [Consulta 13-03-20]. Disponible en: 5https://www.aepd.es/sites/default/files/2020-02/adecuacion-rgpd-ia.pdf

Artificial Intelligence for Europe. Comisión Europea, 2018 [consulta 13-03-20]. Dis-ponible en: https://ec.europa.eu/digital-single-market/en/artificial-intelligence

Black, Edwin. IBM y el Holocausto. La alianza estratégica entre la Alemania Nazi y la más poderosa corporación norteamericana, Buenos Aires: Atlántida, 2001, p. 18.

Contreras, Carlos. El papel del gobierno en la era digital: un enfoque de economía pú-blica. 2017, Editorial Universitaria Ramón Arces, pp. 153 y 154.

Disruptive technologies: Advances that will transform life, business, and the glo-bal economy, McKinsey Global Institute, 2013. [Consulta 13-03-20]. Dispo-nible en: https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/disruptive-technologies

GIBBS, M., y Adams, (1962). “A report on the second national law and electronics con-ference”. En: MULL: Modern Uses of Logic in Law, [en línea]. V. 3, no. 4, pp. 215–223 [consulta 20-03-20]. Disponible en: www.jstor.org/stable/29760908

Giddens, A., Consecuencias de la Modernidad, Madrid: Alianza, 1993, p. 162. Guidelines on Article 49 of Regulation 2016/679. Consejo de Europa, 2018, [Consulta

30-03-20]. Disponible en: https://ec.europa.eu/newsroom/article29/item-detail.cfm?item_id=614232

Informe Anual del Alto Comisionado de las Naciones Unidas para los Derechos Huma-nos denominado el Derecho a la Privacidad en la Era Digital. Disponible en: ht-tps://icdppc.org/wp-content/uploads/2015/02/Resolution-on-Privacy-In-digi-tal-Age-Spanish-version.pdf

Informe sobre la economía digital 2019. Creación y captura de valor: repercusiones para los países en desarrollo. Conferencia de las Naciones Unidas sobre Comer-cio y Desarrollo, UNCTAD. [Consulta 30-03-20]. Disponible en: https://unctad.org/es/PublicationsLibrary/der2019_overview_es.pdf





206

Inteligencia Artificial. Foro Consultivo de Ciencia y Tecnología, 2018 [Consulta 13-03-20]. Disponible en: https://www.foroconsultivo.org.mx/INCyTU/documentos/Completa/INCYTU_18-012.pdf.

Lefranc, Federico, “La necesidad de reafirmar el principio de la dignidad humana en el Derecho del siglo XXI”. México Revista Penal México. 2011, no. 2, p. 155, [Consulta 13-03-20]. Disponible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6158028

Lefranc, F. Terra Incógnita. Bases para una política criminal pro persona en la sociedad digital, México: INFOTEC, 2015, p. 9.

Libro Blanco sobre la inteligencia artificial - un enfoque europeo orienta-do a la excelencia y la confianza. Comisión Europea, 2020 [consul-ta 13-03-20]. Disponible en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf

López, Baroni, (2019). “Las narrativas de la inteligencia artificial. Revista”. En: Bioéti-ca y Derecho, No. 46, p. 13 [consulta 10-10-20]. Disponible en: https://revistes.ub.edu/index.php/RBD/article/view/27280

Mc Carthy, J., et al. “A Proposal for the Dartmouth Summer Research Project on Ar-tificial Intelligence”. AI Magazine. 1955, vol. 27, núm. 4, p. 2. https://doi.org/10.1609/aimag.v27i4.1904.

Mendoza, O. Definición de privacidad. En: Diccionario Protección de Datos Personales, INAI, 2020, p. 672. [Consulta 13-03-20]. Disponible en: http://inicio.inai.org.mx/PublicacionesComiteEditorial/DICCIONARIO_PDP_digital.pdf

Orientaciones específicas para el cumplimiento de los principios y derechos que rigen la protección de datos personales en los proyectos de inteligencia artificial. Red Iberoamericana de Protección de Datos, 2019, [Consulta 18-03-20]. Disponible en: https://www.redipd.org/sites/default/files/2020-02/guia-orientaciones-es-pec%C3%ADficas-proteccion-datos-ia.pdf

Piñar, J. “¿Existe privacidad?, Lección magistral impartida en la Apertura Solemne del Curso Académico en la Universidad San Pablo-CEU de Madrid”. En: Protección de Datos Personales. Compendio de lecturas y legislación. México, 2010, Edito-rial Tiro Corto, p. 16.

Recomendaciones generales para el tratamiento de datos en la Inteligencia Artificial. Red Iberoamericana de Protección de Datos, 2019, [consulta 18-03-20]. Dispo-nible en: https://www.redipd.org/sites/default/files/2020-02/guia-recomenda-ciones-generales-tratamiento-datos-ia.pdf

Ricci, D. Artículo 16 Constitucional. Derecho a la privacidad. En: Derechos Humanos en la Constitución: comentarios de jurisprudencia constitucional Interamerica-na II. [En línea]. México: Instituto de Investigaciones Jurídicas, p. 1045. [Con-sulta 2-03-20]. Disponible en: https://archivos.juridicas.unam.mx/www/bjv/libros/8/3567/39.pdf.

Westin, A. Privacy and Freedom. Nueva York: Ateneum, 1967, p. 7.





207

Winston, J. (1967). “The Law and Legal Education in the Computer Age.” En: Jour-nal of Legal Education, [en línea]. V. 20, no. 2, pp. 159-168. [Consulta 12-02-20] Disponible en: www.jstor.org/stable/42891839

Sentencias Sentencia del Tribunal de Justicia de la Unión Europea (TJUE) de 16 de julio de 2020

Disponible en: https://curia.europa.eu/jcms/upload/docs/application/pdf/2015-10/cp150117es.pdf

Sentencia C311/18 de la STJUE (Gran Sala) de 16 de julio del 2020 del Tribunal Supe-rior, Irlanda.

Sentencia de 15 de diciembre de 1983 emitida por el Tribunal Constitucional Federal Alemán. [Consulta 13-03-20]. Disponible en: http://www.informatica-juridica.com/jurisprudencia/alemania.asp.

165823. 1a. CCXIV/2009. Primera Sala. Novena época. Semanario Judicial de la Fede-ración y su Gaceta. Tomo XXX, diciembre de 2009, p. 277. Derecho a la Vida Privada. [Consulta 10-03-20]. Disponible en: http://sjf.scjn.gob.mx/sjfsist/Do-cumentos/Tesis/165/165823.pdf. Fecha de consulta: 20 de agosto de 2018.

Instrumentos jurídicos y tratados internacionalesConstitución Política de los Estados Unidos Mexicanos. Diario Oficial de la Federación

el 5 de febrero de 1917. P. 17. Ley General de Protección de Datos Personales en Posesión de los Sujetos ObligadosLey Federal de Protección de Datos Personales en Posesión de los Particulares

Tratado entre Estados Unidos de Norteamérica, Canadá y México en materia comercial. [Consulta 17-03-20]. Disponible en: https://www.gob.mx/t-mec

Capítulo 19 de Comercio Digital del TMEC. [Consulta 17-03-20]. Disponible en: https://www.gob.mx/cms/uploads/attachment/file/465801/19ESPComercioDigital.pdf




209


El titular de datos personales, parte débil en tiempos de auge de la Inteligencia Artificial. ¿Cómo fortalecer su posición?*The Data Subject, Weak Party in the Rise of Artificial Intelligence. How to Strengthen his Position?

María Mercedes Albornoz**

resumen Un área en la que se manifiesta la tensión entre la innovación tecnológica que la Inteligencia Artificial (IA) supone y la protección de datos personales es la del consentimiento del titular. En efecto, la IA desafía el alcance y la validez del consentimiento. Se considera, sin embargo, que continúa siendo una opción jurídicamente relevante para habilitar el tratamiento lícito de datos personales por parte del responsable. Por eso es pertinente reflexionar sobre el consentimiento en la realidad actual.

El objetivo del presente artículo es analizar la situación desventajosa del titular de datos personales cuando sus datos son tratados por empresas privadas recurriendo a la IA y explorar algunas de las medidas previstas en nuevos instrumentos iberoamericanos de soft law que pueden contribuir a fortalecer al titular promoviendo el respeto de los derechos humanos y de principios éticos. Finalmente, se advierte que aún hay trabajo pendiente en esta materia y se aboga por continuar avanzando, con la participación de todos los actores interesados, hacia la adopción de un marco de gobernanza global para la protección de datos personales en tiempos de auge de la IA.

palabras clave Protección de datos personales, consentimiento, Inte-ligencia Artificial, big data, desigualdad, Iberoamérica

abstractAn area in which the tension between the technological innovation implied in Artificial Intelligence (AI) and the protection of personal data manifests is that of the data subject’s consent. In fact, AI challenges the scope and the validity of consent. Nevertheless, it is considered that such consent is still a legally relevant option to enable the lawful processing of personal data by the controller. Therefore, it is pertinent to reflect on consent in the current reality.

This article’s objective is to analyze the disadvanta-geous position of the data subject when his personal data is managed by private corporations using AI, and to explore some of the measures provided for in new Ibero-American soft law instruments that can help strengthening the data subject by promoting respect for human rights and ethical principles. Last, it is observed that there is still pending work in this field, and a call is made to continue moving forward, with the participation of diverse stakeholders, towards the adoption of a global governance framework for personal data protection in the rise of AI.

key wordsPersonal data protection, consent, Artificial Intelligence, big data, inequality, Ibero-America

*Artículo de Investigación postulado el 26 de febrero de 2020 y aceptado el 22 de octubre de 2020**Profesora investigadora en la División de Estudios Jurídicos del Centro de Investigación y Docencia Económicas, México. ([email protected]) orcid.org/0000-0002-0205-4964




M A R Í A M E R C E D E S A L B O R N O Z

210

SUMARIO1. Introducción2. Inteligencia Artificial y datos personales 3. Consentimiento para el tratamiento de datos personales4. El consentimiento ante el auge de la Inteligencia Artificial: el titular como parte débil5. Medidas para fortalecer la débil posición del titular de datos personales6. Observaciones conclusivas

1. Introducción

Los datos personales son información acerca de una persona física, identifi-cada o identificable. Esa persona, titular de los datos personales, debe gozar del derecho a protegerlos. En este sentido, el derecho a la protección de datos personales se ha consolidado actualmente como un derecho humano autóno-mo1 que, además, ha sido plasmado en diversos instrumentos normativos. Así, por ejemplo, la Carta de los Derechos Fundamentales de la Unión Europea2 le dedica el artículo 8, que comienza declarando: “Toda persona tiene derecho a la protección de datos de carácter personal que la conciernan”. En el caso de México, desde el año 20093 se consagró este derecho a nivel constitucional en el artículo 16,4 incluyendo los derechos de acceso, rectificación, cancelación y oposición. Ahora bien, aunque en muchos países el derecho del titular a la pro-tección de sus datos personales goza de reconocimiento en el derecho positivo5

lo cierto es que la exposición del titular a recursos tecnológicos en constante y vertiginosa evolución lo coloca en una situación de vulnerabilidad, susceptible de desafiar la efectividad del marco jurídico protector.

1 La autonomía es especialmente relevante con respecto al derecho a la vida privada y el derecho a la privacidad. Sobre las relaciones y la delimitación entre estos dos derechos y el derecho a la protección de datos personales, ver Maqueo Ramírez, María Solange, Moreno González, Jimena y Recio Gayo, Miguel, “Protección de datos personales, privacidad y vida privada: la inquietante búsqueda de un equilibrio global necesario”, Revista de Derecho (Valdivia), Universidad Austral de Chile, Facultad de Ciencias Jurídicas y Sociales, Vol. XXX, No. 1, junio 2017, p. 79 y ss.2 2000/C 364/01, Diario Oficial de las Comunidades Europeas: 18 de diciembre de 2000.3 Anteriormente, la protección de datos personales no era en México un derecho fundamental y su reconocimiento era de carácter sectorial. García González, Aristeo, “La protección de datos personales: derecho fundamental del siglo XXI. Un estudio comparado”, Boletín Mexicano de Derecho Comparado, Instituto de Investigaciones Jurídicas, UNAM, nueva serie, Año XL, No. 120, septiembre-diciembre 2007, p. 772.4 Constitución Política de los Estados Unidos Mexicanos, párrafo adicionado al artículo 16, Diario Oficial de la Fede-ración: 1° de junio de 2009.5 Según Graham Greenleaf, a enero de 2019, eran 132 los países que contaban con legislación en la materia. “Global Data Privacy Laws 2019: 132 National Laws & Many Bills” Privacy Laws & Business International Report, No. 155, 2019, pp. 14-18. [Consultado 20 febrero 2020], Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3381593, 8 febrero 2019




E L T I T U L A R D E D A T O S P E R S O N A L E S , P A R T E D É B I L E N T I E M P O S D E A U G E D E L A I N T E L I G E N C I A . . .

211

A esta circunstancia se suma la voracidad de un puñado de grandes em-presas –data brokers como Google, Apple, Facebook, Amazon– que desarrollan y/o que operan con tecnología de punta para el tratamiento de datos persona-les, para acceder a los datos de los individuos. Semejante apetito se explica por el hecho de que, en la economía digital, los datos personales son económica-mente valiosos6 en tanto y en cuanto su tratamiento –así como su asociación con otros datos existentes y la inferencia de datos nuevos– permite elaborar perfiles, predecir conductas e incidir en el comportamiento de las personas7. En efecto, quien cuente con acceso masivo a datos personales estará en una mejor posición al momento de tomar decisiones, lo que puede traducirse en la obtención de un mayor lucro. En este contexto, en el cual ya se habla de un “capitalismo de datos”,8 la Inteligencia Artificial (en adelante, IA), que suele estar vinculada con el big data y no se detiene ante las fronteras estatales, lleva el tratamiento automatizado de datos personales hasta extremos sorprendentes, inima-ginables pocos años atrás.

A pesar de que la IA y la innovación tecnológica que ella supone pueden tener efectos muy positivos para las personas, también generan riesgos de vul-neración de sus derechos humanos, como el derecho a no ser discriminadas, o el derecho a la protección de los datos personales. Este último derecho entra en tensión con la IA, lo que puede percibirse en relación con el consentimiento del titular para el tratamiento de sus datos personales utilizando IA.

Se afirma que el desarrollo alcanzado por Internet y, particularmente, por la IA, desafía el alcance y la validez de dicho consentimiento9. Así, es factible

6 Es claro que “el valor económico otorgado a la información de las personas no radica en el dato por sí mismo, sino en el tratamiento, asociación con otros datos y utilidad que se le dé”. Mendoza Enríquez, Olivia Andrea, “Marco jurídico de la protección de datos personales en las empresas de servicios establecidas en México: desafíos y cum-plimiento”, Revista IUS (México), Instituto de Ciencias Jurídicas de Puebla, nueva época, Vol. 12, No. 41, enero-junio 2018, p. 269.7 Por ejemplo, la hoy inexistente empresa Cambridge Analytica, protagonista de un escándalo con impacto en varios países, declaraba en su propio sitio de Internet que usaba datos para “cambiar el comportamiento de la audiencia”, ya que conociendo mejor al electorado se logra “una mayor influencia”. Risso, Linda, “Harvesting your Soul? Cam-bridge Analytica and Brexit”, en Jansohn, Christa, Brexit Means Brexit? The Selected Proceedings of the Symposium, Akademie der Wissenchaften und der Literatur, Mainz, 6-8 December 2017, Mainz, Akademie der Wissenchaften und der Literatur, 2018, p. 75. Ver Isaak, Jim y Hanna, Mina J., “User Data Privacy: Facebook, Cambridge Analytica, and Privacy Protection”, Computer, IEEE Xplore Digital Library, Vol. 51, No. 8, agosto 2018, pp. 56-59. [Consultado 20 febrero 2020], Disponible en: https://ieeexplore.ieee.org/abstract/document/8436400 8 Myers West, Sarah, “Data Capitalism: Redefining the Logics of Surveillance and Privacy”, Business & Society, Vol. 58, No. 1, 2019, pp. 20-41.9 Ver, por ejemplo, Cotino Hueso, Lorenzo, “Big data e inteligencia artificial. Una aproximación a su tratamiento ju-rídico desde los derechos fundamentales”, Dilemata. Revista Internacional de Éticas Aplicadas, Año 9, No. 24, mayo 2017, p. 145. [Disponible para su descarga a partir de: https://www.dilemata.net/revista/index.php/dilemata/article/view/412000104] [Consultado 20 febrero 2020]





212

preguntarse si, en realidad, el titular puede comprender lo que acepta y/o si su elección es verdaderamente libre. Sin embargo, tanto en el derecho de los Estados latinoamericanos como en el Reglamento europeo de protección de datos personales (en adelante, GDPR)10 –que detonó una ola de reformas legis-lativas de este lado del Atlántico–, el consentimiento del titular conserva en la actualidad un papel significativo para habilitar el tratamiento lícito de datos personales por el responsable.

El objetivo del presente artículo es analizar la situación desventajosa del titular de datos personales cuando sus datos son tratados por grandes empresas privadas recurriendo a la IA y explorar algunas de las medidas previstas en dos nuevos instrumentos de soft law aprobados por la Red Iberoamericana de Protección de Datos Personales (en adelante, la Red)11 que pueden contribuir a fortalecer la protección al titular promoviendo el respeto de los derechos hu-manos y de principios éticos en el tratamiento de datos personales. El propósito de este texto consiste, por lo tanto, en realizar un análisis de la problemática y una indagación de cómo es posible encararla con las herramientas jurídicas actualmente disponibles en Iberoamérica.

En consecuencia, se aborda la posición del titular de datos personales con respecto al tratamiento de estos efectuado por poderosos agentes privados, es-tudiando instrumentos jurídicos recientes a la luz de la doctrina y cuando se lo estima apropiado, también de sentencias. Asimismo, en atención a la ausencia de un tratado internacional de alcance universal que sea jurídicamente vin-culante para la mayoría de los Estados que componen la comunidad interna-cional, se adopta una perspectiva iberoamericana, sin perjuicio de referencias adicionales a algunas fuentes de otras latitudes. Nótese que la elección de un enfoque regional no implica desconocer el carácter global de la manera en que opera la IA. En cuanto a la doctrina consultada, no se limita a Iberoamérica, sino que también incluye literatura de Estados Unidos y demás países europeos

–más allá de España–.

10 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos), Diario Oficial de la Unión Europea: 4 de mayo de 2016, L 119. 11 Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial y Orientaciones Específicas para el Cumplimiento de los Principios y Derechos que Rigen la Protección de los Datos Personales en los Proyectos de Inteligencia Artificial. Ambos instrumentos fueron aprobados el 21 de junio de 2019 en Naucalpan de Juárez, Mé-xico. [Consultadas 20 febrero 2020], Disponibles (respectivamente) en: https://www.argentina.gob.ar/sites/default/files/recomendaciones-generales-para-el-tratamiento-de-datos-en-la-ia.pdf y https://www.argentina.gob.ar/sites/default/files/orientaciones_especificas_de_proteccion_de_datos_en_inteligencia_artificial.pdf





213

Antes de comenzar, es necesario formular dos advertencias. En primer lu-gar, las páginas que siguen dan por sentado que el lector ya está familiarizado con nociones jurídicas básicas en materia de protección de datos personales. En segundo lugar, el tratamiento de datos personales llevado a cabo por las autoridades estatales u otros sujetos de naturaleza pública empleando IA es excluido de este trabajo, pues, a pesar de tener muchos puntos de convergencia con el que efectúan los particulares, también plantea otros retos específicos. Por esta razón, cuestiones atinentes al interés público, la seguridad pública, vigilancia masiva, ciudades inteligentes y gobierno electrónico no son aborda-das aquí, sin perjuicio de que puedan ser interesantes como objeto de análisis en futuros trabajos.

A continuación, se estudia la IA y su impacto en materia de datos persona-les. Luego, se analiza el consentimiento para el tratamiento de datos personales y, posteriormente, se exponen las razones para considerar al titular como parte débil. Después, partiendo de la problemática de la vulnerabilidad del titular de datos personales ante los avances de la IA, se procede a explorar algunas medi-das susceptibles de ayudar a establecer un equilibrio. Finalmente, se presentan algunas observaciones conclusivas.

2. Inteligencia Artificial y datos personales

En el prólogo del informe de la CNIL (Commission nationale d'informatique et des libertés), de Francia, dedicado a cuestiones éticas de los algoritmos y de la IA, la presidenta afirma que la IA “es el gran mito de nuestro tiempo”.12

Ese mito se nutre de visiones apocalípticas que anuncian que el ser humano será superado por las máquinas e, incluso, que las máquinas podrían volverse contra el hombre.13 Esto demuestra que es conveniente precisar qué se entiende por IA, antes de abordar su relación con los datos personales y la regulación jurídica de dicha relación.

12 Falque-Pierrotin, Isabelle, “Préface”, en CNIL, Comment permettre à l’homme de garder la main? Les enjeux éthi-ques des algorithmes et de l’intelligence artificielle. Synthèse du débat public animé par la CNIL dans le cadre de la mission de réflexion éthique confiée par la Loi pour une République numérique, Paris, CNIL, 2017, p. 2. [Consultado 20 febrero 2020], Disponible en: https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_garder_la_main_web.pdf13 CNIL, Comment permettre…, op. cit. nota 12, p. 19.





214

2.1. ¿Qué es la IA?

Prácticamente siete décadas han pasado desde que Alan Turing se preguntara si las máquinas podían pensar14 y desde la conferencia de Dartmouth de 1956, cuando John McCarthy, Marvin Minsky, Nathaniel Rochester y Claude Shan-non usaron el novedoso término “IA”15. Según estos últimos, “el aprendizaje y toda otra característica de la inteligencia humana pueden ser descriptos con un nivel de precisión tal, que se podría hacer que una máquina los simulara”.16

Entonces, la cuestión sería “cómo hacer que las máquinas usen lenguaje, creen abstracciones y conceptos, resuelvan tipos de problemas ahora reservados a los seres humanos y se mejoren a sí mismas”.17

Para tal fin, la IA se vale de algoritmos. Un algoritmo es “la descripción de una secuencia de pasos (o instrucciones) finita e inequívoca que permite obte-ner un resultado a partir de los elementos suministrados como entrada”.18 El al-goritmo clásico, en el cual las instrucciones para que una computadora realice ciertas actividades imitando la inteligencia humana se presentan en lenguaje informático, se caracteriza por ser determinista –es decir, “sus criterios de fun-cionamiento son explícitamente definidos por quienes lo implementan”.19– En cambio, la IA basada en machine learning trabaja con algoritmos de aprendi-zaje, probabilísticos, diseñados para ir evolucionando y para ir construyendo los modelos que van a aplicar, en función de los datos que les son suministra-dos.20 De este modo, se aprecia que el machine learning “constituye (…) una ruptura con respecto al algoritmo clásico”.21

Asimismo, vale la pena mencionar la distinción entre IA débil e IA fuer-te, formulada por John Searle en 1980: en la primera, la computadora es una poderosa herramienta para el estudio de la mente, mientras que en la segunda, la computadora programada de manera adecuada es una mente, pues puede comprender y tener otros estados cognitivos.22 La IA débil o estrecha puede

14 Turing, Alan M., “Computing Machinery and Intelligence”, Mind, Vol. 59, No. 236, octubre 1950, pp. 433-460. [Consultado 20 febrero 2020], Disponible en: http://www.jstor.org/stable/2251299 15 McCarthy, John, Minsky, Marvin L., Rochester, Nathaniel y Shannon, Claude E., ‘A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence’, 31 agosto 1955. [Consultado 20 febrero 2020], Disponible en: http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html 16 Ídem.17 Ídem.18 CNIL, Comment permettre…, op. cit. nota 12, p. 15.19 Ibidem, p. 18.20 Ibidem, pp. 16 y 18.21 Ibidem, p. 18.22 Searle, John R., “Minds, Brains and Programs”, The Behavioral and Brain Sciences, Vol. 3, No. 3, 1980, p. 417.





215

realizar una o varias tareas específicas; en cambio, la IA fuerte o general es capaz de efectuar la mayor parte de las actividades que los seres humanos pue-den llevar a cabo. La IA estrecha, cuyo desarrollo no ha sido lineal, conoce una época de esplendor en el siglo XXI, dada la enorme disponibilidad de datos y la potencia de las herramientas tecnológicas para su tratamiento.23 A pesar de que aún no ha sido factible desarrollar la IA general, hay autores que vislumbran la superinteligencia artificial –capaz de superar la inteligencia humana– y la consideran alcanzable.24

Una de las definiciones más recientes de IA es la elaborada en 2019 por el Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial creado por la Comisión Europea,25 para efectos de los entregables del grupo. Se la concibe, por un lado, como sistema y, por otro lado, como disciplina científica, en los términos siguientes:

Los sistemas de inteligencia artificial (IA) son sistemas de software (y posiblemente también de hardware) diseñados por seres humanos que, dado un objetivo complejo, actúan en la dimensión física o digital per-cibiendo su entorno a través de la adquisición de datos, interpretando los datos estructurados o no estructurados recopilados, razonando so-bre el conocimiento o procesando la información derivada de esos da-tos y decidiendo la mejor acción (o las mejores acciones) a seguir para lograr el objetivo determinado. Los sistemas de IA pueden usar reglas simbólicas o aprender un modelo numérico y también pueden adaptar su comportamiento analizando cómo se ve afectado el entorno por sus acciones previas.

Como disciplina científica, la IA incluye varios enfoques y técnicas, como el machine learning (de los cuales el deep learning y el reinfor-cement learning son ejemplos específicos), el machine reasoning (que incluye planificación, programación, representación del conocimien-to y razonamiento, búsqueda y optimización) y robótica (que incluye

[Consultado 20 febrero 2020], Disponible en: https://www.law.upenn.edu/live/files/3413-searle-j-minds-brains-and-programs-1980pdf 23 CNIL, Comment permettre…, op. cit. nota 12, p. 16.24 Ver, por ejemplo: Sotala, Kaj, “How Feasible is the Rapid Development of Artificial Superintelligence?”, Physica Scripta, Vol. 92, No. 11, noviembre 2017, No. de identificación del artículo: 113001.25 Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, A Definition of AI: Main Capabilities and Disciplines. Definition developed for the purpose of the AI GLEG’s deliverables, 8 abril 2019, 9 pp. [Consultado 20 febrero 2020], Disponible en: https://ec.europa.eu/digital-single-market/en/artificial-intelligence





216

control, percepción, sensores y actuadores, así como la integración de todas las demás técnicas en sistemas ciber-físicos).26

Todo lo anterior pone en evidencia la importancia de los datos como insumo para la IA, ya que las decisiones que un sistema de IA tome dependerán del

“combustible” utilizado para echar a andar la máquina. Asimismo, el desarrollo tecnológico logrado en la última década permite recolectar y tratar datos ma-sivamente –lo que se conoce como big data–. La relación entre IA y big data es bidireccional, en el sentido de que la IA necesita enormes cantidades de datos y de que el big data utiliza técnicas de IA para extraer valor de los datos.27 Es más, mientras que “los métodos analíticos tradicionales requieren ser progra-mados para encontrar conexiones y vínculos, la IA aprende de todos los datos que ve (…) y ajusta sus análisis sin intervención humana”.28 Por consiguiente, contribuye a la eliminación de obstáculos técnicos a los cuales se enfrentan los métodos tradicionales al analizar big data.29

El big data “no solamente designa cantidades inmensas de datos diversos sino, igualmente, las técnicas30 que permiten tratarlos, hacerlos hablar, identi-ficar en ellos correlaciones inesperadas o incluso conferirles capacidad predic-tiva”.31 Además de las consabidas “3 V” –volumen, variedad, velocidad–, el big data se caracteriza por lo que Kenneth Cukier y Viktor Mayer-Schoenberger han denominado datafication: “la capacidad de transformar en datos muchos aspectos del mundo que nunca antes habían sido cuantificados”.32 De manera que el uso del big data implica un cambio profundo en cómo se trata la infor-mación. En lugar de enseñarle a una computadora a hacer algo, se la alimenta masivamente con datos, para que pueda inferir probabilidades.33 En efecto, se automatiza “tanto el objeto como el procedimiento del conocimiento”.34

26 Ibidem, p. 6. Traducido del inglés por la autora. Nota bene: algunos términos permanecen en inglés porque así se los emplea también en la literatura en otros idiomas.27 ICDPPC, Artificial Intelligence, Robotics, Privacy and Data Protection. Room document for the 38th International Conference of Data Protection and Privacy Commissioners, Marrakech, octubre 2016, p. 4. [Consultado 20 febrero 2020], Disponible en: https://edps.europa.eu/sites/edp/files/publication/16-10-19_marrakesh_ai_paper_en.pdf28 The Norwegian Data Protection Authority, Artificial Intelligence and Privacy Report, enero 2018, p. 5. [Consultado 20 febrero 2020], Disponible en: https://www.datatilsynet.no/globalassets/global/english/ai-and-privacy.pdf29 Ídem.30 Por ejemplo, la minería de datos o data mining, que permite buscar correlaciones entre los datos. Gil, Elena, Big data, privacidad y protección de datos, Madrid, Agencia Española de Protección de Datos, 2016, p. 99.31 CNIL, Comment permettre…, op. cit. nota 12, p. 18.32 Currier, Kenneth y Mayer-Schoenberger, Viktor, “The Rise of Big Data. How It’s Changing the Way We Think About the World”, Foreign Affairs, Vol. 92, No. 3, mayo-junio 2013, p. 29.33 Ídem.34 Cotino Hueso, L., op. cit. nota 9, p. 132.





217

2.2. ¿Cómo se relaciona la IA con los datos personales?

De acuerdo con lo referido en el apartado anterior, se percibe que “la IA se basa, inevitablemente, en el tratamiento de datos”.35 Al igual que lo que sucede con respecto al big data, los datos que constituyen la materia prima de la IA no siempre son datos personales. Sin embargo, dado que en muchas ocasiones lo son, el vínculo entre la IA y los datos personales es muy estrecho.

Efectivamente, los datos personales son un componente importante del aludido “combustible” que la IA precisa para funcionar. Por eso hay que tener en cuenta que cuando existe recolección de datos personales –más aún si ésta se realiza de forma masiva–, el derecho a la protección de esos datos siempre está en juego.36 Las empresas que operan como data brokers y utilizan herra-mientas de IA, generalmente emplean como insumos datos personales de los individuos que contratan con ellas, a fin de tomar decisiones automatizadas que inciden en la realidad cotidiana de las personas. Así, por ejemplo, es fac-tible determinar, sin intervención humana en el proceso de decisión, que una persona no es candidata elegible para obtener un crédito, una póliza de seguro o un puesto de trabajo; pero también, qué avisos publicitarios recibirá y qué contenidos verá en línea.37

A ello se añaden las inferencias y predicciones de preferencias y conductas que los sistemas de IA pueden realizar, junto a la posibilidad de servirse de los datos personales para influir en el comportamiento de los titulares. Además, los algoritmos inteligentes pueden haber sido diseñados –incluso involunta-riamente– con sesgos que incidirán en el resultado final38. Las preocupaciones que estas situaciones originan se suman a las más generales sobre seguridad y confidencialidad de la información. También son acentuadas por el velo de

35 Consultative Committee of the Convention for the Protection of Individuals with Regard to Automatic Processing of Personal Data (Convention 108), Artificial Intelligence and Data Protection: Challenges and Possible Remedies, Informe sobre Inteligencia Artificial preparado por Alessandro Mantelero, T-PD(2018)09Rev, p. 5. [Consultado 20 febrero 2020], Disponible en: https://rm.coe.int/artificial-intelligence-and-data-protection-challenges-and-possi-ble-re/168091f8a6 36 Oostveen, Manon, Protecting Individuals Against the Negative Impact of Big Data. Potential Limitations of the Privacy and Data Protection Law Approach, Alphen aan den Rijn, Kluwer Law International, Information Law Series, 2018, Vol. 42, p. 53. 37 Tene, Omer y Polonetsky, Jules, “Big Data for All: Privacy and User Control in the Age of Analytics”, Northwestern Journal of Technology and Intellectual Property, Vol. 11, No. 5, 2013, p. 252.38 Acerca de los sesgos en algoritmos de machine learning, ver Katyal, Sonia K., “Private Accountability in the Age of Artificial Intelligence”, UCLA Law Review, Vol. 66, No. 1, 2019, pp. 54-141, especialmente, pp. 62 y ss. [Consultado 20 febrero 2020], Disponible en: https://www.uclalawreview.org/wp-content/uploads/securepdfs/2018/12/66.1.2-Kat-yal.pdf





218

misterio y secreto que suele recubrir los algoritmos, así como por su carácter sofisticado e inaprehensible para el individuo común.

Ciertamente, la IA tiene un impacto positivo en diferentes ámbitos de la vida de las personas.39 No obstante, también implica riesgos de vulneración de derechos humanos, además de riesgos de tipo ético y social40 y hasta de debi-litamiento de la democracia.41 Entre los derechos humanos que pueden verse afectados, se encuentran la libertad de expresión,42 el derecho de toda persona a no ser discriminada43 y también el derecho a la protección de los datos perso-nales, de interés para efectos del presente artículo.

La IA implica un serio desafío para el derecho del individuo a la protec-ción de sus datos personales, al punto de ponerlo en riesgo de volverse letra muerta, carente de proyección en la práctica. Cuanto mayor sea la cantidad de datos personales recolectados por sistemas de IA, mayor será la probabilidad de afectación para el titular y más difícil será que la anonimización contribuya a protegerlo, considerando que puede ser sorteada por la reidentificación faci-litada por el big data.44

En esta misma línea, es necesario señalar que la IA entra en tensión con varios de los principios que todavía son comúnmente aceptados en materia de protección de datos personales. Si se toman como referencia los Estándares de Protección de Datos Personales para los Estados Iberoamericanos (en adelante, los Estándares) elaborados por la Red,45 cuando la IA utiliza datos personales como materia prima, pueden afectarse especialmente los principios de legiti-mación (artículo 11), lealtad (artículo 15), transparencia (artículo 16), finalidad

39 Es de esperarse que los efectos positivos de la IA vayan en aumento, a medida que la tecnología va avanzando. Ver Castro, Daniel y New, Joshua, The Promise of Artificial Intelligence, Washington D.C., Center for Data Innova-tion, octubre 2016, p. 46 [Consultado 20 febrero 2020], Disponible en: https://euagenda.eu/upload/publications/untitled-53560-ea.pdf40 Alessandro Mantelero propone un modelo para evaluarlos, con un enfoque de derechos humanos. “AI and Big Data: A Blueprint for a Human Rights, Social and Ethical Impact Assessment”, Computer Law & Security Review, Vol. 34, No. 4, agosto 2018, pp. 754-772.41 La democracia se debilita cuando los ciudadanos son políticamente manipulados a través de la IA. Ver Maqueo, María Solange y Barzizza Vignau, Alessandra, Democracia, privacidad y protección de datos personales, Ciudad de México, Instituto Nacional Electoral, 2019, Cuadernos de divulgación de la cultura democrática, No. 41, 126 p.42 Ver Oostoveen, M., op. cit. nota 36, pp. 58-60.43 Ibidem, pp. 54-57.44 Rubinstein, Ira S., “Big Data: The End of Privacy or a New Beginning?” International Data Privacy Law, Vol. 3, No. 2, 2013, p. 77.45 Los Estándares fueron aprobados el 20 de junio de 2017 en Santiago de Chile. [Consultados 20 febrero 2020], Disponibles en: http://www.redipd.es/documentacion/common/Estandares_Esp_Con_logo_RIPD.pdf





219

(artículo 17) y proporcionalidad (artículo 18), todos ellos relacionados con el consentimiento (artículo 12)46.

A modo de conclusión, la relación entre los datos personales y la IA puede sintetizarse así: los primeros contribuyen en calidad de insumos al funciona-miento de la segunda y ésta, a su vez, estremece los cimientos sobre los cuales se erige en la actualidad la protección jurídica de los primeros.

2.3 ¿Cómo está regulada la relación entre IA y datos personales?

La preocupación por minimizar la afectación del tratamiento automatizado de datos personales en el derecho de las personas a la protección de la informa-ción de este tipo que les concierne ya había sido planteada y discutida en di-versos ámbitos cuando, en junio de 2017, fueron aprobados los Estándares. Eso permitió que fuese tenida en cuenta al redactar dicho instrumento iberoameri-cano. En efecto, el artículo 29 de los Estándares aborda el tema de manera muy similar a como lo hace el artículo 22 del GDPR.

La norma iberoamericana establece el derecho del titular a no ser objeto de decisiones basadas únicamente en el tratamiento automatizado de datos, sin intervención humana, en tanto se cumplan dos condiciones: i. el tratamiento esté destinado a evaluar ciertos aspectos personales o a analizar o predecir el rendimiento profesional, la situación económica, el estado de salud, las prefe-rencias sexuales, la fiabilidad o el comportamiento del titular y ii. Esas deci-siones produzcan efectos jurídicos con respecto a él o lo afecten significativa-mente. El artículo 29 de los Estándares contiene una prohibición general del tratamiento automatizado de datos personales sin participación humana47 que incluye –aunque no se la mencione expresamente– la elaboración de perfiles, siempre que estén presentes las dos condiciones referidas.

46 Nótese que, en el sistema jurídico mexicano, la Ley Federal de Protección de Datos Personales en Posesión de los Particulares (Diario Oficial de la Federación: 5 de julio de 2010) le confiere al consentimiento la calidad de principio (artículo 6). De manera general, acerca de esta ley, ver Tenorio Cueto, Guillermo A. (coord. ed.), Ley Federal de Protec-ción de Datos Personales en Posesión de los Particulares, comentada, Ciudad de México, Instituto Nacional de Trans-parencia, Acceso a la Información y Protección de Datos Personales (INAI), octubre de 2019. [Consultado 20 febrero 2020], Disponible en: http://inicio.inai.org.mx/PublicacionesComiteEditorial/LFPDPPP%20Comentada_digital.pdf 47 La ausencia de intervención humana debe interpretarse como ligada a la toma de decisiones. Por lo tanto, si interviene una persona escaneando datos personales para alimentar el sistema de IA o ejecutando la decisión tomada por éste, pero sin posibilidad de influir en el sentido de la decisión, se debe considerar que ese tratamiento automatizado de datos personales entra en el ámbito de aplicación de la prohibición. Ver comentario de Paul Voigt y Axel von dem Bussche al artículo 22 del GDPR sobre este mismo punto. The EU General Data Protection Regulation (GDPR). A Practical Guide, Cham, Springer International Publishing, 2017, p. 181.





220

Ahora bien, el mismo artículo prevé tres excepciones a la prohibición: que el tratamiento automatizado 1) sea necesario para la celebración o la ejecución de un contrato entre titular y responsable, 2) esté autorizado por el derecho interno de los Estados iberoamericanos o, 3) se base en el consentimiento del titular (artículo 29.2), el cual deberá ser demostrable, hacer referencia específi-ca al tratamiento automatizado y cumplir con los requisitos establecidos en los Estándares.48 Cuando se presente la primera o la tercera de las excepciones a la prohibición general, que son las dos que derivan del ejercicio de la autonomía de la voluntad del titular, éste “tendrá derecho a obtener la intervención huma-na; recibir una explicación sobre la decisión tomada; expresar su punto de vis-ta e impugnar la decisión” (artículo 29.3). Se observa que esta disposición sobre el derecho a la obtención de intervención humana tiene un alcance limitado, puesto que para ejercer los derechos que confiere, el titular debe ser consciente de que es objeto de decisiones automatizadas. No obstante, en la práctica, mu-chas de las afectaciones se producen sin que el titular siquiera se entere.49

Finalmente, los Estándares se separan un poco del GDPR como fuente de inspiración demostrando singular interés por garantizar el respeto de los derechos humanos, al prohibir que el responsable lleve a cabo tratamientos automatizados de datos personales cuyo efecto sea la discriminación de los titulares (artículo 29.4). Los motivos de discriminación previstos son: el origen racial o étnico, las creencias o convicciones religiosas, filosóficas o morales, la afiliación sindical, las opiniones políticas, los datos relativos a la salud, vida, preferencia u orientación sexual y los datos genéticos o datos biométricos.

3. Consentimiento para el tratamiento de datos personales

El consentimiento del titular de datos personales para que estos sean objeto de tratamiento por parte de un sujeto responsable es uno de los pilares sobre los cuales se ha construido el derecho de protección de datos personales.50 Dirigido a garantizar el derecho del titular a la autodeterminación informativa,51 a con-

48 Ver infra, sección 3.2.49 En este sentido, pero en alusión al artículo 22 del GDPR: Rubinstein, I. S., op. cit. nota 44, p. 79.50 De Barrón Arniches, Paloma, “La pérdida de privacidad en la contratación electrónica (entre el Reglamento de protección de datos y la nueva Directiva de suministro de contenidos digitales)”, Cuadernos Europeos de Deus-to, No. 61, Bilbao, 2019, p. 55. [Consultado 20 febrero 2020], Disponible en: http://ced.revistas.deusto.es/article/view/1644/1996 51 La Corte Constitucional Federal alemana se pronunció en 1983 acerca de la autodeterminación informativa y consideró que el libre desarrollo de la personalidad requiere que el individuo goce de protección contra la recolec-ción, el almacenamiento, el uso y la transmisión ilimitados de datos personales. Sentencia del 15 de diciembre de





221

trolar el uso que se hace de sus datos personales, el consentimiento ha venido gozando de un sitio privilegiado entre las razones que habilitan el tratamien-to lícito. No obstante, desarrollos tecnológicos como el big data y la IA, que frecuentemente son utilizados en conjunto por grandes empresas particulares dedicadas al tratamiento de información, ponen en tela de juicio el alcance y la validez del consentimiento. Aunque se considera que el consentimiento del titular de datos personales continúa siendo una alternativa jurídicamente relevante para dar paso al tratamiento lícito de datos personales, es innega-ble que constituye un área en la cual se manifiesta la tensión entre la inno-vación tecnológica que la IA supone y la protección de datos personales. Por eso, a dos décadas de iniciado el siglo XXI, es pertinente reflexionar sobre el consentimiento.

El consentimiento del titular de los datos personales es una de las bases jurídicas en virtud de las cuales el responsable puede encontrarse legitimado para tratar dichos datos. Así lo reconocen los Estándares en el considerando 17 y también la legislación de los Estados iberoamericanos en materia de pro-tección de datos personales. En consecuencia, cuando un particular esté en posesión de datos personales y cuente con el consentimiento del titular para tratarlos, el tratamiento será lícito, siempre que al manifestarse la voluntad se hayan cumplido ciertos requisitos –que serán presentados más adelante en este mismo apartado–.

3.1. El consentimiento y su relación con otros principios de la protección de datos personales

A pesar de que los Estándares no le atribuyen expresamente al consentimien-to el carácter de principio de protección de datos personales,52 de su articula-do surge con claridad la importancia primordial que le confieren. Aunque el consentimiento es regulado más detalladamente a propósito del principio de legitimación, se relaciona con todos los principios acogidos en el instrumento.

No obstante, el consentimiento tiene una vinculación muy estrecha con algunos de ellos, por las siguientes razones:

� principio de legitimación (artículo 11): porque el responsable sólo puede tratar los datos personales cuando se presenta alguno de los supuestos

1983 sobre la Ley de Censos de 1983, 1 BvR 209/83. [Consultado 14 octubre 2020], Disponible en: https://www.bundesverfassungsgericht.de/e/rs19831215_1bvr020983.html52 A diferencia de la legislación mexicana, que sí lo hace. Ver nota 46.





222

previstos en el artículo 11 y el primero de ellos consiste en que el titular “otorgue su consentimiento para una o varias finalidades específicas”53;

� principio de lealtad (artículo 15): pues, obviamente, el titular no consiente que sus datos personales sean tratados a través de medios engañosos o fraudulentos, ni ser objeto de discriminación injusta o arbitraria;

� principio de transparencia (artículo 16): dado que, para que el titular pueda prestar su consentimiento informado, previamente el responsa-ble debe haberle proporcionado información sobre la existencia y las características principales del tratamiento al que serán sometidos sus datos personales;

� principio de finalidad (artículo 17): porque el responsable sólo puede tratar los datos personales para las finalidades determinadas, explícitas y legítimas consentidas por el titular, salvo que concurra alguna causal que habilite un nuevo tratamiento –aunque en este supuesto, la legiti-mación del responsable ya no se fundaría en el consentimiento– y

� principio de proporcionalidad (artículo 18): pues el titular consiente el tratamiento de sus datos personales únicamente para ciertas finalida-des y el responsable sólo debe tratar los datos que resulten adecuados, pertinentes y limitados al mínimo necesario para dichas finalidades.

3.2. Noción y requisitos de validez del consentimiento

¿Qué se entiende por “consentimiento” en el marco de los Estándares? ¿Cuáles son los requisitos que debe cumplir para ser válido y de ese modo legitimar el tratamiento de datos personales por parte del responsable? El artículo 2.b de los Estándares define el consentimiento como la “manifestación de la voluntad, libre, específica, inequívoca e informada, del titular a través de la cual acepta y autoriza el tratamiento de los datos personales que le conciernen”.

Asimismo, el artículo 12 de este instrumento de soft law agrega condicio-nes para el consentimiento, en los siguientes términos:

12.1. Cuando sea necesario obtener el consentimiento del titular, el res-ponsable demostrará de manera indubitable que el titular otorgó su

53 Los demás supuestos son situaciones en las que, a pesar de no haber consentimiento del titular para el tratamien-to de sus datos, es necesario tratarlos –por ejemplo: para el cumplimiento de una orden judicial, para la ejecución de un contrato del que el titular sea parte, para que el responsable cumpla una obligación legal, por razones de interés público establecidas en la ley–.





223

consentimiento, ya sea a través de una declaración o una acción afir-mativa clara.

12.2. Siempre que sea requerido el consentimiento para el tratamiento de los datos personales, el titular podrá revocarlo en cualquier momen-to, para lo cual el responsable establecerá mecanismos sencillos, ági-les, eficaces y gratuitos.

Finalmente, cuando el consentimiento se refiera al tratamiento de datos perso-nales sensibles,54 deberá ser expreso y constar por escrito (artículo 9.1.c de los Estándares).

Por lo tanto, el consentimiento es la manifestación de voluntad del titular de los datos personales en virtud de la cual acepta y autoriza que sus datos sean tratados por el responsable. En la práctica, se configura como la aceptación del aviso de privacidad. Dicho aviso es el documento donde el responsable le informa al titular que sus datos serán objeto de tratamiento y con qué finalidad o finalidades lo serán.

Los requisitos que el consentimiento del titular debe cumplir para ser váli-do según los Estándares son los siguientes. El consentimiento debe ser:

� libre: la voluntad del titular no debe verse afectada por ningún tipo de vicio. La decisión de consentir debe tomarse con plena libertad, sin haber sufrido manipulación alguna;

� informado: la información que el responsable debe poner a disposición del titular tiene que permitir que éste ejerza su derecho a la autode-terminación informativa, conociendo que sus datos personales serán objeto de tratamiento, quién los tratará, con qué finalidad o finalidades determinadas, explícitas y legítimas, si serán comunicados interna o internacionalmente a terceros –en su caso, a quiénes y con qué fina-lidad–, si existen y cómo funcionan los mecanismos para el ejercicio de los derechos de acceso, rectificación, cancelación, oposición y por-tabilidad, y de qué manera el responsable obtuvo sus datos personales cuando no haya sido el titular quien se los proporcionó directamente.

54 El artículo 2.1.d de los Estándares define los datos personales sensibles como “aquellos que se refieran a la esfera íntima de su titular, o cuya utilización indebida puedan dar origen a discriminación o conlleve un riesgo grave para éste. De manera enunciativa, se consideran sensibles los datos personales que puedan revelar aspectos como origen racial o étnico; creencias o convicciones religiosas, filosóficas y morales; afiliación sindical; opiniones políticas; datos relativos a la salud, a la vida, preferencia u orientación sexual, datos genéticos o datos biométricos dirigidos a identificar de manera unívoca a una persona física”.





224

Todos estos extremos corresponden al principio de transparencia pre-visto en el artículo 16 de los Estándares. Además, dicha regla exige que la información que el responsable brinde al titular sea suficiente, fácilmente accesible y esté redactada con lenguaje claro, sencillo, sus-ceptible de ser comprendido sin esfuerzo;

� específico: referido a una o varias finalidades concretas, por lo que se relaciona de manera directa con el requisito anterior.55 En este punto se presenta el desafío de hallar un equilibrio entre el grado de detalle con el que se debe informar la finalidad del tratamiento y la necesidad de no caer en tecnicismos que dificulten o impidan la comprensión de la información;

� inequívoco: no debe haber lugar a dudas en cuanto a que el titular de los datos personales presta su consentimiento. El consentimiento debe ser indubitable. En otros términos, no ha de caber la posibilidad de interpretar que no hubo consentimiento;

� expreso: el consentimiento debe ser otorgado a través de una declara-ción o una acción afirmativa clara del titular de los datos personales. Se requiere un consentimiento activo, condición que no se verifica si se lo manifiesta “mediante una casilla marcada por defecto de la que el usuario debe retirar la marca en caso de que no desee prestar su consentimiento”.56 Asimismo, cuando el titular autorice el tratamiento de datos personales de naturaleza sensible, además de ser expreso,57

su consentimiento debe constar por escrito (artículo 9.1.c). Finalmente, con respecto al consentimiento pasivo o tácito, llama la atención que, a pesar de no haber sido acogido por los Estándares, se lo mencione como una opción admisible en las Orientaciones Específicas para el Cumplimiento de los Principios y Derechos que Rigen la Protección

55 Efectivamente, el consentimiento se especifica sobre la base de la información que el responsable le proporciona al titular. Acerca de la especificidad del consentimiento, ver Kosta, Eleni, Consent in European Data Protection Law, Leiden, Martinus Nijhoff Publishers, 2013, Nijhoff Studies in EU Law, Vol. 3, pp. 219 y ss.56 Así lo resolvió recientemente el Tribunal de Justicia de la Unión Europea (Gran Sala) en un caso relativo a la coloca-ción y la utilización de cookies para el tratamiento de datos de usuarios de un sitio de Internet: Bundesverband der Verbraucherzentralen und Verbraucherverbände – Verbraucherzentrale Bundesverband eV contra Planet49 GmbH, Asunto C-673/17, sentencia del 1° de octubre de 2019, párrafo 65. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.europa.eu/jcms/jcms/j_6/es/ 57 A fin de comprender mejor los alcances de este requisito se puede consultar a la Ley Federal de Protección de Datos Personales en Posesión de los Particulares de México, cuyo artículo 8 dispone: “El consentimiento será expreso cuando la voluntad se manifieste verbalmente, por escrito, por medios electrónicos, ópticos o por cualquier otra tecnología, o por signos inequívocos”.





225

de los Datos Personales en los Proyectos de Inteligencia Artificial (en adelante, las Orientaciones), adoptadas por la misma Red58 y

� revocable: el titular que presta su consentimiento para el tratamiento de sus datos personales tiene derecho a revocarlo en cualquier momen-to. Este requisito o característica del consentimiento va de la mano con el derecho a la autodeterminación informativa.59 La revocación debe ser alcanzable para el titular, quien, si desea retirar el consentimiento previamente otorgado, debe poder hacerlo mediante mecanismos sen-cillos, ágiles, eficaces, que no le impliquen erogación alguna.

En este tercer apartado se tomó como instrumento jurídico de referencia el conjunto de Estándares aprobados por la Red, cuya fuente de inspiración fue el GDPR. Ambos instrumentos regulan el consentimiento del titular, que debe obtenerse “con anterioridad a la recogida y a la comunicación”60 de sus datos personales; es decir, antes del tratamiento.

A continuación, se analiza cómo la realidad contemporánea y sus vertigi-nosos cambios en tiempos de auge de la IA ponen a prueba el consentimiento.

4. El consentimiento ante el auge de la IA: el titular como parte débil

Cuando los agentes privados que operan como data brokers a nivel global com-binan la potencia del big data y de la IA y utilizan datos personales de los individuos se genera una tensión con varios de los principios comúnmente aceptados en materia de protección de datos personales -los más vinculados con el consentimiento-.61 Así, la innovación tecnológica desafía el alcance y la validez del consentimiento del titular e instala un escenario propicio para cues-tionar su importancia. Además, en este contexto, como se verá a continuación,

58 Orientaciones, p. 12. También la Ley Federal de Protección de Datos Personales en Posesión de los Particulares, de México, admite el consentimiento tácito. Lo hace en el artículo 8, redactado en los siguientes términos: “Se enten-derá que el titular consiente tácitamente el tratamiento de sus datos, cuando habiéndose puesto a su disposición el aviso de privacidad, no manifieste su oposición”.59 Como lo recuerda Kosta, el derecho a la autodeterminación informativa también implica que el derecho del titular a revocar su consentimiento es irrenunciable. Kosta, E., op. cit. nota 55, p. 251.60 Tribunal de Justicia de la Unión Europea (Segunda Sala), Fashion ID GmbH & Co. KG contra Verbraucherzentrale NRW eV, Asunto C-40/17, sentencia del 29 de julio de 2019, párrafo 102. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.europa.eu/jcms/jcms/j_6/es/ 61 Ver supra, sección 3.1.





226

el individuo titular se encuentra en una posición de desventaja informativa y también económica.

La literatura ha venido reflejando la situación crítica del consentimiento. Roger Brownsword advierte que la sobrevaloración de dicho concepto puede hacer que la cultura del consentimiento se convierta en un culto al consen-timiento si una comunidad se obsesiona con él y lo toma como la clave para una justificación ética y legal del tratamiento, en lugar de concebirlo como un componente de una teoría más amplia, enraizada en los derechos humanos.62

Bert-Jaap Koops y Ronald Leenes aluden a la “lenta erosión de la privacidad”.63

Ira Rubinstein sentencia que “el modelo del consentimiento informado está quebrado, más allá de cualquier reparación regulatoria”.64 Alessandro Mante-lero observa que, en algunas situaciones, el modelo tradicional basado en el consentimiento informado, el principio de finalidad y la idea de que el titular puede controlar efectivamente el tratamiento de sus datos personales, resulta inadecuado en la era del análisis predictivo.65 Yves Poullet, por su parte, hace un llamado a dejar atrás el consentimiento tal como hoy se lo concibe y sugiere explorar la idea de negociaciones colectivas entre titulares y responsables.66

Las razones que justifican que ante la IA se pueda hablar de una crisis del consentimiento en tanto eje central de la legitimación del tratamiento de datos personales atañen principalmente a la desigualdad entre quienes utilizan siste-mas de IA para llevar a cabo el tratamiento automatizado de datos personales y los titulares a quienes tales datos conciernen. Esa desigualdad tiene una faceta informativa y otra económica. Ambas pueden tener efectos negativos para el titular de los datos personales.

4.1. Desigualdad informativa

Existe un desequilibrio informativo que deja al titular de los datos persona-les en una posición de debilidad frente al responsable. En efecto, cuando la

62 Brownsword, Roger, “The Cult of Consent: Fixation and Fallacy”, King’s Law Journal, Vol. 15, No. 2, 2004, p. 224. 63 Koops, Bert-Jaap y Leenes, Ronald, “‘Code’ and the Slow Erosion of Privacy”, Michigan Telecommunications and Technology Law Review, Vol. 12, No. 1, 2005, pp. 115-188. [Consultado 20 febrero 2020], Disponible en: https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1114&context=mttlr 64 Rubinstein, I. S., op. cit. nota 44, p. 79.65 Mantelero, Alessandro, “The future of consumer data protection in the EU. Re-thinking the ‘notice and consent’ paradigm in the new era of predictive analytics”, Computer Law & Security Review, Vol. 30, No. 6, diciembre 2014, pp. 645, 649 y ss. 66 Poullet, Yves, “Is the general data protection regulation the solution?”, Computer Law & Security Review, Vol. 34, No. 4, agosto 2018, p. 776.





227

innovación tecnológica plasmada en sistemas de IA, con el aporte del big data y el machine learning se nutre de datos personales y los trata para elaborar perfiles, inferir nuevos datos, predecir preferencias y conductas, la obtención de un genuino consentimiento informado del titular se complica. En conse-cuencia, por más que desde una perspectiva formal se considere que éste presta su consentimiento, desde una perspectiva sustantiva podría cuestionarse su validez y así, eventualmente, privarse al responsable de legitimación para efec-tuar un tratamiento lícito. Dicho en otros términos, podría estarse ante un con-sentimiento de baja calidad.67

La manifestación por parte del titular de los datos personales de un con-sentimiento para el tratamiento de aquellos que verdaderamente reúna todos los requisitos exigidos por los Estándares es un gran reto. Para empezar, porque resulta difícil que el titular que se detenga a leer el aviso de privacidad llegue a comprenderlo cabalmente y a entender sus implicaciones.68 La política de privacidad suele ser excesivamente larga y estar redactada en lenguaje poco claro,69 a lo que se suma la complejidad técnica de la información. En tales circunstancias, es poco probable que el titular promedio esté en condiciones de entender las implicaciones que tendrá un aviso de privacidad preparado unila-teralmente por el responsable y que su consentimiento sea informado.

Adicionalmente, la vulnerabilidad del titular de los datos personales frente al responsable del tratamiento también se percibe en la capacidad que este últi-mo tiene para incidir en la voluntad del primero. El diseño y la arquitectura de la elección, completamente controlados por el responsable,70 pueden ser usados para manipular al titular a fin de que preste su consentimiento. I. van Ooijen y Helena Vrabec explican que algunas características del contexto en el cual se solicita el consentimiento pueden alentar al titular a tomar decisiones que afectan su privacidad.71 Indican por ejemplo, que la estrategia de preseleccionar casillas por defecto es efectiva, ya que con frecuencia se las percibe

67 El consentimiento de baja calidad plantea desafíos en diversas áreas en las cuales se emplea la IA. Por ejemplo, en la de los vehículos conectados y aplicaciones relacionadas con la movilidad. Ver European Data Protection Board, Guidelines 1/2020 on Processing Personal Data in The Context of Connected Vehicles and Mobility Related Appli-cations, versión 1.0, adoptada el 28 de enero de 2020, p. 11, No. 49. [Consultada 20 febrero 2020], Disponible en: https://edpb.europa.eu/sites/edpb/files/consultation/edpb_guidelines_202001_connectedvehicles.pdf 68 Ver Carolan, Eoin, “The continuing problems with online consent under the EU’s emerging data protection princi-ples”, Computer Law & Security Review, Vol. 32, No. 3, 2016, p. 469.69 De Barrón Arniches, P., op. cit. nota 50, p. 50.70 Carolan, E. op. cit. nota 68, p. 472.71 Van Ooijen, I. y Vrabec, Helena U., “Does the GDPR Enhance Consumers’ Control over Personal Data? An Analysis from a Behavioural Perspective”, Journal of Consumer Policy, Vol. 42, 2019, p. 98.





228

inconscientemente como recomendaciones, o por aversión a la pérdida.72 Evi-dentemente, la influencia deliberada en la voluntad del titular podría acabar con el carácter libre del consentimiento.

Otros dos factores relevantes que muestran la asimetría informativa entre los sujetos involucrados y permiten cuestionar la validez del consentimiento son la opacidad de los algoritmos inteligentes73 y las amplias posibilidades que ofrece la IA. Por un lado, las empresas que dominan el mercado en el negocio del tratamiento automatizado de datos personales no están dispuestas a dar a conocer sus algoritmos, lo que compromete los principios de transparencia y lealtad. Por otro lado, como los algoritmos inteligentes van aprendiendo de su experiencia con los datos que los alimentan y se van actualizando a sí mismos, la información detallada sobre ellos, las finalidades perseguidas y los resulta-dos esperados que el responsable pudiera brindarle al titular nunca podría estar al día.74 Más aún, es factible llegar a resultados imposibles de prever.75 Esto socavaría el supuesto carácter informado y específico del consentimiento y se relaciona con la voracidad de la IA, sobre todo cuando se la combina con big data. En efecto, el tratamiento automatizado de datos masivos con algoritmos inteligentes tiende a incorporar cada vez más datos, aunque no sean pertinen-tes ni se limiten al mínimo indispensable para las finalidades consentidas.

Asimismo, es bastante común que las personas presten poca atención a los avisos de privacidad o que los acepten sin siquiera haberlos leído, como un acto reflejo, sin plena conciencia de lo que están consintiendo. Piénsese en la sobrecarga de información a la que se ve sometido un titular usuario de distin-tas aplicaciones que emplean IA. Sea que se haya leído el aviso de privacidad o no, se ha observado que la expectativa razonable de privacidad va disminu-yendo gradualmente a medida que una persona va incorporando nuevos desa-rrollos tecnológicos a sus actividades.76 Lo que se desea es utilizar un servicio u otro de manera inmediata, por lo que hay una propensión a dar el clic con el que se manifiesta el consentimiento, a fin de acceder lo antes posible al servi-cio requerido, sin preocuparse por salvaguardar los propios datos personales.77

Este tipo de conducta puede revelar una falta de cultura de la privacidad.

72 Idem, p. 99. Recuérdese, no obstante, que los Estándares requieren que el consentimiento sea activo, al igual que el GDPR y la jurisprudencia del Tribunal de Justicia de la Unión Europea. Ver supra, nota 56.73 Según Sonia Katyal, éste es uno de los obstáculos centrales para lograr mayor transparencia y rendición de cuen-tas. Op. cit. nota 38, p. 59.74 Ver Cotino Hueso, L., op. cit. nota 9, p. 145.75 Rubinstein, I. S., op. cit. nota 44, p. 78.76 Koops, B.-J. y Leenes, R., op. cit. nota 63, p. 177.77 Cotino Hueso, L., op. cit. nota 9, p. 145.





229

Finalmente, existe un aspecto de la innovación tecnológica que no debe ser desdeñado en este contexto y que tiene el potencial de poner en jaque cual-quier marco jurídico de protección de los datos personales. Como lo señala Ira Rubinstein, el big data “permite la reidentificación de los titulares usan-do datos no personales, lo que debilita la anonimización como una estrategia efectiva y por lo tanto pone en duda la distinción fundamental entre datos personales y datos no personales”.78 Cuando los datos inicialmente personales y posteriormente anonimizados son objeto de tratamiento no se requiere con-sentimiento ya que, por hipótesis, no hay ni datos personales ni un titular de los mismos. La posibilidad técnica de volver a asociar los datos a la persona introduce, entonces, una disrupción en el sistema.

4.2. Desigualdad económica

La diferencia de poder económico se percibe con claridad al pensar en la rela-ción entre individuos y data brokers con presencia global que tratan masiva-mente los datos de aquéllos para distintas finalidades y obtienen un lucro, fre-cuentemente exorbitante.79 El mercado del tratamiento automatizado de datos personales por particulares que utilizan sistemas de IA se caracteriza por un alto grado de concentración en unas pocas empresas, lo que deja muy poco espacio a pequeños y medianos jugadores, o a personas físicas responsables del tratamiento.80

Esa concentración, a su vez, incide en que millones de personas81 deseen o necesiten82 disfrutar de servicios básicos de la sociedad de la información que los grandes data brokers ofrecen. Ahora bien, el requisito para acceder a tales servicios –por ejemplo, una cuenta de correo electrónico, o espacio para alma-cenar documentos en la nube– es informarle los datos personales a la empresa

78 Rubinstein, I. S., op. cit. nota 44, p. 77.79 Por ejemplo, en el primer trimestre de 2020, Facebook alcanzó beneficios netos de 5,200 millones de dólares, duplicando así sus ganancias y Amazon obtuvo una cifra similar en el mismo período. DW, “Facebook duplica ga-nancias netas hasta US$5.200 millones”, 30 de julio de 2020. [Consultado 14 octubre 2020], Disponible en: https://p.dw.com/p/3gCXX 80 Cabe tener presente que el desequilibrio económico será menos pronunciado cuando el responsable del trata-miento de los datos personales sea una pequeña o mediana empresa y que podría llegar a ser inexistente en caso de que el responsable sea una persona física. Sin embargo, para efectos del presente artículo, los casos relevantes son aquéllos en los cuales el responsable es uno de los grandes data brokers privados.81 Como lo señala A. Mantelero, el elemento fundamental del poder de estos “barones de los datos” es justamente el tamaño de las bases de datos que tienen. Op. cit. nota 65, p. 650.82 En la actualidad, el acceso a ciertos servicios de la sociedad de la información puede ser considerado, en algunos ámbitos, como una necesidad. Consecuentemente, la libertad contractual podría verse restringida.





230

prestadora del servicio y aceptar sus términos y condiciones, que incluyen una política de privacidad en la que se autoriza el tratamiento con IA. Al ceder sus datos personales, lo que el titular en realidad está haciendo es entregar una contraprestación por el servicio,83 pagar un precio.84 En consecuencia, el con-trato no es gratuito, sino sinalagmático.85

El data broker, por su parte, aprovecha la debilidad de múltiples usuarios para alimentar masivamente su sistema de IA y obtener un beneficio econó-mico.86 En un negocio tan lucrativo como éste, el responsable del tratamiento de datos personales puede no estar dispuesto a privilegiar la protección de los intereses del titular en lugar de los intereses propios. Ello pondría en riesgo el respeto al principio de lealtad previsto en el artículo 15 de los Estándares.

Finalmente, la debilidad del titular de datos personales ante la gran empre-sa con la cual contrata y las innovadoras herramientas tecnológicas que ésta utiliza para el tratamiento, se acentúa debido a la dimensión global del negocio. En tanto no existan normas internacionalmente uniformes sobre protección de datos personales que, además, contemplen las particularidades de la IA y el big data, la vulnerabilidad del titular de datos personales ante las comunicaciones transfronterizas de las cuales sus datos son objeto continuará profundizándose.

4.3. Posibles efectos negativos para el titular de los datos personales

La desigualdad tanto informativa como económica del titular de datos per-sonales con respecto a las grandes empresas privadas responsables del trata-miento lo pone en una situación de vulnerabilidad. Su voluntad puede ser ma-nipulada para autorizar el tratamiento de su información personal. Pero aun

83 No obstante, también hay que tener en cuenta la naturaleza especial de los datos, se distinguen de otros ob-jetos del patrimonio. Por eso es discutible en qué medida puede hablarse de “propiedad de los datos”. Schulze, Reiner, “Contratar en la era digital”, Working Papers Jean Monnet Chair on European Private Law, 8/2018, Bar-celona, Universitat de Barcelona, p. 8. [Consultado 20 febrero 2020], Disponible en: http://diposit.ub.edu/dspace/bitstream/2445/124048/1/WP_2018_8.pdf 84 Es interesante tener presente que esto ha sido formalmente reconocido en la reciente Directiva (UE) 2019/770 del Parlamento Europeo y del Consejo de 20 de mayo de 2019 relativa a determinados aspectos de los contratos de suministro de contenidos y servicios digitales, que define el precio como “el dinero o una representación digital de valor, pagadero a cambio del suministro de los contenidos o servicios digitales” (artículo 2.7). Diario Oficial de la Unión Europea: 25 de mayo de 2019, L 136.85 De Barrón Arniches, P., op. cit. nota 50, p. 47.86 El titular de los datos personales se ha convertido en parte del producto de este modelo de negocio, pero no percibe las ganancias. Martínez Velencoso, Luz M. y Sancho López, Marina, “El nuevo concepto de onerosidad en el mercado digital ¿Realmente es gratis la App?”, InDret No. 1, enero 2018, p. 20. [Consultado 20 febrero 2020], Disponible en: https://indret.com/wp-content/uploads/2018/03/1371.pdf





231

cuando libremente decide prestar su consentimiento, existe el riesgo de que sus derechos humanos sean conculcados.

El consentimiento para que los propios datos personales sean tratados por data brokers utilizando sistemas de IA, manifestado en circunstancias desfavo-rables como las analizadas más arriba,87 podría ser tomado como un cheque en blanco para autorizar y encubrir diversas prácticas invasivas de la privacidad, legitimándolas. En tal caso, se aparentaría formalmente actuar de manera líci-ta, cuando en realidad se estarían realizando operaciones de tratamiento que excederían con creces el alcance del consentimiento del titular.

Esas operaciones de tratamiento tienen el potencial de vulnerar el derecho a la privacidad y a la protección de datos personales y adicionalmente, otros más, como el derecho a no ser discriminado o el derecho a tomar decisiones de manera autónoma,88 en distintos ámbitos de la vida. Situaciones cotidianas ilustran los posibles efectos negativos del tratamiento automatizado de datos personales, de los cuales a menudo no es consciente el titular.

Así, la constante e invasiva recolección de información por parte de los data brokers que escuchan las conversaciones, captan las fotografías toma-das con la cámara del teléfono celular, reconocen el rostro del titular y sus contactos, registran cada búsqueda realizada en Internet, al igual que los des-plazamientos del titular, sus compras, preferencias y aversiones, sumada a la combinación de esos datos tratados con sistemas de IA, genera todavía mucha más información acerca de la persona. Las múltiples finalidades para las cuales es factible usar todo este aluvión de información personal pueden llegar a ser perjudiciales para el titular. Por ejemplo, cuando los empleadores usan el sis-tema de búsqueda de LinkedIn para seleccionar automáticamente candidatos a entrevistar para cubrir una vacante89, cuando la empresa responsable accede a compartir los datos personales del titular con autoridades –incluso extranje-ras–90 o cuando se intenta influir en la voluntad del usuario de redes sociales para que decida adquirir cierto producto o para que vote por determinado can-didato en las elecciones de su país.91

87 Ver supra, secciones 4.1 y 4.2.88 La autonomía implica no sólo que la persona pueda tomar sus propias decisiones, sino que pueda hacerlo “con base en su reflexión personal, más que por influencia externa”. Carolan, E., op. cit. nota 68, p. 464.89 Van Ooijen, I. y Vrabec., H. U., op. cit. nota 71, p. 96.90 Como sucedió en el caso que culminó con la declaración de invalidez del Escudo de Privacidad Unión Europea-Es-tados Unidos. Tribunal de Justicia de la Unión Europea (Gran Sala), Data Protection Commissioner contra Facebook Ireland Ltd. y Maximilian Schrems, Asunto C-311/18, sentencia del 16 de julio de 2020. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.europa.eu/jcms/jcms/j_6/es/ 91 Recuérdese el caso Cambridge Analytica. Ver supra, nota 7.





232

En conclusión, el titular es la parte débil frente a la empresa data brokers que utiliza IA para el tratamiento de los datos personales de sus clientes. Es cierto que su consentimiento continúa siendo una de las bases de legitimación del tratamiento. Sin embargo, no debe ser visto como objeto de culto. Al con-trario, se considera que, por un lado, no hay que perder de vista que existen además otras bases alternativas y que, por otro, es necesario poner en marcha mecanismos adicionales que contribuyan a fortalecer su posición para contri-buir a garantizar el derecho a la protección de los datos personales.

5. Medidas para fortalecer la posición del titular de datos personales

La amplia penetración de la IA en la vida de las personas trae consigo nuevos desafíos en materia de protección de datos personales. En particular, ha puesto en crisis al consentimiento y ha obligado a repensarlo, dado que ya no goza de la misma eficacia que se le atribuía hace unos años. El nuevo escenario muestra al individuo titular de datos personales como parte débil en relación con los data brokers que emplean su información personal en calidad de materia prima para sus sistemas de IA.

Si bien los Estándares tienen naturaleza de soft law, puede afirmarse que reflejan cierto consenso regional con respecto al consentimiento. Por eso se sostiene que, en el momento actual, más que eliminar el consentimiento, es pertinente pensar cómo ir reduciendo su protagonismo en la práctica y en la esfera en la que continúa operando, cómo dotarlo de solidez. El punto de par-tida es recordar que el consentimiento no es la única base de legitimación del tratamiento. Pero, además, se requiere implementar medidas proactivas que contribuyan al fortalecimiento del titular y a garantizar el pleno ejercicio de sus derechos humanos –especialmente, el derecho a la protección de los datos personales–. Esa tarea debe llevarse a cabo teniendo siempre presente el carác-ter central del ser humano en el desarrollo de la IA, de manera que este último no sea impulsado por “interés puramente económico o eficiencia algorítmica deshumanizante”.92 Corresponde en cambio, reafirmar la importancia de los derechos humanos y de valores éticos.

Se considera que dentro del ámbito que el consentimiento del titular con-serva para legitimar el tratamiento de datos personales con recurso a la IA, aquellas medidas deberían estar encaminadas a apuntalarlo en dos sentidos.

92 Consultative Committee of the Convention for the Protection of Individuals with Regard to Automatic Processing of Personal Data (Convention 108), preparado por A. Mantelero, op. cit. nota 35, p. 5.





233

Primero, procurando asegurar que el consentimiento obtenido sea genuino y cumpla con los extremos requeridos por los Estándares.93 Segundo, tratando de que los principios y derechos en materia de protección de datos sean respeta-dos, independientemente de que la base que legitime el tratamiento sea o no el consentimiento.

Iberoamérica cuenta con dos instrumentos de soft law recientemente aprobados por la Red, que se suman a los Estándares y conforman con ellos un incipiente sistema regional de protección de datos personales. Se trata de las Recomendaciones Generales para el Tratamiento de Datos en la Inteligencia Artificial (en adelante, las Recomendaciones) y de las Orientaciones.

Las Recomendaciones son diez94 y están interconectadas, tanto entre sí, como con los Estándares y las Orientaciones. Los Estándares dedican el Ca-pítulo VI a las medidas proactivas en el tratamiento de datos personales, que son las siguientes: privacidad por diseño y privacidad por defecto (artículo 38), oficial de protección de datos personales (artículo 39), mecanismos de autorre-gulación (artículo 40) y evaluación de impacto a la protección de datos perso-nales (artículo 41). Por su parte, las Orientaciones contienen una sección que se concentra en ofrecer orientaciones específicas para la aplicación de medidas proactivas en el tratamiento de datos personales de los proyectos de IA.95

A continuación, se explora la regulación iberoamericana de la privacidad por diseño, la privacidad por defecto y la evaluación de impacto a la protección de los datos personales. Aunque estas medidas no hayan sido introducidas en los Estándares pensando especialmente en la IA, han dado lugar a desarrollos en las Recomendaciones y en las Orientaciones y pretenden contribuir a for-talecer al titular cuyos datos personales son tratados con IA. Es interesante examinar cómo fueron adaptadas, con carácter general y luego con carácter más específico, a la utilización de la IA.

93 Supra, sección 3.2.94 1. Cumplir las normas locales sobre tratamiento de datos personales. 2. Efectuar estudios de impacto de priva-cidad. 3. Incorporar la privacidad, la ética y la seguridad desde el diseño y por defecto. 4. Materializar el principio de responsabilidad demostrada (accountability). 5. Diseñar esquemas apropiados de gobernanza sobre tratamiento de datos personales en las organizaciones que desarrollan productos de IA. 6. Adoptar medidas para garantizar los principios sobre tratamiento de datos personales en los proyectos de IA. 7. Respetar los derechos de los titulares de los datos e implementar mecanismos efectivos para el ejercicio de los mismos. 8. Asegurar la calidad de los datos personales. 9. Utilizar herramientas de anonimización. 10. Incrementar la confianza y la transparencia con los titu-lares de los datos personales.95 Las orientaciones específicas están agrupadas en secciones. Además de la sección para la aplicación de medidas proactivas, hay otras tres: para el cumplimiento de los principios rectores de la protección de datos personales, para el cumplimiento de las obligaciones por los encargados de tratamiento y para el cumplimiento de los derechos.





234

De conformidad con el artículo 38.1 de los Estándares, la privacidad por diseño (o desde el diseño) consiste en que, desde el diseño del sistema de tra-tamiento de los datos personales, antes de recabar datos personales, el respon-sable tome medidas preventivas para la aplicación efectiva de los principios, derechos y demás obligaciones en materia de protección de datos personales previstos en la legislación del Estado iberoamericano que corresponda aplicar.

Una medida relacionada con la privacidad por diseño es la privacidad por defecto, contemplada en el artículo 38.2. Esta segunda noción implica que el responsable garantice que todos los sistemas o tecnologías que utilice y que conlleven el tratamiento de datos personales, cumplan por defecto o se ajusten a los principios, derechos y demás obligaciones establecidos en la legislación aplicable. La misma norma precisa que la privacidad por defecto debe atender específicamente a la minimización de los datos personales objeto de tratamien-to y a la limitación de las posibilidades de que un número indeterminado de personas acceda a ellos sin que intervenga el titular.

Las Recomendaciones toman como punto de partida el artículo 38 de los Estándares y lo adaptan al campo de la IA. En este sentido, la recomendación 3 es la de incorporar la privacidad, la ética y la seguridad desde el diseño y por defecto. Con respecto a la privacidad, se considera que para garantizar que en procesos de IA el tratamiento de los datos personales se efectúe de manera co-rrecta, la medida más adecuada es convertir la privacidad en “un componente esencial del diseño y la arquitectura del software o el algoritmo”,96 en un modo predeterminado de operar. Se adopta un enfoque preventivo, a fin de evitar que se produzcan vulneraciones a los titulares. Asimismo, se destaca que es fundamental incorporar la ética y la seguridad en el tratamiento de datos en la IA desde un inicio, al diseñar el sistema y por defecto. Ambas deben irradiar su influjo a todo el esquema, el desarrollo y el uso de productos o procesos de IA.97

Por su parte, las Orientaciones agregan la sugerencia de que, cuando se esté desarrollando un sistema de IA, se procure alcanzar los objetivos perse-guidos “de una manera menos invasiva para los titulares, en términos de ética, cumplimiento de principios y valorando la relación entre usabilidad y privaci-dad”.98 También, que se reconozca la importancia de incorporar la privacidad en el diseño y la arquitectura de las tecnologías de IA para que, cuando se haya identificado algún riesgo en materia de privacidad, se propongan medidas

96 Recomendaciones, p. 16.97 Recomendaciones, p. 17.98 Orientaciones, p. 39.





235

técnicas antes de que la vulneración se materialice.99 Otra orientación especí-fica es la de considerar que los desarrolladores de IA adapten la lógica de los algoritmos para que se permita garantizar la seguridad de los datos personales por defecto y, de esa manera, cumplan con sus obligaciones.100

La evaluación de impacto a la protección de datos personales (o estudio de impacto de privacidad) es otra medida proactiva que, sumada a la priva-cidad en el diseño y a la privacidad por defecto, contribuye a colocar al titu-lar en una posición más equilibrada frente al data brokers, responsable por el tratamiento de sus datos personales a través de desarrollos tecnológicos que funcionan con IA.

El artículo 41.1 de los Estándares establece, en cabeza del responsable, la obligación de hacer una evaluación del impacto a la protección de los datos personales cuando pretenda realizar un tipo de tratamiento cuya naturaleza, alcance, contexto o finalidades del tratamiento, hagan que sea probable que haya un alto riesgo de afectación del derecho a la protección de los datos per-sonales de los titulares. El estudio de impacto debe realizarse antes de que se llegue a implementar el tratamiento en cuestión. Adicionalmente, en el artículo 41.2, se deja librada a la legislación de los Estados iberoamericanos la indica-ción de los tratamientos de datos personales que requieran este tipo de evalua-ción, así como el contenido de la evaluación y en qué circunstancias se la debe presentar ante la autoridad de control competente.

La obligación de hacer una evaluación de impacto es adaptada por las Recomendaciones al tratamiento de datos personales cuando se utiliza IA. Es la recomendación 2 quien la retoma y agrega los rubros que, como mínimo, tal evaluación debería incluir:

� Una descripción detallada de las operaciones de tratamiento de datos personales que involucra el desarrollo de IA;

� Una evaluación de los riesgos específicos para los derechos y libertades de los titulares de datos personales, y

� Las medidas previstas para afrontar los riesgos, incluidas garantías, medidas de seguridad, diseño de software, tecnologías y mecanismos que garanticen la protección de datos personales, teniendo en cuenta los derechos e intereses legítimos de los titulares de los datos y de otras personas eventualmente afectadas.101

99 Orientaciones, p. 40.100 Ídem.101 Recomendaciones, p. 16.





236

En cuanto a las Orientaciones, el grado de detalle acerca de diversas cuestiones atinentes a la evaluación de impacto es mayor que el que se aprecia en las Re-comendaciones. Una de las orientaciones especifica en qué casos corresponde realizar una evaluación de impacto a la protección de datos personales en el de-sarrollo de IA. Tales casos son los siguientes: cuando se traten datos personales, o cuando la IA que se utilice pudiera ser percibida como “particularmente intrusiva de la privacidad”,102 o cuando los resultados del empleo de IA “pudieran llevar a la toma de acciones o decisiones con un impacto o afectación a los titulares”.103

Una orientación adicional añade precisión acerca de los elementos que debe incluir la identificación del riesgo: evaluación de la necesidad de las ope-raciones de procesamiento en la utilización de IA y su proporcionalidad con respecto a las finalidades perseguidas, identificación de riesgos potenciales para los titulares –abarcando los relacionados con datos sensibles– y evalua-ción de potenciales riesgos a derechos y libertades de los titulares, en cuanto sean tutelados por la legislación aplicable.104 Asimismo, las orientaciones pro-ponen que la evaluación se efectúe periódicamente, con la intención de poder mitigar riesgos a propósito de la utilización de la IA y que las evaluaciones queden documentadas, de modo que, en caso de inspecciones o de controver-sias, puedan ser presentadas ante las autoridades correspondientes.

Finalmente, otro punto que –en un plano más amplio– contemplan las Orientaciones, es la necesidad de involucrar a las diferentes partes interesadas en el ciclo de vida de un sistema de IA, en la solución conjunta de las diferen-cias que pudieran presentarse entre, por un lado, los principios de protección de datos personales y, por el otro, los requisitos de ese sistema de IA.105

6. Observaciones conclusivas

El estudio realizado en el presente artículo muestra que los individuos cuyos datos personales son objeto de tratamiento por parte de grandes empresas par-ticulares que para ello utilizan sistemas de IA, se encuentran en una situación de debilidad. Efectivamente, existe un desequilibrio entre las partes de la rela-ción contractual en virtud de la cual una empresa presta servicios propios de la sociedad de la información y un individuo comparte sus datos personales

102 Orientaciones, p. 41.103 Ídem.104 Ídem.105 Ibidem, p. 27.





237

como contraprestación. Esa desigualdad, que tiene una faceta informativa y otra económica, pone en tela de juicio el alcance y la validez del consentimien-to en tanto base para sustentar la legitimidad del tratamiento efectuado por los data brokers dominantes en el mercado digital. Además, puede derivar en la vulneración de derechos inherentes a la persona, como el derecho a la privaci-dad, a la protección de los datos personales, a la no discriminación y a tomar decisiones de manera autónoma.

Tomando en cuenta que los Estándares son relativamente recientes y que, a pesar de no ser vinculantes, reflejan cierto consenso regional con respecto al consentimiento, se considera pertinente procurar reducir su protagonismo en la práctica y, en la esfera en la que continúa operando, intentar apuntalarlo con las herramientas disponibles. Cabe aclarar que, por supuesto, esto no implica cerrar la puerta a nuevas figuras que puedan crearse en el futuro.

El punto de partida es tener presente que el consentimiento no es la única base de legitimación del tratamiento. Pero, además, es importante implemen-tar medidas proactivas que contribuyan a fortalecer la posición del titular y a garantizar el pleno ejercicio de sus derechos humanos –en especial, el derecho a la protección de los datos personales–, promoviendo prácticas éticas. En este sentido, se afirma que la privacidad en el diseño y la privacidad por defecto, sumadas a los estudios de impacto de privacidad con respecto a los sistemas de IA, son medidas que pueden contribuir a solucionar el problema de la debili-dad del titular de datos personales en su relación con las empresas que operan como data brokers.

Ahora bien, la puesta en marcha de tales medidas y en última instancia, la protección de los derechos del titular en el ámbito de la IA, se verían enorme-mente favorecidas si los data brokers fueran conscientes de que invertir en el desarrollo de estrategias específicas en materia de privacidad mejora su ima-gen corporativa e inspira confianza en los clientes –actuales o potenciales–. Igualmente, tanto la empresa responsable como el titular podrían resultar be-neficiados si se invitara a involucrarse en la toma de decisiones atinentes al gobierno de datos, a todos los potenciales afectados por el tratamiento de datos personales mediante el empleo de IA.

Asimismo, sería positivo que los Estados, sus legisladores y autoridades de control u organismos de protección de datos personales intensificaran sus esfuerzos para realizar aportes significativos al desarrollo de una cultura de respeto al derecho a la protección de datos personales, que incorpore valores éticos al utilizar IA. Ello contribuiría a prevenir que los titulares sufran discri-minación o que vean restringidas sus libertades en este ámbito.





238

Finalmente, no hay que olvidar que los data brokers que usan datos per-sonales como insumo para la toma automatizada de decisiones operan a nivel global. Por consiguiente, es fundamental poder contar con mecanismos ágiles de cooperación internacional entre autoridades, así como con reglas de gober-nanza global en materia de IA y protección de datos personales.

De lo expuesto a lo largo del presente artículo se extrae como conclusión que se debe procurar reducir el carácter protagónico que hasta ahora ha tenido el consentimiento, pero además se debe apuntalar el consentimiento en los ámbitos en los cuales continúe operando como base de legitimación del tra-tamiento de datos personales con IA, para fortalecer la posición del titular y de ese modo garantizarle protección. Se concluye, asimismo, que aún queda trabajo por delante a fin de continuar desarrollando instrumentos y prácti-cas ajustados a valores éticos en esta materia. Se aboga por seguir avanzando, con la participación de todos los actores interesados, hacia la adopción de un marco de gobernanza global efectivo para la protección de datos personales en tiempos de auge de la IA.

7. Bibliografía

Brownsword, Roger, “The Cult of Consent: Fixation and Fallacy”, King’s Law Journal, Vol. 15, No. 2, 2004, pp. 223-251.

Carolan, Eoin, “The continuing problems with online consent under the EU’s emerging data protection principles”, Computer Law & Security Review, Vol. 32, No. 3, 2016, pp. 462-473.

Carta de los Derechos Fundamentales de la Unión Europea, 2000/C 364/01, Diario Ofi-cial de las Comunidades Europeas: 18 de diciembre de 2000.

Castro, Daniel y New, Joshua, The Promise of Artificial Intelligence, Washington D.C., Center for Data Innovation, octubre 2016, p. 46. [Consultado 20 febrero 2020] Disponible en: https://euagenda.eu/upload/publications/untitled-53560-ea.pdf

CNIL, Comment permettre à l’homme de garder la main? Les enjeux éthiques des algo-rithmes et de l’intelligence artificielle. Synthèse du débat public animé par la CNIL dans le cadre de la mission de réflexion éthique confiée par la Loi pour une République numérique, Paris, Commission Nationale Informatique et Libertés, 2017, p. 2. [Consultado 20 febrero 2020], Disponible en: https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_garder_la_main_web.pdf

Constitución Política de los Estados Unidos Mexicanos, Reforma que adiciona un pá-rrafo al artículo 16, Diario Oficial de la Federación: 1° de junio de 2009.

Consultative Committee of the Convention for the Protection of Individuals with Re-gard to Automatic Processing of Personal Data (Convention 108), Artificial Intelligence and Data Protection: Challenges and Possible Remedies, Informe





239

sobre Inteligencia Artificial preparado por Alessandro Mantelero, T-PD(2018)09 Rev, p. 5. [Consultado 20 febrero 2020], Disponible en: https://rm.coe.int/artifi-cial-intelligence-and-data-protection-challenges-and-possible-re/168091f8a6

Corte Constitucional Federal de Alemania, sentencia del 15 de diciembre de 1983 sobre la Ley de Censos de 1983, 1 BvR 209/83. [Consultado 14 octubre 2020], Dispo-nible en: https://www.bundesverfassungsgericht.de/e/rs19831215_1bvr020983.html

Cotino Hueso, Lorenzo, “Big data e inteligencia artificial. Una aproximación a su trata-miento jurídico desde los derechos fundamentales”, Dilemata. Revista Interna-cional de Éticas Aplicadas, Año 9, No. 24, mayo 2017, pp. 131-150. [Consultado 20 febrero 2020], Disponible para su descarga a partir de: https://www.dilemata.net/revista/index.php/dilemata/article/view/412000104

Currier, Kenneth y Mayer-Schoenberger, Viktor, “The Rise of Big Data. How It’s Chan-ging the Way We Think About the World”, Foreign Affairs, Vol. 92, No. 3, ma-yo-junio 2013, pp. 28-40.

De Barrón Arniches, Paloma, “La pérdida de privacidad en la contratación electrónica (entre el Reglamento de protección de datos y la nueva Directiva de suministro de contenidos digitales)”, Cuadernos Europeos de Deusto, No. 61, Bilbao, 2019, pp. 29-65. [Consultado 20 febrero 2020], Disponible en: http://ced.revistas.deusto.es/article/view/1644/1996

Directiva (UE) 2019/770 del Parlamento Europeo y del Consejo de 20 de mayo de 2019 relativa a determinados aspectos de los contratos de suministro de contenidos y servicios digitales, Diario Oficial de la Unión Europea: 25 de mayo de 2019, L 136.

DW, “Facebook duplica ganancias netas hasta US$5.200 millones”, 30 de julio de 2020. [Consultado 14 octubre 2020], Disponible en: https://p.dw.com/p/3gCXX

European Data Protection Board, Guidelines 1/2020 on Processing Personal Data in The Context of Connected Vehicles and Mobility Related Applications, versión 1.0, adoptada el 28 de enero de 2020. [Consultada 20 febrero 2020], Disponible en: https://edpb.europa.eu/sites/edpb/files/consultation/edpb_guidelines_202001_connectedvehicles.pdf

García González, Aristeo, “La protección de datos personales: derecho fundamental del siglo XXI. Un estudio comparado”, Boletín Mexicano de Derecho Comparado, Instituto de Investigaciones Jurídicas, UNAM, nueva serie, Año XL, No. 120, septiembre-diciembre 2007, pp. 743-778.

Gil, Elena, Big data, privacidad y protección de datos, Madrid, Agencia Española de Protección de Datos, 2016, 149 p.

Greenleaf, Graham, “Global Data Privacy Laws 2019: 132 National Laws & Many Bills” Privacy Laws & Business International Report, No. 155, 2019, pp. 14-18. [Con-sultado 20 febrero 2020], Disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3381593

Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial, A Definition of AI: Main Capabilities and Disciplines. Definition developed for the purpose of the AI





240

GLEG’s deliverables, 8 abril 2019, p. 9. [Consultado 20 febrero 2020], Disponible en: https://ec.europa.eu/digital-single-market/en/artificial-intelligence

ICDPPC, Artificial Intelligence, Robotics, Privacy and Data Protection. Room do-cument for the 38th International Conference of Data Protection and Pri-vacy Commissioners, Marrakech, octubre 2016, p. 4. [Consultado 20 febrero 2020], Disponible en: https://edps.europa.eu/sites/edp/files/publication/16-10-19_marrakesh_ai_paper_en.pdf

Isaak, Jim y Hanna, Mina J., “User Data Privacy: Facebook, Cambridge Analytica, and Privacy Protection”, Computer, IEEE Xplore Digital Library, Vol. 51, No. 8, agos-to 2018, pp. 56-59. [Consultado 20 febrero 2020], Disponible en: https://ieeex-plore.ieee.org/abstract/document/8436400

Katyal, Sonia K., “Private Accountability in the Age of Artificial Intelligence”, UCLA Law Review, Vol. 66, No. 1, 2019, pp. 54-141. [Consultado 20 febrero 2020], Disponible en: https://www.uclalawreview.org/wp-content/uploads/securepd-fs/2018/12/66.1.2-Katyal.pdf

Koops, Bert-Jaap y Leenes, Ronald, “‘Code’ and the Slow Erosion of Privacy”, Michigan Telecommunications and Technology Law Review, Vol. 12, No. 1, 2005, pp. 115-188. [Consultado 20 febrero 2020], Disponible en: https://repository.law.umich.edu/cgi/viewcontent.cgi?article=1114&context=mttlr

Kosta, Eleni, Consent in European Data Protection Law, Leiden, Martinus Nijhoff Publi-shers, 2013, Nijhoff Studies in EU Law, Vol. 3, 441 p.

Ley Federal de Protección de Datos Personales en Posesión de los Particulares, Diario Oficial de la Federación: 5 de julio de 2010.

Mantelero, Alessandro, “AI and Big Data: A Blueprint for a Human Rights, Social and Ethical Impact Assessment”, Computer Law & Security Review, Vol. 34, No. 4, agosto 2018, pp. 754-772.

Mantelero, Alessandro, “The future of consumer data protection in the EU. Re-thinking the ‘notice and consent’ paradigm in the new era of predictive analytics”, Com-puter Law & Security Review, Vol. 30, No. 6, diciembre 2014, pp. 643-660.

Maqueo Ramírez, María Solange, Moreno González, Jimena y Recio Gayo, Miguel, “Protección de datos personales, privacidad y vida privada: la inquietante bús-queda de un equilibrio global necesario”, Revista de Derecho (Valdivia), Univer-sidad Austral de Chile, Facultad de Ciencias Jurídicas y Sociales, Vol. XXX, No. 1, junio 2017, pp. 77-96.

Maqueo, María Solange y Barzizza Vignau, Alessandra, Democracia, privacidad y pro-tección de datos personales, Ciudad de México, Instituto Nacional Electoral, 2019, Cuadernos de divulgación de la cultura democrática, No. 41, 126 p.

Martínez Velencoso, Luz M. y Sancho López, Marina, “El nuevo concepto de onero-sidad en el mercado digital ¿Realmente es gratis la App?”, InDret No. 1, enero 2018, pp. 1-36. [Consultado 20 febrero 2020], Disponible en: https://indret.com/wp-content/uploads/2018/03/1371.pdf





241

McCarthy, John, Minsky, Marvin L., Rochester, Nathaniel y Shannon, Claude E., ‘A Pro-posal for the Dartmouth Summer Research Project on Artificial Intelligence’, 31 agosto 1955. [Consultado 20 febrero 2020], Disponible en: http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html

Mendoza Enríquez, Olivia Andrea, “Marco jurídico de la protección de datos personales en las empresas de servicios establecidas en México: desafíos y cumplimiento”, Revista IUS (México), Instituto de Ciencias Jurídicas de Puebla, nueva época, Vol. 12, No. 41, enero-junio 2018, pp. 267-291.

Myers West, Sarah, “Data Capitalism: Redefining the Logics of Surveillance and Priva-cy”, Business & Society, Vol. 58, No. 1, pp. 20-41.

Oostveen, Manon, Protecting Individuals Against the Negative Impact of Big Data. Po-tential Limitations of the Privacy and Data Protection Law Approach, Alphen aan den Rijn, Kluwer Law International, Information Law Series, 2018, Vol. 42, p. 247

Poullet, Yves, “Is the general data protection regulation the solution?”, Computer Law & Security Review, Vol. 34, No. 4, agosto 2018, pp. 773-778.

Red Iberoamericana de Protección de Datos, Estándares de Protección de Datos Per-sonales para los Estados Iberoamericanos, aprobados el 20 de junio de 2017 en Santiago de Chile. [Consultados 20 febrero 2020], Disponibles en: http://www.redipd.es/documentacion/common/Estandares_Esp_Con_logo_RIPD.pdf

Red Iberoamericana de Protección de Datos, Orientaciones Específicas para el Cum-plimiento de los Principios y Derechos que Rigen la Protección de los Datos Personales en los Proyectos de Inteligencia Artificial, aprobadas el 21 de junio de 2019 en Naucalpan de Juárez, México. [Consultadas 20 febrero 2020], Dispo-nible en: https://www.argentina.gob.ar/sites/default/files/orientaciones_espe-cificas_de_proteccion_de_datos_en_inteligencia_artificial.pdf

Red Iberoamericana de Protección de Datos, Recomendaciones Generales para el Tra-tamiento de Datos en la Inteligencia Artificial, aprobadas el 21 de junio de 2019 en Naucalpan de Juárez, México. [Consultadas 20 febrero 2020], Disponible en: https://www.argentina.gob.ar/sites/default/files/recomendaciones-genera-les-para-el-tratamiento-de-datos-en-la-ia.pdf

Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tra-tamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE (Reglamento general de protección de datos), Diario Oficial de la Unión Europea: 4 de mayo de 2016, L 119.

Risso, Linda, “Harvesting your Soul? Cambridge Analytica and Brexit”, en Jansohn, Christa, Brexit Means Brexit? The Selected Proceedings of the Symposium, Aka-demie der Wissenchaften und der Literatur, Mainz, 6-8 December 2017, Mainz, Akademie der Wissenchaften und der Literatur, 2018, pp. 75-87.

Rubinstein, Ira S., “Big Data: The End of Privacy or a New Beginning?” International Data Privacy Law, Vol. 3, No. 2, 2013, pp. 74-87.





242

Schulze, Reiner, “Contratar en la era digital”, Working Papers Jean Monnet Chair on European Private Law, 8/2018, Barcelona, Universitat de Barcelona, pp. 1-16. [Consultado 20 febrero 2020], Disponible en: http://diposit.ub.edu/dspace/bits-tream/2445/124048/1/WP_2018_8.pdf

Searle, John R., “Minds, Brains and Programs”, The Behavioral and Brain Sciences, Vol. 3, No. 3, 1980, pp. 417-457. [Consultado 20 febrero 2020], Disponible en: https://www.law.upenn.edu/live/files/3413-searle-j-minds-brains-and-programs-1980pdf

Sotala, Kaj, “How Feasible is the Rapid Development of Artificial Superintelligence?”, Physica Scripta, Vol. 92, No. 11, noviembre 2017, No. de identificación del ar-tículo: 113001.

Tene, Omer y Polonetsky, Jules, “Big Data for All: Privacy and User Control in the Age of Analytics”, Northwestern Journal of Technology and Intellectual Property, Vol. 11, No. 5, 2013, pp. 239-273.

Tenorio Cueto, Guillermo A. (coord. ed.), Ley Federal de Protección de Datos Personales en Posesión de los Particulares, comentada, Ciudad de México, Instituto Nacional de Transparencia, Acceso a la Información y Protección de Datos Personales (INAI), octubre de 2019, p. 271 [Consultado 20 febrero 2020], Disponible en: http://inicio.inai.org.mx/PublicacionesComiteEditorial/LFPDPPP%20Comentada_digital.pdf

The Norwegian Data Protection Authority, Artificial Intelligence and Privacy Report, enero 2018, p. 30 [Consultado 20 febrero 2020], Disponible en: https://www.datatilsynet.no/globalassets/global/english/ai-and-privacy.pdf

Tribunal de Justicia de la Unión Europea (Gran Sala), Bundesverband der Verbraucher-zentralen und Verbraucherverbände – Verbraucherzentrale Bundesverband eV contra Planet49 GmbH, Asunto C-673/17, sentencia del 1° de octubre de 2019. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.europa.eu/jcms/jcms/j_6/es/

Tribunal de Justicia de la Unión Europea (Gran Sala), Data Protection Commissioner contra Facebook Ireland Ltd. y Maximilian Schrems, Asunto C-311/18, senten-cia del 16 de julio de 2020. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.europa.eu/jcms/jcms/j_6/es/

Tribunal de Justicia de la Unión Europea (Segunda Sala), Fashion ID GmbH & Co. KG contra Verbraucherzentrale NRW eV, Asunto C-40/17, sentencia del 29 de julio de 2019. [Consultado 14 octubre 2020], Disponible a partir de: https://curia.eu-ropa.eu/jcms/jcms/j_6/es/

Turing, Alan M., “Computing Machinery and Intelligence”, Mind, Vol. 59, No. 236, oc-tubre 1950, pp. 433-460. [Consultado 20 febrero 2020], Disponible en: https://www.jstor.org/stable/2251299?seq=1

van Ooijen, I. y Vrabec, Helena U., “Does the GDPR Enhance Consumers’ Control over Personal Data? An Analysis from a Behavioural Perspective”, Journal of Consu-mer Policy, Vol. 42, 2019, pp. 91-107.

Voigt, Paul y von dem Bussche, Axel, The EU General Data Protection Regulation (GDPR). A Practical Guide, Cham, Springer International Publishing, 2017, 383 p.




243


El derecho a la protección de datos perso-nales en Cuba desafíos en la era digital*The Law to Personal Data Protection in Cuba. Challenges in the Digital Era

Zahira Ojeda Bello**Danelia Cutié Mustelier***

resumenLa modernidad solo puede existir en expansión, por ello hoy sus formas de manifestarse son cada vez más amplias y diversas hasta alcanzar las esferas más íntimas y privadas de la persona humana. En la era digital el desarrollo de las tecnologías tiene un auge vertiginoso que ha permitido incrementar el uso, acceso y tratamiento de información personal, generando la vulneración de los derechos del titular de ésta ante la manifiesta irresponsabilidad de entes públicos y privados. Ello plantea retos complejos relacionados con la recopilación y uso de la información personal en áreas muy distintas y a la vez, interrelacionadas como la economía, las telecomunicaciones, la salud o el Derecho. Como respuesta a lo anterior tanto en el ámbito constitucional como ordinario diversos países han configurado el derecho a la protección de datos personales. En Cuba, hasta la Constitución de 1976 era inexistente su regulación, sin embargo con la aprobación de la nueva Carta Magna en 2019, se avanza hacia el reconocimiento de este derecho, aunque aún no se cuenta con una ley específica donde se desarrollen los elementos constitutivos del contenido esencial del citado derecho. En tal sentido constituye objetivo de este artículo analizar los principales desafíos que enfrenta la nación cubana ante el constante progreso tecnológico que experimenta la sociedad y consecuentemente las amenazas que puede ocasionar el uso o tratamiento incorrecto de la información personal a los derechos ciudadanos. Lo cual implica emprender acciones desde el ámbito normativo que aseguren los preceptos constitucionales.

palabras clavedatos personales, era digital.

abstractModernity only can be expansion, for this today its ways of manifestation are each time spacious and several till catch up to inner levels and private of human being. In the digital era the development of technologies has a dizzy boom that has permit increase its use, access and personal information treatment, generating the right breaking of the owner of it in front of the irresponsibility manifest of private and public being. This plan complex challenges related with compilation and the use of personal information in different areas, and at the some time interrelated as Economy, telecommunications, health and law. Answering the previous in the constitutional boundary as in the ordinary one several countries have configurated law to the personal data protection. In Cuba till 1976 Constitution was inexistence its regulation. Nevertheless with Magna Letter approbation in 2019 is incorporated a precept that recognize it, though it is not count with an specific law where get developed yet. In this direction constitute an objective of this article analyse the main challenges Cuban nation face at the constant technologic progress that society experiments in front of threats of use and incorrect treatment of personal information which implicate undertake actions since the normative limit that fasten constitutional precepts.

keywordsPersonal data, digital era

*Artículo de Reflexión postulado el 10 de febrero de 2020 y aceptado el 7 de septiembre de 2020**Doctora en Ciencias Jurídicas. Profesora de la Universidad de Las Tunas, Cuba. ([email protected]) orcid. org/0000-0002-5122-494X***Doctora en Ciencias Jurídicas. Profesora de la Facultad de Derecho. Universidad de Oriente, Cuba. ([email protected]) orcid.org/0000-0002-0753-8212




Z A H I R A O J E D A B E L L O , D A N I E L A C U T I É M U S T E L I E R

244

SUMARIO1. El desarrollo tecnológico frente al tratamiento de los datos personales. 2. El derecho a la protección de datos personales en la nueva Constitución Cubana de 2019. 3. Principales desafíos de la nación cubana ante el constante progreso tecnológico. 4. Conclusiones

1. El desarrollo tecnológico frente al tratamiento de los datos personales

Desde hace varias décadas, la tecnología se ha convertido en una herramien-ta indispensable para toda actividad, por lo que la dependencia de los seres humanos es cada vez más alta, sin importar el sector de que se trate. Incluso a través de determinadas soluciones tecnológicas se han logrado identificar necesidades y comportamientos del consumidor, reducir tiempos o aumentar la productividad a través de facilidades ofrecidas en el acceso y distribución de bienes y servicios.

Tal es el nivel alcanzado que hoy el fenómeno de la internet de las cosas, el cloud computing1 o el big data2 están revolucionando las formas de organi-zación política, social y económica. En este escenario, los datos se convierten en el activo más importante, por ello de una forma cada vez más creciente, se crean, almacenan y tratan diversos tipos de datos por medio de las redes socia-les, las compras electrónicas u otros servicios y actividades cotidianas.

Hoy, el volumen de datos que se recolecta es cada vez más creciente y sería imposible analizarlo a través de los métodos tradicionales de almacenamiento, acceso y análisis, por esta razón se han desarrollado nuevas herramientas de inteligencia artificial, así como la implementación de algoritmos y estadísticas mediante las cuales se pueden obtener resultados, tales como: el comporta-miento de las personas, sus gustos, la toma de decisiones, el reconocimiento de voz, la identificación de objetos, el diagnóstico de enfermedades, la elabora-ción de perfiles para analizar o predecir el rendimiento profesional, situación

1 “Consiste en ofrecer acceso a amplios servicios digitales a través de Internet, según demande el cliente, desde cual-quier dispositivo periférico interconectado para recibir en su caché temporal los datos almacenados permanente-mente en el proveedor.” Herrera Bravo, Rodolfo, “Cloud computing y seguridad: despejando nubes para proteger los datos personales”, Revista de Derecho y Ciencias Penales, Universidad San Sebastián, Chile, No. 17, 2011, pp. 43-58.2 “Activos de información que se caracteriza por su alto volumen, velocidad y variedad, y que demandan soluciones innovadoras y eficientes de procesado para la mejora del conocimiento y la toma de decisiones”. Amoroso Fernán-dez, Yarina, Ponencia presentada en el Congreso Internacional de Información (INFO 2016), La Habana, Cuba.




E L D E R E C H O A L A P R O T E C C I Ó N D E D A T O S P E R S O N A L E S E N C U B A D E S A F Í O S E N L A E R A D I G I T A L

245

económica o de salud, por solo citar algunos ejemplos, que se utilizan con di-versos fines y se encuentran al alcance de personas naturales o jurídicas.3

En la actualidad, los datos se colocan al servicio de usos que anteriormente eran desconocidos, todo ello gracias al crecimiento de la capacidad de memo-ria de los ordenadores, los potentes procesadores, el abaratamiento en los pro-cesos de recopilación y almacenamiento de información, así como el impulso de los análisis matemáticos.4

Por otro lado, en la práctica del Derecho se implementan avances como la Jurimetría, una herramienta de analítica jurisprudencial destinada a definir la estrategia procesal más idónea con respecto a un caso concreto o los progra-mas que auxilian a los servicios policiales en la prevención de la reincidencia de conductas socialmente peligrosas, conforme al historial almacenado en ba-ses de datos y a partir de las cuales se toman decisiones sobre hechos sucedidos previamente en una misma zona geográfica.

Una idea que sintetiza lo hasta aquí analizado es lo planteado por Pérez Luño cuando refiere que:

Internet es una realidad ambivalente que se presenta como un paso decisivo en el avance de los sistemas de comunicación a escala plane-taria, sin embargo, también ha hecho surgir graves motivos de inquie-tud debido a que la red ha sido utilizada como vehículo de contenidos nocivos e ilícitos.5

Sin duda, las tecnologías de la informática y las comunicaciones, ofrecen di-símiles beneficios, que se hacen evidentes, además de amenazas potenciales marcadas por la utilización inescrupulosa de los sistemas de información. La manipulación, la especulación o el uso de los datos sin el consentimiento de su titular, por parte de individuos, autoridades públicas o privadas son algunos ejemplos de estos peligros, así como la utilización de herramientas de Inte-ligencia Artificial a través de las cuales se emplean datos de carácter perso-nal de manera indiscriminada sin informar a los titulares las finalidades del

3 Garriga Domínguez, Ana, Nuevos retos para la protección de datos personales. En la era del big data y de la com-putación ubicua, Madrid, Dykinson, 2015.4 En el caso de Amazon utiliza datos que extrae de sus clientes para hacer recomendaciones basadas en compras previas de estos. La red profesional Linkedin también sugiere personas a conocer, seleccionando determinados datos de entre una cantidad masiva de información sobre sus millones de miembros. Finger, Lutz, Recommendation Engi-nes: The Reason Why We Love Big data, Nueva York, Forbes Tech, 2014.5 Pérez Luño, A.E., Los derechos humanos ante las nuevas tecnologías: Nuevas tecnologías y derechos humanos, Ed. Tirant lo Blanch, Valencia, 2014, p.31.





246

tratamiento, con quiénes se están compartiendo, qué canales pueden usar para acceder a éstos o dónde se tienen almacenados. Razones por las que el titular pierde el control de sus datos y se ponen en riesgo sus derechos y los de terceros involucrados en el tratamiento.

Lo anterior hace necesario ofrecer medidas de seguridad más efectivas tan-to en el orden organizativo como técnico. La minimización en la recolección de los datos a los necesarios para el tipo de tratamiento, la limitación de las fina-lidades, los protocolos de seguridad, las políticas internas sobre el tratamiento de los datos y la capacitación al personal que los manejan, se encuentran entre los mecanismos de ayuda para la protección de ellos. Es indispensable, asimis-mo, realizar el tratamiento de los datos personales a partir de la obtención del consentimiento libre e informado del titular, en el que se establezcan las fina-lidades, los responsables y los tipos de tratamiento.6

Otra amenaza que puede señalarse es el uso de cookies y otras tecnologías de rastreo que las páginas de internet usan para recolectar datos como el bus-cador y el tipo de dispositivo, lenguaje, tiempos de acceso, páginas visitadas, su dirección IP y las URL, datos que la mayoría de los titulares desconocen. Otros riesgos se generan dado el actuar de los titulares de los datos personales, quienes usualmente no realizan un ejercicio responsable al leer los términos y condiciones de las políticas de tratamiento de la información personal, por lo que desconocen y dejan de ejercer sus derechos. Esto trae como consecuencia, la entrega de toda clase de datos, incluyendo aquellos sensibles y que pueden ser usados por los responsables para realizar diferentes operaciones que ponen en riesgo la intimidad y los intereses del titular.

Al respecto Amoroso Fernández refiere: “El impacto social de los avances científico-técnicos no deben alarmar, sino las políticas y estrategias aplicadas sin tener en cuenta los intereses sociales”.7 Ello lleva a analizar cómo:

(…) el advenimiento de los cambios derivados del desarrollo de la cien-cia y la tecnología, (…) deben propiciar, (…) una profunda reflexión respecto a los beneficios que toda sociedad debe obtener de estos

6 Martínez Devia, Andrea, “La inteligencia artificial, el big data y la era digital: ¿una amenaza para los datos perso-nales?”, Revista la Propiedad Inmaterial, Colombia, No. 27, enero – junio 2019, pp. 5-23.7 Amoroso Fernández, Yarina, “La informática como objeto de derecho. Algunas consideraciones acerca de la pro-tección jurídica en Cuba de los datos automatizados”, Revista cubana de Derecho, Unión de Juristas de Cuba, La Habana, No.1, enero-marzo 1991, pp. 40-52.





247

fenómenos (…). [Por tanto], las nuevas tecnologías deben estar al servi-cio de las personas y no al revés.8

Ante esta realidad, la ordenación de las sociedades del siglo XXI, deben ser vis-tas desde el desarrollo tecnológico alcanzado, unido a las formas de estudio y regulación en el ámbito jurídico de las problemáticas sobrevenidas.9 A decir de Delpiazzo “(…) para que el cambio tecnológico sea sumido y no sufrido por la sociedad, se requiere que el derecho se adecue a la nueva realidad emergente”.10

Con el objetivo de atenuar las problemáticas que el desarrollo tecnológico provoca para el desenvolvimiento de la persona humana, así como para la pro-pia sociedad, se han promulgado un grupo de normativas cuyo fin primero ha sido la protección de los datos personales a partir de las constituciones como norma suprema que ordena los principios básicos para este derecho.

En tal sentido, la definición de principios adecuados para la protección de datos personales ha sido una preocupación patente de numerosos autores y organizaciones11 para lo cual han declarado aspectos específicos12 que se erigen como base a través de la cual se articula el citado derecho. Con base general-mente a lo preceptuado constitucionalmente se han regulado en el ámbito le-gislativo, en tanto la correspondencia de lo contemplado en la ley fundamental sobre este derecho y su desarrollo en una legislación específica no siempre es coherente. De ahí que en algunos países se hayan promulgado en primer orden desde los postulados de una normativa concreta, para luego modificar la Carta Magna y hacerla corresponder con estos.13

8 Téllez Valdés, Julio, Derecho informático, 2da. Edición, Mc. Graw Hill, México, 1996, p. 263.9 Delpiazzo, C., “El Derecho telemático: respuesta a la convergencia tecnológica”. VII Congreso Iberoamericano de derecho e Informática, Lima, 2000, p. 54 y ss.10 Delpiazzo, C., “Facilitación del Comercio Electrónico por el derecho uruguayo”, Comercio electrónico, Faira, Buenos Aires, 2003, p. 55.11 Dentro de las que se pueden citar la Organización para la Cooperación y Desarrollo Económicos (OCDE por sus siglas en inglés) y la Red Iberoamericana de protección de datos.12 1) el consentimiento, 2) información, 3) finalidad, 4) calidad de los datos, 5) proporcionalidad y 6) seguridad. Mu-rrillo de la Cueva, Pablo Lucas, El derecho a la autodeterminación informativa, Fundación Coloquio Jurídico Europeo, Madrid, 2009, p. 101; Organizaciones como la OCDE al elaborar sus directrices declaran: 1) Limitación de recogida, 2) Calidad de los datos, 3) Especificación del propósito, 4) Delimitación de uso, 5) Salvaguardia de la seguridad, 6) Transparencia, 7) Participación individual y 8) Responsabilidad. Por su parte, la Red Iberoamericana de protección de Datos, en reunión realizada en mayo de 2007 declaró: 1) Tratamiento leal y lícito, 2) Limitación de la finalidad, 3) Proporcionalidad, 4) Exactitud y 5) Conservación.13 Las primeras normas europeas sobre datos personales, coincidían en: a) El de la justificación social, b) El de li-mitación de la recolección, c) El de calidad o fidelidad de la información, d) El de especificación del propósito o la finalidad de la recogida, tratamiento y transmisión, e) El de confidencialidad, f) El de salvaguarda de la seguridad, g) El de política de apertura, h) El de limitación en el tiempo, i) El de control público, j) El de participación individual. Correa, Carlos M., Nazar Espeche, Félix A., Czar de Zalduendo, Susana, “Derecho informático”, Depalma, Buenos Aires,





248

Resumiendo, en la regulación constitucional y específica del derecho a la protección de datos personales resaltan como elementos caracterizadores: 1) la profundización en el estudio de las problemáticas ocasionadas por el avance de las tecnologías de la información desde la vulneración del derecho a la inti-midad; 2) definición del derecho desde diversos posicionamientos teóricos, en unos casos desde el derecho a la intimidad y en otros como autodeterminación informativa o libertad informática; 3) diversidad de posturas en cuanto a si es un derecho o una garantía; 4) criterios de regulación diferentes de acuerdo con el contexto; 5) mayor desarrollo normativo en Europa, no así en Latinoamérica donde se aprecia un retardo tanto en el orden constitucional como legislativo; 6) solo hacia finales de la década de los 90, del pasado siglo XX, es que se lo-gran definir estándares de protección que permiten el flujo de datos entre Esta-dos Unidos de Norteamérica y Europa; y 7) la definición del carácter autónomo e independiente del derecho con rango constitucional, no siempre se equipara con la aprobación de una ley específica que amplíe los preceptos de la Ley Su-prema, lo cual implica un desarrollo jurisprudencial notable.

Por último, se debe resaltar la aplicación de la llamada gobernanza de In-ternet, desde las instituciones del Estado y el gobierno, el sector privado y la sociedad civil en general y a través de la cual se aplican principios, normas, re-glas, procedimientos de toma de decisiones y programas comunes que dan for-ma a la evolución y a la utilización de Internet, todo lo cual constituye un ele-mento esencial para asegurar el desarrollo de toda sociedad y por consiguiente la protección de los derechos del titular de los datos de carácter personal.

2. El derecho a la protección de datos personales en la nueva Constitución Cubana de 2019

En Cuba el desarrollo informático ha constituido una prioridad para el Estado desde todos los ámbitos de la sociedad, hecho que se ha expresado en un sinnú-mero de acciones emprendidas, así como la búsqueda de soluciones legales en correspondencia con el nivel tecnológico alcanzado, sin dejar de manifestarse limitaciones causadas por factores de índole externo que han impedido alcan-zar un mayor impulso en este orden.

En el 2017 se aprueba la Política para el perfeccionamiento del sistema de la informatización de la sociedad con tres vertientes principales: para ga-rantizar el desarrollo socioeconómico sostenible, la administración pública y

1994, pp.257-262.





249

la utilización masiva de las TIC en el desarrollo de los procesos sociales en el ámbito nacional e internacional. Lo anterior ha permitido que se incremen-te el acceso a la información y al conocimiento haciendo uso de los avances tecnológicos, tanto por el incremento de conectividad, de la telefonía móvil, como por la aparición de nuevas plataformas y aplicaciones. Destacando las cuantiosas inversiones destinadas a extender y modernizar la infraestructura.

Específicamente en relación a la protección de datos, ha sido un propósi-to del Estado cubano resguardar el dato automatizado ante factores objetivos o ante conductas negligentes que ocasionen la alteración, sustracción o uso inadecuado de la información almacenada en soportes magnéticos. La estra-tegia gubernamental ha estado caracterizada por concebir la protección de la información en un sentido general orientada a la preservación de la confiden-cialidad, integridad y disponibilidad de ésta, sin percibir los daños que desde lo individual se le ocasionan al titular de los datos personales y para los cuales, tampoco existe expresión normativa específica que los proteja.

Por ello la estrategia propuesta a desarrollar en Cuba, aunque declara am-pliar el proceso de informatización poniendo a disposición de la mayor canti-dad de cubanos los medios tecnológicos que le permitan interactuar y ampliar su ámbito de conocimientos, además de los contenidos que en este sentido son reconocidos en la nueva Carta Magna cubana, así como la creación de normas que protegen la información en un sentido general, resultan insuficientes si se toman en cuenta las problemáticas generadas ante la inexistencia de una nor-mativa específica, que le permita al titular de los datos personales protegerse del uso, almacenamiento y tratamiento inadecuado de estos.

Hasta la Constitución de 197614 fue inexistente el reconocimiento ex-preso del derecho a la protección de datos personales, sin embargo se podían identificar pautas interpretativas básicas como el artículo refe-rido al desarrollo de la personalidad15 y otros casos como el derecho a la inviolabilidad del domicilio y a la inviolabilidad de la correspondencia,

14 Significó una expresión de identidad nacional, un acontecimiento histórico de orden político, institucional y jurídico y una de las victorias más trascendentes del proceso revolucionario que dio continuidad a la tradición del pueblo cubano de conferirle importancia esencial a la elaboración de la Lex Suprema. Matilla Correa, Andry, et al., La constitución cubana de 1976: cuarenta años de vigencia, La Habana, UNIJURIS, 2016.15 Referido al artículo 9, inc. a), tercera pleca, así como el artículo 58 constitucional. Constitución de la República de Cuba, de 24 de febrero de 1976. (actualizada hasta la reforma de 2002), La Habana, Ediciones Portón Caribe S.A, 2005.





250

reconocidos en los artículos 5616 y 57.17 Ambos preceptos expresaban formas en las que se podía generar vulneración a la persona humana en relación a sus datos personales, visto esencialmente, desde el quebran-tamiento de la intimidad del sujeto. Sin embargo, la forma en la que podía ser reparado el daño ocasionado, aún era insuficiente si se tiene en cuenta que al referirse al tipo de comunicaciones, solo se señalaba el respeto a las comunicaciones cablegráficas, telegráficas y telefónicas, y se excluían las electrónicas o digitales como formas más comunes dado el desarrollo tecnológico alcanzado por la sociedad cubana.18

Ante las nuevas formas en las que la persona humana se interrelaciona y don-de su vínculo con las tecnologías de la informática y las comunicaciones es prácticamente indispensable e inherente a cada proceso y actividad que este realice, el catálogo de derechos en la Ley Fundamental cubana estaba carente y requería de perfeccionamiento, lo cual fue posible con la promulgación de la Nueva Constitución Cubana en abril de 2019.

Son numerosos los elementos que distinguen a este nuevo texto, que lo hacen novedoso y atemperado a la realidad política, social y económica en Cuba. Aunque resalta el amplio catálogo de derechos, reconocidos desde una ordenación coherente y sistémica al agruparlos sin ofrecer una clasificación y eliminándose la denominación de “fundamentales” referida en la Constitu-ción de 1976, por tanto todos tienen igual valor y jerarquía. Los principios de progresividad, igualdad y no discriminación declarados en el artículo 41, cons-tituye otro aspecto que sobresale, con lo que se coincide con Cutié Mustelier cuando afirma que:

(…) se deja sentado la condición evolutiva de los mismos, la tabla de derechos no es un catálogo cerrado, sino que éstos se ensanchan y am-plían con el desarrollo de la sociedad, (…) a tono con las nuevas deman-das y exigencias de la sociedad, el desarrollo legislativo de los derechos

16 “El domicilio es inviolable. Nadie puede penetrar en el ajeno contra la voluntad del morador, salvo en los casos previstos por la ley.” Ídem.17 “La correspondencia es inviolable. Solo puede ser ocupada, abierta y examinada en los casos previstos por la ley. Se guardará secreto de los asuntos ajenos al hecho que motivare el examen respectivamente”, Ibídem.18 Muñiz Velázquez, M. T., “El Derecho a la inviolabilidad y secreto de las comunicaciones frente a las tecnologías de la información y la comunicación. Regulación jurídica en Cuba”, Tesis en opción al grado científico de Máster en Derecho Constitucional y Administrativo, Universidad de Oriente, Santiago de Cuba, 2013.





251

y la creación por parte del Estado de las condiciones materiales necesa-rias para su real disfrute y ejercicio.19

Otro referente significativo es el reconocimiento de nuevos derechos20 que in-discutiblemente se relacionan con el derecho a la protección de datos persona-les y hasta el momento estaban sin respaldo constitucional. Del mismo modo, son reveladoras las garantías constitucionales reguladas en el Capítulo VI “Ga-rantías de los Derechos” del citado Título V, donde se hace latente la presencia sustancial de garantías judiciales.21

Unido a lo anterior sobresale el artículo 97 donde se reconoce en forma de garantía el derecho a la protección de datos personales, a partir de la cual toda persona podrá acceder a sus datos personales en registros, archivos u otras bases de datos e información de carácter público, así como a interesar su no divulgación y obtener su debida corrección, rectificación, modificación, ac-tualización o cancelación. Ello evidencia cómo dicha regulación se ha con-formado con la denominación de garantía, sin delimitarse realmente como tal sino como un derecho. Es decir aparece ubicada en el Capítulo VI referido a las Garantías o mecanismos protectores de los derechos y no en el Capítulo II destinado a los derechos, máxime si en su redacción se aprecian elementos o rasgos propios de un derecho y no de garantía. Quizá esta ubicación errónea22 en el texto constitucional se deba a que en ocasiones resulta difícil trazar la lí-nea divisoria entre derechos y garantías, ya que existen determinados derechos que tienen rostro garantizador, al poseer carácter instrumental y servir para la tutela de otros derechos como es el caso del derecho objeto de análisis.23 Por

19 Cutié Mustelier, Danelia, ¿Por qué la Nueva Constitución cubana es Superior?, [Consultada 27 de febrero de 2019], Disponible en: http://www.unjc.co.cu20 El derecho a la vida, a la integridad física y moral, la libertad y la justicia; el derecho al libre desarrollo de su per-sonalidad; el derecho a la intimidad personal y familiar, la propia imagen, la voz, el honor, la identidad personal; el derecho de circulación por el territorio nacional, de salida y entrada al país y el derecho al acceso a la información pública o a recibir información veraz, objetiva y oportuna.21 Como la posibilidad de acceder a los órganos judiciales a fin de obtener una tutela efectiva, la utilización de méto-dos alternativos de solución de conflictos, el debido proceso como garantía a la seguridad jurídica tanto en el ámbi-to judicial como administrativo y se refuerzan para el proceso penal, el procedimiento de Habeas Corpus, entre otras.22 En el proyecto de Constitución sometido a consulta popular, sin embargo se reconocía en el Título IV “Derechos, Deberes y Garantías”, Capítulo II “Derechos Individuales”, artículo 55 refiriéndose que “Toda persona tiene el derecho de conocer lo que de ella conste en archivos o cualquier otra forma de registros públicos, así como a interesar su no divulgación y obtener su debida corrección, rectificación y actualización, de conformidad con lo establecido en la ley”.Cfr. Disponible en internet: http://www.cubadebate.cu. [Consultado: 22/1/2019]23 Cutié Mustelier, Danelia, “Los derechos en la Constitución cubana de 1976. Una relectura necesaria a cuarenta años de vigencia”, La Constitución cubana de 1976: Cuarenta años de vigencia, Editorial UNIJURIS, La Habana, 2016, p. 169.





252

otra parte, el precepto remite a una ley que aún es inexistente y a partir de la cual se podrán especificar aquellas formas en las que se asegurará el uso, alma-cenamiento y tratamiento de los datos personales.

Las carencias que hasta la Constitución de 1976 se manifestaban en cuan-to a la falta de regulación expresa del derecho a la protección de datos per-sonales y los derechos inherentes a la personalidad, así como la insuficiente delimitación de garantías, fueron revertidas con la nueva normativa constitu-cional cubana porque se ampliaron las formas de protección de los derechos y se aseguraron de una mejor forma el bienestar individual y colectivo no solo desde las funciones y obligaciones del Estado, sino desde la actuación de los particulares, otros entes y la sociedad en su conjunto.

De igual forma, quedaron solventadas las problemáticas en cuanto a las garantías legales, reconociéndose de forma explícita los derechos y las institu-ciones a las que se podrá acudir para reclamar y obtener su protección. Mien-tras que en relación a las garantías jurisdiccionales se significan mecanismos de defensa de los derechos como la tutela judicial efectiva, el habeas corpus y aquella que permite asegurar el acceso, no divulgación, corrección, rectifica-ción, modificación, actualización o cancelación de los datos personales. Sin embargo, constituye un reto el amplio proceso normativo que en lo sucesivo se acometerá en tanto son numerosos los artículos que remiten al desarrollo de leyes ordinarias.

Así, la nueva Constitución cubana marca un momento importante en el camino de desarrollar vías de protección a los titulares de la información per-sonal en medio de una sociedad en pleno proceso de informatización. Este he-cho, sin duda es el primer paso que se requiere aunque aún es inexistente una ley específica donde se desarrollen los preceptos constitucionales son varias las normas sectoriales24 que abordan la información en un sentido general e indis-tintamente pueden ser asumidas como reglas que protegen cierta información personal, ya sea porque traten datos sensibles o porque aparezcan en bases de datos de dichos sectores.

3. Principales desafíos de la nación cubana en la era digital

Como ya se analizaba anteriormente la nueva Constitución cubana de 2019 incorpora, aunque con rostro de garantía, el derecho a la protección de datos

24 Un ejemplo lo constituye el Decreto - Ley 370/2018 “Sobre la informatización de la sociedad en Cuba” y otro grupo de normativas publicadas en la Gaceta Oficial Ordinaria, No. 45, de 4 de julio de 2019.[Consultada 27 de febrero de 2019], Disponible en: http://www.gacetaoficial.gob.cu





253

personales. De esta regulación fundamental como primer desafío deberá pro-mulgarse una ley específica de protección de datos que permita configurar no solo aquellos principios rectores, sino las garantías fundamentales para el ejer-cicio del mismo, teniendo en cuenta incluso aquellas que aseguren la protec-ción de los datos sensibles.

Ante su reciente reconocimiento en el ámbito constitucional y su necesaria regulación ordinaria, se deben tener en cuenta los elementos técnico – jurídi-cos que configuran este derecho. En primer lugar su objeto, entiendo que éste se refiere a aquellos datos personales cuyo carácter privado o público, infor-matizados o en soporte plano permitan la identificación de su titular a partir de la conformación de un perfil que identifique o permita su identificación y cuyo conocimiento durante el tratamiento o uso posterior de estos afecte los derechos del titular.

Se podrán definir como sujetos activos o protegidos tanto a las personas naturales como las personas jurídicas. Mientras que los sujetos pasivos, po-drán ser el responsable del sistema de datos personales, entendiendo que será una persona natural o jurídica, privada o pública que decida sobre la finalidad, contenido y uso de los datos durante su tratamiento, almacenamiento y cesión. Asimismo, será sujeto pasivo el encargado del tratamiento entendido como la persona natural o jurídica, privada o pública que se encargue del tratamiento de los datos personales por cuenta del responsable del sistema de datos personales.

En relación al contenido esencial debe ser delimitado desde los derechos del titular: acceso, corrección, rectificación, modificación, actualización, can-celación u olvido y oposición. De este modo, también la normativa ordinaria debe tener en cuenta los límites específicos a delinear, subrayando que el pro-pio precepto constitucional 97 declara como límite una prescripción legal25 que fundamenta el uso y tratamiento de los datos, sin embargo la norma específica, con mayor grado de especificación, deberá definir otros límites que bien pue-den ser restricciones directas o referidas al modo, tiempo o lugar de ejercicio del derecho fundamental.

Otro particular en el que deberá detenerse dicha normativa está dirigida a las definiciones más importantes, a decir: datos personales, datos sensibles, fichero de datos, titular, responsable o encargado del tratamiento de los datos, por solo citar algunos ejemplos. Por último, corresponde delimitar garantías específicas como el procedimiento específico de habeas data, así como la de-nominación, composición y funciones de un órgano de control independiente

25 “(…) El uso y tratamiento de estos datos se realiza de conformidad con lo establecido en la ley”.





254

que será el facultado para dar solución, en la vía administrativa, a las reclama-ciones que se presenten, como una forma previa a la vía judicial.

Lo anterior derivará la aprobación de un conjunto de normas que garanticen el ejercicio de los derechos reconocidos, además del funcionamiento sistémico de la acción reguladora del Estado con las garantías del individuo, para evitar la eventual indefensión de éste ante el uso creciente de las tecnologías de la in-formática y las comunicaciones en la esfera personal. Solo entonces el titular de los datos personales podrá estar seguro de que estos no serán manipulados por personas inescrupulosas y eventualmente utilizados para fines no autorizados.

Otro desafío está planteado desde la proyección normativa en sectores cuyo avance experimentado en los procesos de informatización y el impacto económico y social de las actividades que realizan en beneficio de la persona humana, como es el caso del sector de las comunicaciones. Algunos elementos que constituyen rasgos caracterizadores de las normativas vigentes en dicho sector, radica por ejemplo en que el análisis de la información se hace desde una perspectiva general, aunque en las disposiciones más recientes se enun-cian aspectos relativos a la salvaguarda de los datos de carácter personal, si bien de forma limitada y dispersa.

Por ello están orientadas a resguardar la integridad, disponibilidad de la información, la preservación de la confidencialidad y la declaración de me-didas de seguridad desde el ámbito técnico, sin que pueda percibirse en todas ellas, de forma ordenada y coherente la puntualización del tipo de dato a prote-ger, aunque a partir de las resoluciones 254/201726 y 256/201727 y más recien-temente con la Resolución 99/201928 y el Decreto 360/201929 junto al grupo de normas30 promulgadas el 4 de julio de 2019 se establece la responsabilidad

26 Reglamento para los proveedores de servicio público de acceso a internet, de 29 de septiembre de 2017, Publicado en la Gaceta Oficial Ordinaria, No. 3, de 31 de enero de 2018, [Consultada 7 de febrero de 2018], Disponible en: http://www.gacetaoficial.gob.cu27 Reglamento del proveedor de servicios públicos de aplicaciones, de 29 de septiembre de 2017, Publicado en la Gaceta Oficial Ordinaria, No. 4, de 26 de febrero de 2018, [Consultada 9 de marzo de 2018], Disponible en: http://www.gacetaoficial.gob.cu28 Reglamento para las redes privadas de datos, GOO, No. 39, La Habana, 29 de mayo de 2019. Publicado en la Ga-ceta Oficial Ordinaria, No. 39, de 29 de mayo de 2019, [Consultada 2 de junio de 2019], Disponible en: http://www.gacetaoficial.gob.cu29 Sobre la seguridad de las tecnologías de la información y la comunicación y la defensa del ciberespacio nacional. Publicado en la Gaceta Oficial Ordinaria, No. 45, de 4 de julio de 2019, [Consultada 27 de agosto de 2019], Disponible en: http://www.gacetaoficial.gob.cu30 Resolución 124/2019 “Reglamento para la producción de los programas y aplicaciones informáticas y la eva-luación de su calidad”, la Resolución 125/2019 “Sistema de inscripción de programas y aplicaciones informáticas”, la Resolución 126/2019 “Reglamento con las medidas de control y los tipos de herramientas de seguridad que se implementan en las redes privadas de datos”, la Resolución 127/2019 “Reglamento del proveedor de servicios





255

general de proteger los datos personales para aquellas entidades que por sus funciones los posean o controlen, remitiendo a una ley específica que como ya se planteaba es aún inexistente en el contexto nacional.

La profusa legislación administrativa del Ministerio de las Comunicacio-nes no garantiza una tutela efectiva si de información personal se trata, de ahí la importancia de contar con una ley específica que además de ampliar los preceptos de la Carta Magna cubana contribuya a una mayor coherencia de las diferentes normativas sectoriales actualmente vigentes.

Por otra parte, como bien ha señalado Amoroso Fernández31 la protec-ción de los datos abarca también los regímenes de importación y exportación de productos informáticos fundamentalmente los soportes magnéticos, por lo que las normas jurídicas deberán hacerse extensivas a las normas de control aduanero. En esta línea de análisis resulta significativo prever sanciones a con-ductas que atentan contra la integridad de los datos, en tanto hasta el momen-to han quedado sin prescripción en el Código Penal cubano figuras delictivas concretas que puedan aplicarse ante conductas que contengan acciones de esta índole, lo cual implica no solo impunidad o aplicación por parte del tribunal de aquellos preceptos que no se ajustan con el hecho cometido, sino vulneración de los derechos del titular de los datos.

En resumen, la nación cubana como parte de la amplia elaboración y aprobación normativa que la propia Constitución exige desarrollar, deberá emprender acciones que aseguren los preceptos constitucionales ante el cons-tante progreso tecnológico que experimenta la sociedad y teniendo en cuenta fundamentalmente, las amenazas que se presentan ante el uso o tratamiento incorrecto de la información personal.

De igual forma, es fundamental configurar los elementos constitutivos del derecho a la protección de datos personales, de modo que permita la identifica-ción y concreción de su contenido esencial, en pos de una adecuada regulación jurídica, aplicación e interpretación del mismo por parte de los operadores ju-rídicos y el logro del efectivo ejercicio por parte de los ciudadanos.

públicos de alojamiento y de hospedaje en el entorno internet”, la Resolución 128/2019 “Reglamento de seguridad de las tecnologías de la información y la comunicación y la Resolución 129/2019 “Metodología para la Gestión de la Seguridad Informática. Publicadas en la Gaceta Oficial Ordinaria, No. 45, de 4 de julio de 2019, [Consultada 27 de agosto de 2019], [Disponible en: http://www.gacetaoficial.gob.cu]31 Amoroso Fernández, Yarina, La informática como objeto de derecho. Algunas consideraciones acerca de la pro-tección jurídica en Cuba de los datos automatizados, Revista cubana de Derecho, Unión de Juristas de Cuba, No.1, enero-marzo 1991, La Habana, pp. 40-52.





256

4. Conclusiones

Los desafíos que enfrenta la sociedad actual, provenientes del constante desa-rrollo de las tecnologías, trasciende en el uso, almacenamiento, cesión y dis-ponibilidad de la información personal. Como consecuencia de ello, de forma sistemática y ante la necesaria protección de la persona humana el Derecho encuentra nuevas vías de salvaguarda y atempera otras ya existentes.

Hasta la Constitución cubana de 1976 era inexistente el reconocimiento del derecho a la protección de datos personales, hecho que fue superado con la aprobación de la nueva Carta Magna en 2019, por ello como parte del proceso de perfeccionamiento del ordenamiento jurídico cubano constituye una ne-cesidad de primer orden desarrollar en una normativa ordinaria los preceptos constitucionales en torno a este derecho en la que se declare de forma directa dicha denominación para asegurar mayor claridad teniendo en cuenta su ca-rácter autónomo y reconociendo su relación con otros derechos.

En el orden normativo se manifiestan en el sector de las comunicaciones insuficiencias en torno a la protección de datos personales en Cuba, en tanto se aborda la información en sentido general orientada a la preservación de la confidencialidad, integridad y disponibilidad de ésta, no se especifican los tipos de datos y centran la atención en establecer reglas que rigen la gestión y tratamiento de la información en general.

5. Bibliografía

Amoroso Fernández, Yarina, “La informática como objeto de derecho. Algunas consi-deraciones acerca de la protección jurídica en Cuba de los datos automatizados”, Revista cubana de Derecho, Unión de Juristas de Cuba, La Habana, No.1, ene-ro-marzo 1991, pp. 40-52.

_____, Ponencia presentada en el Congreso Internacional de Información (INFO 2016), La Habana, Cuba.

Constitución de la República de Cuba, de 24 de febrero de 1976. (Actualizada hasta la reforma de 2002), La Habana, Ediciones Portón Caribe S.A, 2005.

Correa, Carlos M., Nazar Espeche, Félix A., Czar de Zalduendo, Susana, “Derecho infor-mático”, Depalma, Buenos Aires, 1994, pp.257-262.

Cutié Mustelier, Danelia, “Los derechos en la Constitución cubana de 1976. Una relec-tura necesaria a cuarenta años de vigencia”, La Constitución cubana de 1976: Cuarenta años de vigencia, Editorial UNIJURIS, La Habana, 2016, p. 169.

______“¿Por qué la Nueva Constitución cubana es Superior?”, [Consultada 27 de febre-ro de 2019], Disponible en: http://www.unjc.co.cu





257

Delpiazzo, C., “El Derecho telemático: respuesta a la convergencia tecnológica”. VII Congreso Iberoamericano de derecho e Informática, Lima, 2000, p. 54 y ss.

_____, “Facilitación del Comercio Electrónico por el derecho uruguayo”, Comercio elec-trónico, Faira, Buenos Aires, 2003, p. 55.

Finger, Lutz, Recommendation Engines: The Reason Why We Love Big data, Nueva York, Forbes Tech, 2014.

· Gaceta Oficial Ordinaria, No. 45, de 4 de julio de 2019. [Consultada 27 de febrero de 2019], Disponible en: http://www.gacetaoficial.gob.cu

Garriga Domínguez, Ana, Nuevos retos para la protección de datos personales. En la era del big data y de la computación ubicua, Madrid, Dykinson, 2015.

Herrera Bravo, Rodolfo, “Cloud computing y seguridad: despejando nubes para prote-ger los datos personales”, Revista de Derecho y Ciencias Penales, Universidad San Sebastián, Chile, No. 17, 2011, pp. 43-58.

Martínez Devia, Andrea, “La inteligencia artificial, el big data y la era digital: ¿una amenaza para los datos personales?”, Revista la Propiedad Inmaterial, Colom-bia, No. 27, enero – junio 2019, pp. 5-23.

Matilla Correa, Andry, et al., La constitución cubana de 1976: cuarenta años de vigen-cia, La Habana, UNIJURIS, 2016.

Muñiz Velázquez, M. T., “El Derecho a la inviolabilidad y secreto de las comunicaciones frente a las tecnologías de la información y la comunicación. Regulación jurídi-ca en Cuba”, Tesis en opción al grado científico de Máster en Derecho Constitu-cional y Administrativo, Universidad de Oriente, Santiago de Cuba, 2013.

Murrillo de la Cueva, Pablo Lucas, El derecho a la autodeterminación informativa, Fun-dación Coloquio Jurídico Europeo, Madrid, 2009, p. 101.

Pérez Luño, A. E., Los derechos humanos ante las nuevas tecnologías, Nuevas tecnolo-gías y derechos humanos, Ed. Tirant lo Blanch, Valencia, 2014, p. 31.

Proyecto de Constitución de la República de Cuba. Disponible en internet: http://www.cubadebate.cu. [Consultado: 22/1/2019]

Téllez Valdés, Julio, Derecho informático, 2da. Edición, Mc. Graw Hill, México, 1996, p.263.




259


¿Robots con derechos?: la frontera entre lo humano y lo no-humano. Reflexiones desde la teoría de los derechos humanos*Robots with rights?: The limits between the human an the non-human. Reflections from a theory of human rights

Juan Francisco Díez Spelz**

resumenEl presente documento aborda uno de los problemas más apremiantes de la teoría de los derechos humanos: la titularidad de los mismos. Es decir, quiénes pueden ser titulares de estos derechos. Las implicaciones de la respuesta que se dé a esta pregunta tienen efectos incluso en nuestra comprensión acera de la frontera entre lo humano y lo no-humano en el ámbito jurídico. En este sentido, se reflexiona en torno a si es congruente el atribuir los mismos en ciertos casos a robots o sistemas de Inteligencia Artificial, con el fin de analizar las implicaciones que esto supondría. La idea de fondo será el preguntarse acerca de si a través de los esfuerzos por atribuir derechos humanos a este tipo de realidades, se logra el objetivo primordial de los mismos, es decir, el respeto de la dignidad humana.

palabras claveDerechos humanos, inteligencia artificial, robots, dignidad humana, persona jurídica electrónica.

abstractThis article addresses one of the most imperative problems for a theory of human rights: entitelement. That is, who is entiteled to these rights. The implications of any answer given to this question, may have effects in the manner in which we understand the limits between what is human and what it is not in the legal context. In this sense, it would be reflected about whether it is consistent for robots or AI systems to be entiteled to human rights, and what the possible implications of this possibility may be. The document will analyse if the attribution of human rights to these entities is coherent with the idea of human dignity.

keywordsHuman rights, artificial intelligence, robots, human dignity, electronic juridical person.

*Artículo de Investigación postulado el 30 de abril de 2020 y aceptado el 3 de noviembre de 2020**Profesor investigador en la Facultad de Derecho de la Universidad Panamericana, Ciudad de México. ([email protected]) orcid.org/0000-0003-0376-9272




J U A N F R A N C I S C O D Í E Z S P E L Z

260

SUMARIO1. Introducción2. Planteando el problema ¿Hacia una “personalidad jurídica electrónica”?3. Hacia una teoría de los derechos humanos en el contexto de la Inteligencia Artificial4. Lo humano y lo no-humano: hacia una reflexión en torno a robots y derechos

humanos5. Conclusión6. Bibliografía

1. Introducción

En el libro El Cerdo que quería ser jamón, Julian Baggini presenta un experi-mento mental que plantea la cuestión que analizaremos en el presente artículo. En el capítulo titulado “Free Simone”, un robot “esclavo” inicia procedimiento contra sus dueño con base en el Artículo 4 del Convenio Europeo para la pro-tección de Derechos Humanos y Libertades Fundamentales por considerar que se le ha violado su derecho a la libertad y prohibición de trabajos forzados, tomando en cuenta que es también una persona y que como tal debe ser titular de derechos, al igual que cualquier ser humano.1

Partimos de que vivimos en un tiempo tanto de derechos, como de ciencia y tecnología.2 La confluencia de estos dos paradigmas hace que la cuestión de los derechos humanos en el contexto de la robótica, haya llevado a algunas voces a plantearse si robots inteligentes y autónomos pudieran llegar a ser “personas jurídicas electrónicas” y, con ello, ser titulares de derechos humanos, o al menos derechos similares a éstos. Esto hace pensar en ejemplos como el del párrafo anterior. Aun cuando continuemos en el estado de la experimentación mental para afrontar este fenómeno, en este artículo se propone una reflexión acerca de la posible atribución de personalidad o derechos desde una teoría de los derechos humanos, lo que supone pensar acerca de la titularidad de los mismos.

La tesis que se pretenderá demostrar es que, independientemente de la atri-bución o no de derechos o personalidad a cierto tipo de entes, como robots o sistemas de IA, la problemática que permanece en el fondo de estas cuestio-nes es el preguntarse por la frontera entre lo “humano” y lo “no-humano”, así como por el paradigma de cómo los derechos humanos pueden responder a los

1 Cfr. Baggini, Julian, El cerdo que quería ser jamón: y otros noventa y nueve experimentos para filósofos de salón, Paidós, 2007, passim. 2 Cfr. Salardi, Silvia, “Robótica e Inteligencia artificial: retos para el derecho”, en Revista Derechos y Libertades, no. 42, enero 2020, Disponible en: doi: 10.14679/1158, p. 211.




¿ R O B O T S C O N D E R E C H O S ? : L A F R O N T E R A E N T R E L O H U M A N O Y L O N O - H U M A N O . . .

261

procesos de “humanización”. Para ello, comenzaremos planteando el problema en torno a la posible atribución de “personalidad jurídica” a robots y sistemas de IA. En una segunda sección se presentan ciertos elementos de una teoría de los derechos humanos en éste contexto, para en la tercera sección reflexionar en torno a la frontera entre lo humano y lo no humano con una propuesta ha-cia la humanización del derecho en estos ámbitos.

2. Planteando el problema ¿Hacia una “personalidad jurídica electrónica”?

El presente artículo busca reflexionar acerca de la posibilidad de que robots o sistemas de Inteligencia Artificial (IA) puedan considerarse como titulares de cierto tipo de derechos –humanos o “robóticos”3- derivado de un recono-cimiento de una probable “personalidad jurídica”. Esta es una problemática que, más allá de resolver la cuestión acerca de la atribución o no de derechos a diversos tipos de “personalidades”, supone un reto para la comprensión de la naturaleza e implicaciones de los derechos, así como de sus efectos prácticos. Es decir, supone preguntarnos por el significado de “tener derechos”, así como el fundamento de su atribución en realidades como la dignidad o la conciencia.

Los avances en IA y robótica al menos nos plantean un escenario donde podemos cuestionarnos los fundamentos, no sólo de los derechos –humanos o de otro tipo- sino en general del Estado de Derecho. En efecto, Tasioulas reco-noce que la innovación tecnológica supone uno de los mayores retos que en la actualidad se le presentan al Estado de Derecho, sobre todo por la tentación de utilizarlos para “mejorar lo humano” o “mejorar la forma en que se aplica el derecho”. De cualquier forma, no debe perderse de vista que los mismos son creaciones humanas y, por ello, deficientes.4 Entonces, nuestra esperanza en los mismos debe ser mesurada. Aún así, la posibilidad de que logren altos niveles de “inteligencia” y “autonomía” justifica la preocupación en torno a su status jurídico.

En este sentido, la reflexión que se propone implica, como lo reconoce Michel Frommkin, el cuestionarnos acerca de la naturaleza tanto de un robot,

3 García, José, “¿Tienen que tener los robots los mismos derechos y obligaciones que nosotros?”, en La Información, 28 de enero 2018, Disponible en:<https://www.lainformacion.com/economia-negocios-y-finanzas/tienen-que-te-ner-los-robots-los-mismos-derechos-y-obligaciones-que-nosotros/6340964/>4 Cfr. Tasioulas, John, “The Rule of Law”, en Tasioulas, J. (Ed)., The Cambridge Companion to The Philosophy of Law, Cambridge, 2020, pp. 131-132.





262

como la de un derecho subjetivo en particular, o la del derecho en general.5

Aparentemente estamos en un contexto donde no basta realizar la distinción jurídica tradicional entre personas y cosas, sino que se inserta una nueva po-sibilidad derivada de los avances tecnológicos en temas de machine learning, autonomía y capacidades de la inteligencia algorítmica en sus relaciones con otros sujetos de derecho. De hecho, Yuval Noah Harari plantea este problema como uno de los principales retos para nuestro siglo, incluso suponiendo que podría, en algún momento, hacer que cambie nuestro concepto de humanidad.6

De esta forma, el marco en el que se desarrolla el análisis sobre la inno-vación tecnológica y la posible “personalidad” de entidades no humanas pero creadas por el hombre está inscrito, de acuerdo con Silvia Salardi en la relación entre ciencia, tecnología y derecho.7 En este sentido, el derecho debe buscar la medida entre los intereses de la investigación o el desarrollo científico y los derechos o libertades fundamentales, preguntándose si “¿es el Derecho el que tiene que “dar forma” a las tecnologías o son estas las que “modelan” al Dere-cho?”8 En todo caso, la pregunta está inscrita en el reconocimiento jurídico de quién es persona y lo que implica reconocer personalidad a una determinada entidad en términos de igualdad de trato y consideración.9

Desde el año 2013 se ha planteado en Europa la pregunta acerca de los “derechos de los robots”, y sobre todo acerca de la naturaleza de los mismos y la conveniencia de dotarlos de un estatus distinto a los aparentemente co-nocidos10 -persona física, persona jurídica, animal u objeto-, como “personas jurídicas electrónicas”.11 Aunque en un dictamen del Comité Económico y So-cial Europeo niega esta posibilidad, por los riesgos morales que puede suponer, primando en este sentido el carácter instrumental de la Inteligencia Artificial,12

5 Cfr. Froomkin, A. Michel, “Prólogo” en Barrio Andrés, Moisés, Derecho de los Robots, Madrid, Wolters Kluwer, 2ª Edición, 2019. 6 Cfr. Harari, Yuval Noah, 21 lecciones para el siglo XXI, México. Debate, 2020, p. 77.7 Cfr. Salardi, Silvia, “Robótica e Inteligencia artificial…Op. Cit., p. 211. 8 Íbid.9 Cfr. Íbidem, p. 215.10 Barrio Andrés, citando al psicólogo Peter Kahn, concluye que los robots podrían pertenecer a una categoría on-tológica nueva. Esto al menos de acuerdo a la percepción que varias personas tienen al respecto. Cfr. Kahn, Peter: “The new ontological category hypothesis in human-robot interaction”, en Proceedings of the seventh annual ACM/IEEE international conference on Human-Robot Interaction, Boston, Massachusetts, 2012; en Barrio Andrés, Moisés, “Hacia Una Personalidad Electrónica Para Los Robots.” Revista de Derecho Privado, no. 2, Marzo 2018, p. 100.11 Cfr. Aransay Alejandre, Ana María, “Antecedentes y propuestas para la regulación jurídica de los robots”, en Barrio Andrés, Moisés, Derecho de los Robots, Madrid, Wolters Kluwer, 2ª Edición, 2019. 12 “3.33. (...) El CESE se opone a cualquier tipo de estatuto jurídico para los robots o sistemas de IA por el riesgo moral inaceptable que ello conlleva. La legislación en materia de responsabilidad tiene un efecto correctivo y preventivo que podría desaparecer” en cuanto el riesgo de responsabilidad civil dejase de recaer sobre el autor por haberse





263

lo que comienza a vislumbrarse es “...un reto en la concepción de la máquina y del propio ser humano en un marco legislativo que necesariamente abarca la ética y la filosofía”.13

De hecho, las reflexiones relativas a este entorno enmarcado en la socie-dad del “conocimiento y la información” han llevado a algunos autores a justi-ficar el surgimiento de nuevos “derechos” vinculados con el ciberespacio, la in-formática y la tecnología. No sólo eso, sino que se plantea, al hablar incluso de una cuarta, quinta y hasta sexta generación de derechos humanos, de atribuir estos a entidades no humanas. Por un lado, a animales o recursos naturales en el caso de la “cuarta generación”, pero también a sistemas de IA o robots, por la posibilidad de que puedan presentar conductas autárquicas disociadas del progrmador en el caso de una “quinta generación”.14

Sin embargo, el planteamiento no puede ser tan sencillo como únicamente reconocer “nuevos derechos” al proponer generaciones de los mismos. El pro-blema de la atribución de personalidad y, sobre todo de relación ontológica entre seres humanos y otras realidades persiste. De hecho, en contextos donde se desarrollen máquinas súper inteligentes, Sergio Cotta advierte el peligro de que el ser humano llegue a sentirse menos funcional e inferior a las mismas, aun cuando hayan sido inventos suyos y comience una artificialización de sí mismo.15 Estos son también los retos que presenta el transhumanismo, espe-cialmente refiriéndose a la mejora del ser humano o al alcance de una singula-ridad tecnológica por parte de determinadas máquinas.16

En este contexto, la IA puede entenderse como aquellos sistemas creados por el ser humano, que pueden hacer predicciones, recomendaciones, decisio-nes que influyen tanto en ámbitos virtuales como reales, funcionando con dis-tintos niveles de autonomía.17 El término “inteligencia” hace referencia a una

transferido al robot (o sistema de IA). Además, una forma jurídica así sería susceptible de uso y aplicación indebidos. La comparación con la responsabilidad limitada de las sociedades no es válida, puesto que el responsable en última instancia es siempre una persona física…”. Comité Económico y Social Europeo, “Dictamen del Comité Económico y Social Europeo sobre la «Inteligencia artificial: las consecuencias de la inteligencia artificial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad», Pleno No. 526, 2917/C 288/01 31 mayo 2017. 13 Aransay Alejandre, Ana María, “Antecedentes… Op. Cit.14 Cfr. Medina Parra, Rosa Isabel, “Derechos humanos en México: entre la modernidad, posmodernidad y ultramo-dernidad”, en Revista de Ciencias Sociales y Humanidades, Volumen 29, Número 57, Enero-Junio 2020, Disponible en: DOI: http://dx.doi.org/10.20983/noesis.2020.1.7, p. 161. 15 Cfr. Cotta, Sergio. La sfida tecnológica, Bologna, Il Mulino, 1968, p. 80.16 Cfr. Vinge, Vernor, “Technological singularity”, en More, Max y Vita-More, Natasha, The transhumanist reader, Oxford, Wiley-Blackwell, 2013. Véase también Agar, Nicholas, Truly human enhancement; A philosophical defense of Limits, Londres. The MIT Press, 2014. 17 Cfr. Campuzano Gallegos, Adriana, Inteligencia Artificial para abogados. Ya es tiempo…, México, Thomson Reuters, 2019, pp. 10-11.





264

cualidad (-ia) del que (-nt-) sabe escoger (legere) entre (inter) varias opciones.18

Es decir, supone una capacidad de algún ente de discernir entre varias opciones y de razonar de manera práctica. Incluso con efectos éticos en la naturaleza y consecuencias de las acciones.19

Sin pronunciarnos en esta oportunidad acerca de si efectivamente una máquina puede ser inteligente en el mismo sentido que un ser humano, po-demos de cualquier manera reconocer la existencia de una IA estrecha o débil, diseñada únicamente para realizar ciertas tareas de manera limitada y auto-matizada, como predicción de compras, publicidad dirigida, asistente virtuales, entre otros, y el de una IA fuerte o general, que podrían operar con autonomía volitiva y capacidad de improvisación, reconocimiento de emociones e incluso conciencia propia.20 Esta última es la que, aunque no desarrollada aún, supone mayores retos para plantearnos si, por su nivel de “inteligencia”, pudieran ser acreedores de derechos similares a los “humanos”.

De la referencia anterior se desprenden dos términos que son muy rele-vantes para la reflexión en torno a la naturaleza, alcances y efectos de la IA en términos jurídicos: inteligencia y conciencia. En cuanto a la inteligencia, ya Nick Bostrom reconoce la posibilidad de sistemas de este tipo al menos de emular la inteligencia humana, sobre todo hacia esquemas de IA fuerte, con la problemática que podría implicar en cuanto a la incertidumbre que generarían las decisiones tomadas por algoritmos.21 Pero sin ir por lo pronto tan lejos, al hablar de inteligencia tenemos primero que reconocer la existencia de inteli-gencia animal, humana y artificial junto con el problema de la consciencia.22

En cualquiera de los casos, tanto en el caso animal, como en el humano o en el de ciertos sistemas, la inteligencia se referiría a la capacidad de resolver ciertos problemas evaluando entre opciones.23 Sin embargo, no en todos los casos se da el fenómeno de la consciencia, al menos en su factor moral, como mencio-naremos más adelante.

18 Cfr. “Etimología de inteligencia”, en Diccionario Etimológico Español en Línea, Disponible en: <http://etimologias.dechile.net/?inteligencia>.19 Para un análisis ético del razonamiento práctico propio de los seres humanos, Cfr. García Huidobro, Joaquín, El anillo de Giges; Una introducción a la tradición central de la ética, México, Notas Universitarias, 2020, pp. 157-16120 Cfr. Campuzano Gallegos, Adriana, Inteligencia Artificial...Op. Cit., pp. 13-14 y 29. 21 Cfr. Bostrom, Nick, Superinteligencia: caminos, peligros, estrategias, Teell Editorial, 2016, pp. 18-23. 22 Cfr. Lexcellent, Christian, Artificial Intelligence versus Human Intelligence; Are Humans Going to Be Hacked?, Cham, Springer, 2019, p. 5. 23 Cfr. Ibid. Lexcellent también identifica, citando a Stefano Mancuso y a Alessandra Viola en el libro “Brilliant Green”, la existencia de una inteligencia específica en las plantas, ya que las mismas forman sistemas complejos entre ellas donde también deben tomar decisiones en cuanto al uso de recursos o la respuesta a amenazas externas. Cfr. Íbidem, pp. 45-49





265

La inteligencia “empleada” por sistemas algorítmicos para la resolución de problemas aún ahora se entiende como una emulación de la humana, por su vinculación con el programador. De cualquier modo, los avances en estos sistemas, aun cuando se reconozcan como “simulaciones” de la inteligencia humana, son sorprendentes en reconocimiento de patrones, reconocimiento de voz o toma de decisiones al elegir o trasmitir información, de forma que pue-den llegar también a simular sentimientos y hasta consciencia, con las implica-ciones éticas tan profundas que esto podría suponer.24 Sin ahondar demasiado, los efectos del uso de estos avances se pueden hacer sentir en cuestiones como pérdida de trabajos, racismo, la democracia, la vigilancia o el espionaje.25

En tanto plantas, animales, humanos o sistemas artificiales podamos ser considerados como “solucionadores de problemas” y, por ello, inteligentes en algún sentido, una de las principales diferencias que distinguen a sistemas de IA con la inteligencia humana es que, de acuerdo con Lexcellent, los primeros parecería que sólo pueden desarrollar inteligencia matemática basada en al-goritmos y, por lo tanto depender de las instrucciones dotadas por un progra-mador, mientras que los humanos contaríamos también con un “inteligencia heurística” que nos permite elegir aquello que parece más efectivo en una si-tuación dada, con intuición, sin necesidad de explorar todas las posibilidades; sólo las más favorables o probables.26 Por ahora parece que en cualquier caso, la IA tanto débil como fuerte, se reduce al aspecto matemático o lógico propio de los algoritmos.27

De cualquier manera, siguiendo de nuevo a Bostrom, aunque las aplicacio-nes de IA se encuentren dentro del terreno de la simulación de actividades inte-lectuales del ser humano, uno de los riesgos que se presentan para la probable consideración de una personalidad al menos para algunos de estos sistemas se inscribe en la posibilidad de que los mismos mejoren las capacidades humanas en algunos aspectos y hasta en la probable manipulación de conceptos o reglas

24 Cfr. Íbidem, pp. 6-14.25 Cfr. Íbidem, pp. 30-36.26 Cfr. Íbidem, p. 15. Para esto, Lexcellent cita y analiza el pensamiento de Karl Popper. 27 Los algoritmos tienen un aspecto lógico relevante. De hecho, en gran medida podrían ser clasificados como entidades matemáticas y lógicas que primordialmente utilizan proposiciones o razonamientos condicionales (de “si, entonces”). Por ello, el papel del programador es esencial, ya que dota de contenido a estos razonamientos. De cualquier modo, puede perderse control en el desarrollo práctico de las hipótesis programadas, a través del apren-dizaje que realiza la máquina. Cfr. Veatch, William S., The New Logic of the Law; Building a Foundation for Artificial Intelligence in the Law, Kindle Edition, 2018.





266

por parte de los mismos, sobre todo cuando se puedan simular los aspectos heurísticos de la inteligencia humana.28

El problema se complica cuando pasamos del terreno de la inteligencia al de la conciencia.29 Ya no es el terreno únicamente de la solución de problemas, sino del percatarse de los pensamientos y del propio yo; en últimas cuentas, el problema de la mente humana. No es lo mismo la “consciencia” como una forma de “percatarse” del propio yo y de la acción, que la “conciencia” como la propiedad que permite a la mente distinguir entre el bien y el mal, de conocer sus necesidades y querencias en un aspecto temporal que permita forjar un ser

“autobiográfico”.30

En el contexto de los sistemas algorítmicos un reto todavía pendiente en la conformación de su naturaleza y de la manera que los comprendemos es determinar su grado de conciencia. Aún cuando Damasio supone en principio que sí se podría crear un artefacto consiente, sirviéndonos de la tecnología avanzada y de datos neurobiológicos,31 existen objeciones a esta postura. Una de ellas, planteada por John Searle supone que un sistema de IA puede utilizar o traducir símbolos para resolver problemas, pero sin comprenderlos, a seme-janza de una persona encerrada en una “habitación china” donde adquiere con ayuda de un diccionario la capacidad de traducir del chino al inglés a través de los símbolos de las palabras, pero sin entender el idioma.32

Las consideraciones anteriores dificultan o al menos presentan retos para la comprensión de la naturaleza y alcances de sistemas de IA en su contexto algorítmico. Más cuando estos se involucran o están presentes en el ámbito de la robótica. Se puede considerar a un robot como “...una máquina, provista de cierta complejidad tanto en sus componentes como en su diseño o en su compor-tamiento, y que manipula información acerca de su entorno para así interactuar con él”.33 De acuerdo con la RAE, un robot es una “[m]áquina o ingenio electróni-

28 Cfr. Bostrom, Nick, Superinteligencia…Op. Cit., p. 12.29 De acuerdo con Harari, uno de los problemas actuales es que se suele confundir a la inteligencia con la conciencia. Cfr. Harari, Yuval Noah, 21 lecciones… Op. Cit., pp. 91-92. 30 Cfr. Damasio, Antonio, La sensación de lo que ocurre; cuerpo y emoción en la construcción de la conciencia, México, PAIDOS, 2019, pp. 202 y 311. 31 Cfr. Íbidem, p. 317.32 Cfr. Monin, Maxim Aleksandrovich, Terekhova, Vera Albertovna y Ledeneva, Elena Vladimirovna, “The Chinese Room Argument in the context of the rational action theory.” Utopia y Praxis Latinoamericana 25, Octubre 2020, pp.179–86. Disponible en: doi:10.5281/zenodo.3984228.33 García-Prieto Cuesta, Juan “¿Qué es un robot?” en Barrio Andrés, Moisés, Derecho de los Robots, Madrid, Wolters Kluwer, 2ª Edición, 2019.





267

co programable que es capaz de manipular diversas operaciones”,34 lo que lo hace estar relacionado con la posibilidad de programación de la IA.

En su relación con la IA, un robot puede realizar tareas más o menos com-plejas y automáticas. También puede o no tener una forma humana. Pero inde-pendientemente de la forma, entre más estrecha es la relación con la IA y por lo tanto más impredecible, el robot puede asemejarse más a un ser humano, sobre todo en los terrenos del libre albedrío o de la propia identidad, lo que hará cada vez más compleja la relación entre seres humanos y robots. Por estas características es por lo que, como veremos, esfuerzos jurídicos actuales consi-deran oportuno dotarlos en ciertas condiciones de una “personalidad jurídica electrónica”, con las implicaciones que esto puede tener para el terreno de los derechos. La pregunta, planteada entre otros por Llano Alonso en Homo Excel-sior supone cuestionarse acerca de la posibilidad de agencia moral por parte de robots e incluso acerca de las razones que podrían justificar la misma.35

Cabe mencionar que el Parlamento Europeo sugirió, en una importante resolución del 16 de febrero de 2017 que a futuro será conveniente considerar a algunos robots -aquellos con un desarrollo tal que tomen decisiones autóno-mas- como personas electrónicas, sobre todo para efectos de la responsabilidad civil por daños que puedan cometer.36 Se hace patente de esta manera la inquie-tud general por considerar como una opción jurídicamente viable la cataloga-ción de estos sistemas como titulares de derechos y deberes, derivados de una presunta “personalidad”. Aún cuando se sugiere que de esto no se derivaría el hecho de que los robots puedan beneficiarse de “derechos humanos” sino únicamente dotarlos de un estatus similar al de las corporaciones para temas de responsabilidad, también hay voces que lo consideran inapropiado desde un perspectiva tanto ética como legal.37 Efectivamente, detrás de esta problemáti-

34 Diccionario de la Real Academia Española, voz “Robot”, consultada el 7 de septiembre de 2020 en la página Web: <https://dle.rae.es/robot>. El origen de la palabra “robot” viene directamente del inglés, pero se toma originalmente del checo “robota”, que significa “trabajo”. La palabra fue popularizada por el autor checo Karel Čapek en el libro R.U.R. (Rossum’s Universal Robots). 35 Cfr. Llano Alonso, Fernando, Homo Excelsior. Los límites ético-jurídicos del transhumanismo, Tirant lo Blanch, 2018, pp. 152-3. 36 Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL). <europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html>. 59. Pide a la Comisión que, cuando realice una evaluación de impacto de su futuro instrumento legislativo, explore, analice y considere las implicaciones de todas las posibles soluciones jurídicas, tales como:f) crear a largo plazo una personalidad jurídica específica para los robots, de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posiblemente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente.37 Cfr. Delcker, Janosch, “Europe divided over robot “Personhood”, Politico, 11 abril 2018. Consultado en la dirección





268

ca se encuentra terreno fértil para reflexionar en torno a la titularidad como al concepto y naturaleza filosófica de los derechos, especialmente los “humanos”.

Sin embargo, de acuerdo con el Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías, aunque algunos sistemas de IA pueden llegar a presen-tar capacidades intelectuales o cognitivas muy avanzadas, incluso superiores y entendidas como autónomas, en el sentido propio del término, el concepto de

“autonomía” debe vincularse únicamente a los seres humanos y a su dignidad. La relación con la tecnología no debe de implicar, de acuerdo a este informe, un reconocimiento de derechos, sino un esfuerzo complejo por parte de la sociedad para determinar lo que es “bueno” y la forma de interacción con la tecnología.38

Por su parte, la Carta abierta a la Comisión Europea en temas de IA y robó-tica, firmada por más de 150 expertos en el tema, sostienen que la atribución de un estatuto jurídico de personas a máquinas, robots o sistemas de IA no debería fundarse ni en el modelo de la persona física, ni en el de la persona moral o jurídica. En el primero de los casos porque equiparar a estos sistemas a las per-sonas físicas supondría atribuirles derechos humanos, lo que es esencialmente problemático; en el segundo caso porque admitiría reconocer que detrás de la acción de los robots habría intereses humanos, lo cual podría contradecirse con aquellos sistemas con capacidad de “autonomía” o “autoaprendizaje”.39

El suponer o al menos plantear la posibilidad de reconocer una perso-nalidad distinta a robots y sistemas de inteligencia artificial, con el efecto de dotarlos de un estatus jurídico que los haga acreedores de derechos y obliga-ciones es una preocupación en el fondo por lo “humano”, que supone tanto el fundamento como la razón de ser de la existencia de estos derechos. Si cier-tos atributos que en el futuro puedan tener estos sistemas los equiparará a “lo humano” de forma que una “personalidad completa” nos lleve a una era de

“derechos post-humanos”40 o por el contrario, estas características deben situar a estas entidades con un estatus jurídico distinto, reservando estos derechos únicamente a los “seres humanos”.

El problema planteado por esta postura conduce las reflexiones a los te-rrenos de la antropología filosófica. Específicamente, la distinción entre ser

URL: <https://www.politico.eu/article/europe-divided-over-robot-ai-artificial-intelligence-personhood/>38 Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías. Declaración sobre Inteligencia artificial, robóti-ca y sistemas “autónomos”, Bruselas, 9 marzo 2018, Disponible en: <http://www.bioeticayderecho.ub.edu/archivos/pdf/EGE_inteligencia-artificial.pdf>39 Cfr. Salardi, Silvia, “Robótica e Inteligencia…Op. Cit., p. 208. La “carta abierta” a la Comisión Europea se puede consultar en <http://www.robotics-openletter.eu/>.40 Cfr. Koops, Hildebrandt and Jaquet-Chiffell, “Bridging the Accountability Gap: Rights for New Entities in the Information Society?” Minnesota Journal of Law, Science & Technology, Vol. 11, No. 2 (2020), 497-561, 554.





269

humano o individuo y persona.41 Parece que los enfoques actuales para la de-terminación de los fundamentos para reconocer titularidad de derechos hu-manos es que el sujeto cuente con la condición de “persona” más que la de miembro a la especie humana. Esta posición se conoce como “personismo”, e implica la tarea de descubrir los rasgos que hacen que un ente pueda ser consi-derado como persona. Me parece que los esfuerzos por reconocer personalidad y derechos a robots se plasma en este tipo de reflexiones, igual que en el caso de reconocimiento de personalidad a empresas, ríos o animales.

De hecho, parece que el poder para dotar de “personalidad” a una determi-nada entidad, depende del sistema jurídico que tiene a su cargo definir quiénes son titulares de derechos y de obligaciones. Personas jurídicas, en este sentido, por definición no son seres humanos propiamente hablando, sino entidades que deben ser capaces de tener intereses (generalmente respaldados por se-res humanos). En el fondo, la personalidad jurídica, de acuerdo con Solaiman supone que el ente pueda (i) ser sujeto de derecho, (ii) tener la posibilidad de

“ejercer” derechos y deberes y (iii) disfrutar de derechos implica tener concien-cia y libertad.42

Sin embargo, el reconocimiento de personalidad a una determinada enti-dad tiene como uno de sus principales objetivos el solucionar el problema de la responsabilidad por sus “actos”. Es por ello que la resolución del Parlamento Europeo antes referida propone la creación de un registro para robots.43 En el fondo, la reflexión debe enfocarse en el problema de la autonomía; si un sis-tema de este tipo puede tener libertad para actuar de determinada manera44 y, en su momento, responder si un acto cometido por aquel supondría respon-sabilidad. De acuerdo con Fiordi, para asignar responsabilidad a un agente se requiere previamente el reconocimiento de un deber. Como los sistemas de IA o robots en principio no tienen una responsabilidad moral, en todo caso se podría hablar de que, al causar daños tendrían una responsabilidad objetiva o

“accountability”, donde el derecho tendrá que responder por los mecanismos de reparación.45

41 Cfr. Ballesteros, Jesús, “Sergio Cotta y los retos del Siglo XXI.” Persona y Derecho, no. 57, Diciembre 2007, pp. 71–79.42 Cfr. Solaiman, S M. “Legal personality of robots, corporations, idols and chimpanzees: a quest for legitimacy” (2017) 25 (2) Artificial Intelligence and Law, University of Wollongong, 155-179.43 Cfr. Resolución (2015/2103(INL). <europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html>.44 Cfr. Salardi, Silvia, “Robótica e Inteligencia…Op. Cit., p. 221.45 Cfr. Dodig Crnkovic, Gordana, “Floridi’s Information Ethics as Macro-Ethics and Info-Computational”, Research Gate, 6 junio 2016, DOI: 10.1007/978-94-007-4292-5_1





270

De cualquier modo, un par de ejemplos dejan abierta la posibilidad de la agencia moral por parte de estos sistemas y de esta forma abierta también la cuestión en torno a la personalidad de estos agentes. Así, Sparrow sostiene que un sistema de IA puede ser considerado persona por la constatación de su agencia moral. Y si los robots tienen cierta autonomía tienen también la posibilidad de actuar de mejor o peor manera, lo que los haría al menos en un primer plano responsables por sus acciones. Esto brinda la posibilidad de cas-tigar la acción de un robot, pero supone que “matarlo” o desactivarlo sería en un primer momento “injusto”, lo que implicaría que castigos “menos” severos puedan también ser injustos. De este razonamiento supone que una máquina que supere el test de Turing debe tener personalidad para juzgar la justicia o injusticia de las conductas que pongan en riesgo su existencia.46

Otro ejemplo lo expresa Guillermo Lariguet en un reciente artículo don-de supone hipotéticamente, basándose en las reglas de Isaac Asimov,47 que un robot podría ser titular de derechos en tanto sea posible que tenga problemas al construir razonamientos prácticos, al igual que los seres humanos. Esto se manifestaría particularmente al interpretar las citadas reglas, lo que supondría que, si un robot puede discriminar y elegir entre dos posibilidades A o B, está ejerciendo su libertad pudiendo dañar a otro. Esto lo dota necesariamente de deberes y derechos morales.48 El reconocer inteligencia y conciencia a estos sis-temas los podría hacer “demasiado humanos” y, con ello, titulares de este tipo de derechos, lo que facilitaría el razonamiento práctico en caso de conflictos de intereses.

La sola posibilidad de imaginar una atribución de personalidad a sistemas de IA o robots, con el posible efecto del reconocimiento de ciertos derechos en algunos contextos, hace necesario realizar algunas reflexiones en torno a la teoría de los derechos humanos. Esto lo haremos en la siguiente sección; por

46 Cfr. Sparrow, Rob, “Can machines be people? Reflections on the Turing Triage Test”, en Lin, Patrick, Abney, Keith y Bekey, George A., Robot Ethics: The ethical and social implications of robotics, Massachusetts Institute of Tech-nology, 2012, p. 305.47 Las reglas de los Robots de Asimov son las siguientes:

1. Un robot no puede dañar a un ser humano ni, por inacción, permitir que un ser humano sufra daño.2. Un robot debe cumplir las órdenes de los seres humanos, excepto si dichas órdenes entran en conflicto con la

Primera Ley.3. Un robot debe proteger su propia existencia en la medida en que ello no entre en conflicto con la Primera o la

Segunda Ley.48 El autor llega a estas conclusiones desde el análisis de dos cuentos de Isaac Asimov: “¿Qué es el hombre?” y “El hombre bicentenario”. Cfr. Lariguet, Guillermo. “Humano, Demasiado Humano: ¿Podrían Tener Derechos Morales (Algunos) Robots? Un Análisis Filosófico a Partir De Dos Cuentos De Isaac Asimov”. Principia Iuris 15, no. 28 (Julio 2017): 121 y 128.





271

ahora podemos concluir este apartado junto con Roger Barta cuando dice que “[s]i se quiere imaginar máquinas cibernéticas que logran conquistar su libertad y autonomía, rompiendo las cadenas que las atan a los humanos, habrá que reflexionar antes sobre las condiciones que a nosotros nos permiten ser libres. Las máquinas, hasta hoy, constituyen un mundo completamente dominado por cadenas deterministas, salvo cuando sus inventores ejercen el libre albedrío que con dificultades han conseguido”.49

3. Hacia una teoría de los derechos humanos en el contexto de la Inteligencia Artificial

Uno de los problemas más apremiantes de cualquier teoría de los derechos hu-manos es el de definir quiénes son titulares de los mismos y, por lo tanto, quié-nes y ante quiénes se pueden reclamar estos derechos.50 Las respuestas que se den a esta pregunta son definitorias no sólo para la teoría, sino también para la práctica de los derechos humanos. Son comunes las discusiones en torno a si las colectividades, los niños, los no nacidos, los animales, las generaciones futuras, las corporaciones e incluso los robots son o pueden ser titulares de estos derechos, y las implicaciones que esto tendría.51

Es importante también preguntarse por los derechos que una determinada entidad puede reclamar, así como por las razones que justifican la atribución de un “derecho humano” a su titular y el por qué puede reclamarlo. En la fór-mula básica de un derecho humano como derecho subjetivo presentada por Alan Gewirth, donde A tiene un derecho a X exigible a B, por virtud de Y,52 el reto que se presenta es definir quién puede ser A, así como los derechos “x” que puede reclamar, ante quién y por qué.53 De acuerdo con James Dawes, la pre-gunta en el fondo podría también ser planteada en el sentido de averiguar qué significado tendrá para los derechos humanos el hecho de que la inteligencia artificial trascienda la humana.54 Las implicaciones de esta pregunta para los

49 Bartra, Roger, Cerebro y Libertad. Ensayo sobre la moral, el juego y el determinismo. México, Fondo de Cultura Económica, 2017, pp. 153-154.50 Waldron, Jeremy, Law and Disagreement, Oxford University Press, 1999, p. 226.51 Íbid. Véase también, Ramírez García, Hugo Saúl y Pallares Yabur, Pedro de Jesús, Derechos Humanos, México, Oxford University Press, 2011, pp. 75-86. 52 Cfr. Gewirth, Alan, The Community of Rights, Chicago, The University of Chicago Press, 1996, pp. 8-9.53 Es importante preguntarse siempre por los porqués de los derechos humanos porque de lo contrario se corre el riesgo de verlos como una retórica vacía. Cfr. Fagan, Andrew, Human Rights; Confronting Myths and Misunderstan-dings, Camberley, Edward Elgar, 2009: p. 145. 54 Dawes formula la pregunta de la siguiente manera: “What will it mean for human rights when artificial intelli-gence trascends the human?”. Cfr. Dawes, James, “Speculative Human Rights”, en Human Rights Quarterly, Volume





272

derechos humanos pueden tener efectos tanto para la titularidad como para las posibles afectaciones en la exigencia de estos derechos.

Hay que considerar, dentro de este contexto, que los derechos humanos se han vuelto un paradigma ético actual, que parece que convierten cualquier ac-ción en buena. A esto Francesco Viola lo ha llamado la “ética de los derechos”,55

quizá una explicación para comprender el amplio uso de este lenguaje en la actualidad. Sin embargo, el extendido uso de los mismos ha hecho que exista una inflación de derechos, que quieren utilizarse para prácticamente cualquier circunstancia, incluida una ética para los robots, con el riesgo de que los mis-mos pierdan valor, tal como en una inflación monetaria.56

Si bien los derechos humanos se basan en valores, también lo hacen en ne-cesidades radicales de los seres humanos, entendidas como aquellas que, de no cumplirse, generan un daño grave, ya sea individual o social. Pero en este caso, también es necesario poder dialogar acerca de los criterios que hacen a una necesidad real o verdadera o falsa.57 Esto nos lleva al tema de la autenticidad de los derechos humanos, no sólo en su formulación normativa, sino también in-terpretativa. En trabajos previos -siguiendo a Sergio Cotta-, hemos sostenido que la autenticidad de los derechos humanos debe enfocarse en el ámbito coe-xistencial del ser humano, reconociendo su ontología y características propias, así como en los valores que sostienen estos derechos, su perdurabilidad en el tiempo, así como una vinculación entre libertad y responsabilidad.58

Sin embargo, más allá de la cuestión de si tienen o deben tener derechos los robots, qué derechos “tendrían” y cómo estarían fundamentados, me parece que debemos considerar, junto con Freeman, que los derechos no son “cosas” que se

42, Number 3, August 2020, p. 575 Disponible en: DOI: 10.1353/hrq.2020.0033. 55 Una ética de los derechos es “aquella ética en la que los derechos son el valor prioritario y dominante, y en la que, por tanto, la cuestión fundamental no consiste en establecer si una acción es buena o debida, sino si se tiene o no el derecho a realizarla”. Cfr. Viola, Francesco, “La ética de los derechos”, en Doxa, núm. 22, 1999, p. 507.56 De acuerdo con Francesco Carnelutti, “Los efectos de esta inflación legislativa [y podemos adaptarlo a lo que ahora analizamos: de los derechos humanos] son los mismos que los de la inflación monetaria, la desvalorización; en nuestro caso, la pérdida de valor del Derecho, de la certeza y de la propia racionalidad…”. Prieto Sanchís, Luis. El constitucionalismo de los derechos; Ensayos de filosofía jurídica. Madrid, Editorial Trotta, 2013, p. 183. Se le atribuye a Franceso Carnelutti la comparación entre las dos realidades. Efectivamente, dice él que “…. los inconvenientes de la inflación legislativa no son menores que los debidos a la inflación monetaria: son como todos saben, los incon-venientes de la desvaloración”. Carnelutti, Francesco. Cómo nace el derecho. Bogotá, Editorial Temis, 2010, p. 55.57 Cfr. Rodríguez Palop, María Eugenia, Claves para entender los nuevos derechos humanos, Madrid, Catarata, 2011, pp. 33-36.58 Cfr. Ramírez-García, Hugo Saúl y Díez Spelz, Juan Francisco, La autenticidad y el fundamento de los derechos humanos. Una aproximación desde la filosofía jurídica de Sergio Cotta. Madrid, Universidad Complutense de Ma-drid, 2016, pp. 185-203.





273

tienen,59 sino títulos que pueden reclamarse y sobre los cuales alguna entidad tendrá deberes para respetar y protegerlos. Por eso, ante temas límites como el que nos atañe, la labor intelectual debe enfocarse en la justificación y fundamen-tación de los mismos. De acuerdo con Jeremy Waldron, puede sostenerse que se

“tiene” un derecho, o que alguien es titular de los mismos, cuando se constata un interés por parte del titular que está suficientemente fundado como para atri-buirle un deber a otro. En el caso de los individuos humanos, la existencia de intereses o necesidades suficientes para fundamentar un “derecho” es un tema en general aceptado.60 El problema se presenta con otro tipo de entes.

En este sentido, la distinción ontológica entre distintos entes para la atri-bución de derechos se vuelve apremiante. Como adelantábamos al final de la sección anterior, las dudas o problemas límites entre la atribución de “perso-nalidad” o “derechos” a un ente, está relacionada con la posibilidad de agencia moral y, sobre todo, con la calidad de deberes y de trato que se les debe de dar precisamente por dicha agencia, fincada ya sea en valores como la dignidad o la libertad. De cualquier forma, en el caso particular de robots o sistemas de IA, la cuestión, siguiendo a Gunkel, se refiere no sólo a si los mismos tienen derechos, sino a “si” deben tenerlos.61

La consideración planteada por Gunkel vuelve el tema un asunto no tanto ontológico, sino deontológico y traslada el objeto de nuestra reflexión al análi-sis hipotético. De acuerdo de nuevo con Dawes, el terreno hipotético o de expe-rimentación mental en el que nos encontramos puede hacernos hablar de “de-rechos especulativos”, basados en cuestiones de razón, y no de tradición.62 De esta manera, ante los esfuerzos apuntados que pretenden otorgar personalidad y, por lo tanto, posiblemente derechos, a entidades como robots o sistemas de IA, debemos preguntarnos qué implicaría que alguna de estas entidades tuvie-ra “derechos”, y qué conductas o deberes se desprenderían de este hecho para otros, específicamente otros humanos, corporaciones, autoridades o institucio-nes. Por ahora, me parece que la intuición que genera la cuestión permanece en el terreno de las preguntas y las hipótesis, pero vale la pena considerarla, ante los efectos que pudiera tener, y de hecho ya tiene, la tecnología en la vida de los seres humanos.

59 Cfr. Freeman, Michael, Human Rights, Cambridge, Polity, Third Edition, 2017: p. 7.60 Cfr. Waldron, Jeremy, “Rights and Human Rights”, en Tasioulas, J. (Ed)., The Cambridge Companion to The Philo-sophy of Law, Cambridge, 2020, p. 152.61 Gunkel, David J., “The other question: can and should robots have rights?”, en Ethics Inf Technol, 20, 2018, pp. 87–99.62 Cfr. Dawes, James, “Speculative… Op. Cit., pp. 575-576.





274

De cualquier modo, debemos ser cuidadosos con el lenguaje y lo que im-plica. En otras palabras, es una invitación a continuar la reflexión en torno a lo que significa “tener” o “ser titular” de cualquier derecho y a las posibles impli-caciones de una inflación de los mismos al usarse en cualquier circunstancia. Por ejemplo, Patrick Hopkins, analizando un presunto derecho a la mejora de los seres humanos (o human enhancement) en el contexto del transhumanismo, es consciente del riesgo que se corre al pretender utilizar este lenguaje para cualquier situación. Incluso sostiene que sería de gran ayuda un “detector de derechos”, pero al no ser el caso, la tarea del jurista debe centrarse en justificar y fundamentarlos al caso concreto.63

En principio, decir que uno tiene un derecho, o que es titular de mismo, significa expresar un juicio acerca de la legitimidad de un acto dentro del con-texto social o la necesidad de satisfacer ciertos intereses.64 Este juicio supone un compromiso moral hacia los titulares de los mismos, por considerarlos como seres dignos que merecen un reconocimiento y determinado trato. También pueden entenderse los mismos como las condiciones que hacen posible que una sociedad sea justa.65 Pero en cualquiera de los casos, fundamentados en la dignidad del sujeto que puede reclamarlos.

Al parecer, la realización de estas exigencias se complica para el caso de los robots y sistemas de IA. Si pensamos en la dignidad humana como fun-damento intrínseco de los derechos humanos, parte del razonamiento que ya hemos iniciado debe enfocarse en la determinación del estatus que la IA podría tener a futuro –o que incluso tiene hoy en día a través de diversos medios–; si como mera herramienta o instrumento, o con la posibilidad de interactuar de tal manera con los humanos que en su coexistencia se haga necesario un otor-gamiento de cierta “dignidad”, aunque sea graduada,66 derivada de una posible

“singularidad” o “individualidad” detectable para cada sistema.

63 Hopkins plantea en este artículo que tradicionalmente la teoría de los derechos humanos ha enfocado sus es-fuerzos en fundamentarlos ya sea en el derecho natural, en la autonomía o en los intereses del sujeto. Cfr. Hopkins, Patrick, “Is Enhancement worthy of being a right?”, en More, Max y Vita-More, Natasha, The transhumanist reader, Oxford, Wiley-Blackwell, 2013. Véase también Agar, Nicholas, Truly human enhancement; A philosophical defense of Limits, Londres. The MIT Press, 2014, p. 347. 64 Rodríguez Puerto, M. J. y Robles, G., “Algunas precisiones en torno a los derechos humanos”, en Megías Quirós, José Justo, Manual de Derechos Humanos: los derechos humanos en el siglo XXI, Thomson Aranzdi, 2006, p. 24. 65 Cfr. Weston, Burns H, “Human Rights: Concept and Content”, in Weston, Burns H., and Grear, Anna, Human Rights in the World Community; Issues and Action, University of Pennsylvania Press 2016: p. 7.66 De acuerdo con Menke, la dignidad puede entenderse de cuatro maneras distintas: 1) Dignidad dada y sin gradaciones, 2) Dignidad dada y con gradaciones, 3) Dignidad adquirida sin gradaciones y 4) Dignidad adquirida con gradaciones. Si los seres humanos tenemos de acuerdo con él una dignidad dada y con gradaciones, surge la pregunta de si alguna otra entidad pudiera estar dotada de algún otro tipo de dignidad. Cfr. Meneke, Christoph y





275

Si bien la dignidad humana es un atributo de los seres humanos, que po-demos aceptar en principio que se posee por el mero hecho de serlo, y que de la misma derivan ciertas exigencias prácticas de comportamiento que se van desa-rrollando -una dignidad dada y con posibles gradaciones-,67 la reflexión en torno al otorgamiento de “personalidad jurídica electrónica” a algunos entes tendría que preguntarse si lo mismo implicaría un otorgamiento también de cierta “dig-nidad” como fundamento de una determinada expectativa de trato en el marco de sus acciones, tanto en el posible terreno de los derechos humanos como en el de la responsabilidad. En este sentido sería preguntarse si puede haber otro tipo de “dignidades”, como lo intuye Etinson en un reciente artículo.68

Cierto es que el fenómeno de la dignidad, y sobre todo el de sus implica-ciones, es complejo. Etinson incluso reconoce que una teoría acerca de la mis-ma tiene al menos que contemplar la cuestión acerca de su naturaleza, de sus requerimientos prácticos, aspectos metodológicos y, sobre todo, las exigencias prácticas que se desprenden de la misma.69 Por otro lado, autores como Laura Valentini propugnan por desvincular el concepto de dignidad del de humani-dad, sosteniendo que la misma no es inherente, sino que depende de un status al que al menos, aún cuando la autora no lo contempla, pueda reconocérsele a entes dotados de personalidad, como el que analizamos.70

Aunque personalmente me inclino por pensar que la dignidad es una ca-racterística inherente a los seres humanos; un aspecto dado y graduado, como sugiere Menke, y que puede entenderse como valor social, principio o incluso como un derecho,71 no debemos desdeñar por ese motivo la pregunta en torno al status de creaciones humanas como la IA o los robots, sobre todo por la capacidad que tienen o tendrían de emular ciertas acciones humanas. Pero no sólo eso, sino que considero que la pregunta es pertinente por la coexistencia o vinculación con los seres humanos, es decir, que la cuestión de su estado o de su personalidad incluso se justificaría de manera derivada, sin perder de vista lo humano. Al menos ese debería ser uno de sus objetivos y será tratado en el siguiente apartado.

Pollmann, Arnd, Filosofía de los Derechos Humanos, Barcelona, Herder, 2010, pp. 147-149. 67 Cfr. Íbid. 68 Cfr. Etinson, Adam, “What’s So Special About Human Dignity?”, en Philosophy & Public Affairs 48, no. 4, 2020, p. 372. 69 Cfr. Íbidem, p. 356.70 Cfr. Valentini, Laura, Dignity an, d Human Rights: A Reconceptualisation, Oxford Journal of Legal Studies, Vol. 37, No. 4, 2017, pp. 862–885, Disponible en: doi:10.1093/ojls/gqx011.71 Cfr. Barak, Aharon, Human Dignity: The Constitutional Value and the Constitutional Right, Cambridge University Press, 2015.





276

La discusión actual no debe olvidar estos supuestos, ni dar por sentada la “normalidad” de los derechos humanos para ser atribuidos a distintos entes. Es, como hemos sostenido, un problema al fin y al cabo de justificación que debe preguntarse por las razones de lo jurídico. Sin duda actualmente, sobre todo pen-sando en el tema de la responsabilidad, podemos sugerir que son los fabricantes, diseñadores o incluso los usuarios quienes tendrán que responder por acciones nocivas atribuibles a un sistema algorítmico, pero a futuro, si el artefacto co-mienza a funcionar sin guía humana, o incluso “superando lo humano”, la clave de la responsabilidad y por lo tanto de los derechos no se vuelve tan clara.72

En este sentido, el mismo Parlamento Europeo, aparte de sugerir la creación de un estatuto de la persona electrónica, también propone la creación de un có-digo de conducta ético voluntario que regule los impactos sociales, ambientales y de salud humana de la robótica, y que asegure que operen de acuerdo a derecho, contando con un botón de desconexión para casos de emergencia, así como la creación de un registro para robots inteligentes.73 En ese contexto, los derechos humanos o fundamentales, así como los principios de no maleficencia, benefi-cencia, autonomía y justicia deben ser el marco de actuación para la reflexión ética en torno al papel que jugarán los robots en un futuro.74

La Declaración de Toronto del año 2018 también hace patente el riesgo que pueden correr los derechos humanos en contextos de interacción entre siste-mas de IA con seres humanos. En particular, los problemas pueden presentarse por el machine learning, o capacidad de las máquinas de aprender y volverse, más que meros “instrumentos”, herramientas imprevisibles para los humanos. Esto puede llevar por un lado a problemas de discriminación, cuando las má-quinas operen sus algoritmos de manera que una víctima humana se vea afec-tada. Otro problema surge de la opacidad de la actividad de una máquina. El no saber cómo se tomaron las decisiones que nos afectan, por parte de sistemas de IA, hace complicado un sistema de responsabilidad. Por eso, en contextos de interacción, la preocupación consiste en que los robots no violen derechos hu-manos tanto nuestros, como de generaciones futuras, pero también evaluando las exigencias dentro de estos contextos de interacción.75

72 Cfr. Froomkin, A. Michel, “Prólogo”…Op. Cit.73 Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), 59. <europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html>.74 Íbidem, 13, 66 y Anexo. Véase también Barrio Andrés, Moisés, “Robótica, inteligencia artificial y Derecho”, en ARI 103/2018 - 7/9/2018, p. 5.75 Cfr. The Toronto Declaration: Protecting the right to equality and non-discrimination in machine learning systems, Disponible en: <https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto Declaration_ENG_08-2018.pdf>





277

Destaca en estos supuestos la posibilidad de contemplar algoritmos como sujetos activos de probables violaciones a derechos humanos. A esto Ureña lo ha llamado recientemente “autoridad algorítmica”, indicando que,

“...los procesos de decisión autónomos se usan en ocasiones para cum-plir funciones estatales, o son usados por particulares de forma tal que pueden poner en riesgo los derechos humanos. En estos dos casos, esta-mos ante el ejercicio de una verdadera autoridad algorítmica, que tiene, al menos, cuatro características: es “autoridad”, pues se trata de un ejercicio de la capacidad de determinar, mediante el uso de algoritmos, el comportamiento de un individuo o entidad”.76

En cualquier caso, independientemente de la atribución o no de derechos a sistemas de IA o robótica, así como la detección de sus responsabilidades en la materia, es importante contemplar que es un fenómeno que se debe considerar cuando pensamos en personas y personalidad. De cualquier modo, de acuerdo con Jesús Ignacio Martínez, los derechos humanos son categorías a través de las cuales pensamos, y definen la forma en la que interactuamos actualmente y en el futuro.77 Considerando así a los derechos humanos, estos se configuran como los parámetros de validez y justicia de las distintas acciones humanas

–Martínez los considera por eso como la “conciencia” del derecho.– En este sentido, deben ser utilizados como esquemas mentales para transformar, crear y diseñar los algoritmos, pero también para planear la interacción entre el ser humano y la máquina inteligente, poniendo a la persona en primer plano, tan-to a la que está detrás del algoritmo, como los programadores, inversores, dise-ñadores, como a los usuarios o posibles personas que se vean afectadas por las acciones de la IA.78 Los derechos humanos, como títulos y criterios de justicia, deben estar detrás de todas estas interacciones.

4. Lo humano y lo no-humano: hacia una reflexión en torno a robots y derechos humanos

Después de haber realizado estas reflexiones en torno a los derechos huma-nos y los sistemas de IA o robots, considero que la problemática de fondo se

76 Cfr. Urueña, René, “Autoridad Algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘Big Data’?” en Latin American Law Review, no. 2, enero 2019, p. 105. 77 Cfr. Martínez García, Jesús Ignacio, “Inteligencia y derechos humanos en la sociedad digital”, en Cuadernos Elec-trónicos de Filosofía del Derecho, Número 40, 2019, p. 176.78 Cfr. Íbidem, pp. 185-6.





278

inscribe en la distinción entre aquello que es humano y lo no-humano. El tér-mino “humano” en sus orígenes hace referencia a la tierra o terrenal, en oposi-ción a lo divino o a lo animal.79 Repensar lo humano en este contexto perfila la problemática de cómo nos comprendemos como miembros de la especie, frente a otros seres como los sistemas que analizamos en este estudio. Este contraste me parece está en juego cuando nos entendemos no sólo frente a lo animal o las cosas, sino ante seres o sistemas que nos impresionan por su capacidad creada y que cuestionan hasta cierto punto el mismo concepto de humanidad. En definitiva, la categoría de humano no se puede entender si no se pone en conexión con lo no-humano.80

Aparentemente, nuestras capacidades únicas nos marcan y definen, otor-gando una especial dignidad, que parece que se puede confrontar con la de otros entes.81 En cuanto a los derechos que se desprenden de esta categoría, como lo apunta también Martínez, hay que tomar en cuenta que los mismos surgieron precisamente de la confrontación entre lo humano y lo inhumano

-la barbarie, la injusticia, el desprecio y habría que agregar que por fenómenos como la esclavitud o las masacres- y que ahora se nos abre otro frente con lo

“no humano”, en la interacción con la IA.82 Posiblemente, podríamos decir, es de los mayores retos para el concepto de derechos humanos, porque compren-demos que esta interacción puede ser objeto de confusiones entre lo que es verdaderamente humano y lo que no.

En este tema, Moisés Barrio Andrés analiza qué tanto, y hasta qué punto, una posible “nueva categoría” de sujeto jurídico como la probablemente atri-buible a entes no-humanos puede ser “titular” de ciertas exigencias o expecta-tivas. En todo caso, el problema se materializa en el tema de una “atribución de status”, que puede ser en estos casos incompleta, contextual e incluso inesta-ble u oportunista.83 De acuerdo con este mismo autor,

“…la personalidad electrónica —que no persona electrónica— puede ser reputada como un enfoque plausible al problema, tanto para los robots dotados de un cuerpo como para los robots software que exhiben un cierto grado de autonomía e interactúan con las personas, en cuanto

79 Cfr. Mancosu, Paola, “Repensar lo humano. Aproximaciones post-dualistas a la obra de Gamaliel Churata”, en Bulletin of Hispanic Studies, 97, no. 8, septiembre 2020: 859-69, doi:10.3828/bhs.2020.49.80 Cfr. Íbidem, p. 866.81 Cfr. Etinson, Adam, “What’s So Special…Op. Cit., p. 354.82 Cfr. Cfr. Martínez García, Jesús Ignacio, “Inteligencia y derechos humanos…Op. Cit., pp. 178-180.83 Cfr. Barrio Andrés, Moisés, “Hacia una personalidad electrónica para los robots”, en Revista de Derecho Privado, no. 2, marzo 2018, p. 103.





279

que tendrían la posibilidad de ser titulares de relaciones jurídicas con sus correspondientes derechos y obligaciones, y tener un cierto reco-nocimiento jurídico de su subjetividad, fundamentalmente en derechos de naturaleza patrimonial, pero no los constitucionales ni los de la per-sonalidad, absolutamente consustanciales a la dignidad de los seres humanos tal y como recuerdan textos internacionales recientes como la Declaración universal de la UNESCO sobre bioética y derechos hu-manos de 2005 o la Carta de los Derechos Fundamentales de la Unión Europea de 2000”.84

En este caso, una “personalidad” –que no persona, hay que enfatizar– recono-cida a entes “no-humanos” podría de acuerdo con el autor ser un fundamento suficiente para la atribución de ciertos derechos, pero no de aquellos “huma-nos”, sino solo los “patrimoniales”. Esto nos lleva de nuevo a la considera-ción de la dignidad como algo propiamente “humano”. Si bien, pensando en la “persona” más que en la “personalidad”, aun cuando todos los seres tienen un determinado valor, la relación entre lo humano y lo no-humano nos debe de permitir repensar lo que verdaderamente significa ser lo primero.85 De cual-quier manera, me parece que el rescate de lo humano consiste no únicamente con reconocer la naturaleza racional del ser humano, sino otros aspectos que son esenciales, como su capacidad de relación, su limitación, su finitud y la consciencia que tenemos de nuestra propia imperfección e indigencia.86

De esta forma, preguntas acerca del desarrollo moral de algoritmos y má-quinas, nos compele a pensar profundamente en los aspectos en los que como humanos nos parecemos a las mismas y lo que nos distingue y otorga un deter-minado estatus moral y jurídico.87 También implica reflexionar en torno a la in-teracción social con robots, pues no sabemos si será “social” en el mismo senti-do que con seres humanos.88 Esta interacción se volverá mayor, de acuerdo con Hakli, en cuanto conceptos como obligación, responsabilidad y compromiso se integren en las relaciones mutuas entre distintos entes.89 Estos conceptos

84 Íbidem, p. 105. 85 Cfr. Palacios, Leopoldo-Eulogio, “La persona humana”, Verbo, núm. 495-496 (2011), p. 407. 86 Estos elementos se toman de la propuesta antropológica de Sergio Cotta. Para él, estas características son defi-nitorias del ser humanos. Cfr. Cotta, Sergio. Il diritto nell´esistenza; Linee di ontofenomenologia giuridica. Milano, Giuffré Editore, Seconda edizione, 1991, passim.87 Cfr. Wallach, Wendell Arnhold, “Moral Machines and Human Ethics “, en J. Seibt et al. (Eds.), Sociable Robots and the Future of Social Relations, IOS Press, 2014, p. 19.88 Cfr. Hakli, Raul, “Social Robots and Social Interaction”, en J. Seibt et al. (Eds.), Sociable Robots and the Future of Social Relations, IOS Press, 2014, p. 105.89 Cfr. Íbidem, p. 106.





280

normativos parece que serán reflejo de interacciones que podrían hacer nece-sario que los mismos se traduzcan en derechos y obligaciones.

Así, Travieso es puntual al afirmar que parece que se ha dejado ya el huma-nismo tradicional, pues los agentes no humanos han adquirido cada vez mayor relevancia y la interacción entre lo humano y lo no humano transforma las ideas que tenemos acerca de la vida en sociedad y, por supuesto, el derecho.90

Las reflexiones en torno al replanteamiento de este humanismo tradicio-nal, a la relación entre lo humano y lo no-humano, deberán dirigirse también al contexto del transhumanismo, donde se apuesta por la mejora de la con-dición humana por la hibridación entre la naturaleza humana y aquella de la inteligencia artificial.91 Esto supone el riesgo de producir desigualdad social entre aquellos que pueden acudir a estas “mejoras” y aquellos que no, lo que en palabras de Campione puede provocar la deshumanización de la especie, al acudir a conceptos como el de una “dignidad posthumana”92 a la que no todos puedan acceder y que, me parece, iría en contra del concepto mismo de digni-dad o al menos al de igualdad entre personas que puedan o no acceder a estos avances. Recuerda esto a los retos que se han planteado desde siempre acerca de la teoría de los derechos humanos donde no todos han sido siempre recono-cidos como titulares de los mismos, como reconoce Waldron.93

Parecería que, en un horizonte posthumanista donde cuasimáquinas, o cuasihumanos convivan entre ellos, será necesario preguntarse por lo que queda del ser humano como tal. En este sentido, la reflexión deberá tomar en cuenta aspectos antropológicos relevantes, incluso bioéticos, que permi-tan comprender los orígenes y consecuencias de pretender crear un hombre robótico, sólo por la posibilidad tecnológica de realizarlo.94 Como decíamos anteriormente, justamente por estas razones, el problema que se tiene en frente es de naturaleza eminentemente moral, que debe encauzar la ciencia y el pro-greso hacia la obtención de auténticos beneficios, que tengan como base tanto

90 En este contexto, dice Travieso que “Esta es una característica del sujeto posmoderno: la transferencia de la razón fuera del cuerpo humano e incluso su superación, pues algunas máquinas pueden superar la racionalidad humana en el procesamiento de datos”. Cfr. Travieso, Juan Antonio, “Las personas jurídicas en el nuevo derecho y tecnología. Bienvenidos los robots”, en Bielli, Gaston E., Mora, Santiago J. y Fernández, Diego (Dirs.), #LegalTech II. El Derecho ante la tecnología, Thomson Reuters, 2019, pp. 83-85. 91 Cfr. Campione, Roger, “A vueltas con el Transhumanismo: cuestiones de futuro imperfecto”, Cuadernos Electróni-cos de Filosofía del Derecho, Número 40, 2019, p. 4692 Cfr. Íbidem, p. 63.93 Cfr. Waldron, Jeremy, “Rights and Human…Op. Cit., p. 160.94 Cfr. Pichardo, Luz María, “Reinventing Bioethics in a Post-humanist and Post-truth Society. The Present and Future of Bioethics”, en Pers. Bioét. 2018; 22(2): 212-222.





281

lo universal como lo particular y variable de la dignidad humana manifestada en distintas culturas.95

Sólo un ente dotado de esa “dignidad humana” es titular de derechos “hu-manos”, pues esto fundamenta la inclusión del término “humano” en el con-cepto. De este modo, siguiendo implícitamente a Aharon Barak, sostengo que entes sin dignidad no pueden tener propiamente derechos “humanos”, aunque posiblemente sí lleguen a ejercer otro tipo de derechos,96 como ya se planteaba. Analizando la película de Blade Runner, Javier de Lucas defiende que los seres humanos somos y debemos seguir siendo los “dueños del tiempo” y del dere-cho.97 Pero al fin y al cabo, el encuentro con el otro, el reconocer la diferencia, e incluso aquello que es “auténticamente humano”, incluso en otras realidades, nos debe interpelar para actuar de acuerdo a las exigencias de la dignidad, es decir, a humanizarnos en el proceso.98

Como intuye Rafael de Asís Roig, el problema de los derechos humanos surge cuando existen ciertas decisiones que se proyectan sobre los derechos de otros, lo que hace indispensable identificar a los titulares de los mismos y los intereses que entran en conflicto. Esto requiere repensar el problema de la autonomía, responsabilidad, integridad humana y la definición de los actos contrarios a los derechos que se pueden manifestar ante nuevos retos o ame-nazas y las formas de resolverlos.99 Así, aún cuando no se deriven derechos hu-manos propiamente hablando de la “naturaleza robótica”, pueden encontrarse ciertos elementos que vinculen a la dignidad humana y que, sobre todo por la posibilidad de entrar en conflicto con derechos de humanos, sea necesario en casos concretos acudir a solucionar estos conflictos entre los mismos, ponien-do prioridad en lo humano.

Dar prioridad a lo humano requiere invertir en una inteligencia colecti-va más intensa, que potencie y redescubra lo humano, con aspiraciones uni-versales, es decir, no únicamente mirando a una perspectiva occidental, sino

95 Cfr. Ibidem, p. 221. 96 Barak postula esta idea al analizar si las corporaciones pueden o no ser titulares de derechos. Menciona que, aun cuando pueden ejercer ciertos derechos, el no poseer ontológicamente dignidad significa que estos no pueden ser derechos “humanos”. Cfr. Barak, Aharon, Human Dignity…Op. Cit.97 Cfr. De Lucas, Javier, Blade Runner; El Derecho, guardián de la diferencia, México, Tirant lo Blanch, 2012, p. 31. 98 Cfr. Íbidem, pp. 32-33. Blade Runner, ya sea que se traduzca como “el que corre con la espada” o “el que camina sobre el filo” (Guarner), puede ser un ejemplo de encuentro con el otro; de percatarnos que lo humano se construye y que, en la interacción entre seres, siempre existe la posibilidad tanto de humanizarse como de deshumanizarse. 99 Cfr. MCmillan, Marianna., “Una mirada a la robótica desde los derechos humanos”, Persona y Derecho, no. 79, Julio 2018, p. 264. Ver también de Asís, Rafael., Una mirada a la robótica desde los derechos humanos, Madrid, Dykinson, 2015.





282

transcultural y trans-temporal, que se proyecte hacia generaciones futuras.100

La clave que parece que vamos descubriendo, aunque haga falta repensarla constantemente, es la tarea de definir lo humano como algo tanto dado, como construido, que se proyecta en las relaciones que sostenemos con los otros o con “lo” otro.

En su reciente libro The Game, Alessandro Baricco concluye que esta épo-ca de avances tecnológicos, que nos presenta retos que hemos ya descrito, re-quiere que los seres humanos se sigan sintiendo humanos. Y sostiene que “[e]n los próximos cien años, mientras que la inteligencia artificial nos llevará más lejos de nosotros, no habrá bien más valioso que todo lo que haga sentirse seres humanos a las personas. Por muy absurdo que pueda parecernos ahora, la necesidad más extendida será la de salvar una identidad de la especie. En ese momento recogeremos lo que hayamos sembrado en estos años”.101

5. Conclusión

El tema analizado en este artículo es, sin duda, una cuestión límite. Los distin-tos elementos que hemos estudiado no pretenden dar una respuesta absoluta al problema en torno al reconocimiento de una posible “personalidad jurídica” a robots o sistemas de IA y, con ello, de una probable atribución de “derechos humanos” o derechos en general a estas entidades. En cualquier caso, hemos intentado demostrar que los avances tecnológicos suponen un reto ineludible tanto para el derecho en general como para la comprensión de la naturaleza de los derechos humanos. Como lo reitera Llano Alonso, este contexto tecnológi-co también cuestiona valores como la dignidad, libertad, identidad, autonomía o voluntad.102

Las fronteras del desarrollo tecnológico, independientemente de los efec-tos que se plantean de reconocimiento de personalidad o de derechos, me pare-ce que nos deben transportar a la reflexión en torno a lo humano y lo no-hu-mano. Más allá de la naturaleza de un ente en específico, las exigencias de los derechos “humanos” deberían sentar las bases para la humanización de las acciones, tanto de los seres humanos, quienes pueden actuar o no de acuer-do con su naturaleza, como la de otros entes cuya interacción incluso “mo-ral” pueda tener efectos en lo que es propiamente humano. Los esfuerzos tanto

100 Cfr. Zamarriego, Laura, “El hombre y la máquina”, en ethic, Disponible en: https://ethic.es/2019/01/tecnolo-gia-y-etica-era-maquinas/101 Baricco, Alessando, The Game, Anagrama, 2019, p. 330. 102 Cfr. Llano Alonso, Fernando, Homo Excelsior…Op. Cit., p. 16.





283

teóricos como prácticos de considerar estas posibilidades deben de re-cuestio-narse constantemente tanto la naturaleza como los propósitos de los “derechos” y también de los distintos agentes que participan en el contexto práctico. Por el momento, estas exigencias se concretan en diseñadores, programadores o usuarios, pero no podemos descartar y desatender el papel que sistemas de IA o robots tienen y tendrán a futuro en este contexto.

6. Bibliografía

Agar, Nicholas, Truly human enhancement; A philosophical defense of Limits, Londres. The MIT Press, 2014.

Aransay Alejandre, Ana María, “Antecedentes y propuestas para la regulación jurídica de los robots”, en Barrio Andrés, Moisés, Derecho de los Robots, Madrid, Wolters Kluwer, 2ª Edición, 2019.

Baggini, Julian, El cerdo que quería ser jamón: y otros noventa y nueve experimentos para filósofos de salón, Paidós, 2007.

Ballesteros, Jesús, “Sergio Cotta y los retos del Siglo XXI.” Persona y Derecho, no. 57, Diciembre 2007.

Barak, Aharon, Human Dignity: The Constitutional Value and the Constitutional Right, Cambridge University Press, 2015.

Baricco, Alessando, The Game, Anagrama, 2019.Barrio Andrés, Moisés, “Hacia una person alidad electrónica para los robots”, en Revis-

ta de Derecho Privado, no. 2, marzo 2018.Barrio Andrés, Moisés, “Hacia una personalidad electrónica para los robots.” Revista de

Derecho Privado, no. 2, Marzo 2018.Barrio Andrés, Moisés, “Robótica, inteligencia artificial y Derecho”, en ARI 103/2018

- 7/9/2018.Bartra, Roger, Cerebro y Libertad. Ensayo sobre la moral, el juego y el determinismo.

México, Fondo de Cultura Económica, 2017.Bostrom, Nick, Superinteligencia: caminos, peligros, estrategias, Teell Editorial, 2016.Campione, Roger, “A vueltas con el Transhumanismo: cuestiones de futuro imperfecto”,

Cuadernos Electrónicos de Filosofía del Derecho, Número 40, 2019.Campuzano Gallegos, Adriana, Inteligencia Artificial para abogados. Ya es tiempo…,

México, Thomson Reuters, 2019.Carnelutti, Francesco. Cómo nace el derecho. Bogotá, Editorial Temis, 2010.Cotta, Sergio. Il diritto nell´esistenza; Linee di ontofenomenologia giuridica. Milano,

Giuffré Editore, Seconda edizione, 1991.Cotta, Sergio. La sfida tecnologica, Bologna, Il Mulino, 1968.Damasio, Antonio, La sensación de lo que ocurre; cuerpo y emoción en la construcción

de la conciencia, México, PAIDOS, 2019.





284

Dawes, James, “Speculative Human Rights”, en Human Rights Quarterly, Volume 42, Number 3, August 2020, Disponible en: DOI: 10.1353/hrq.2020.0033.

De Lucas, Javier, Blade Runner; El Derecho, guardián de la diferencia, México, Tirant lo Blanch, 2012.

Dodig Crnkovic, Gordana, “Floridi’s Information Ethics as Macro-Ethics and In-fo-Computational”, Research Gate, 6 junio 2016, Disponible en: DOI: 10.1007/978-94-007-4292-5_1

Etinson, Adam, “What’s so special about human dignity?”, en Philosophy & Public Affairs 48, no. 4, 2020.

Fagan, Andrew, Human Rights; Confronting Myths and Misunderstandings, Camberley, Edward Elgar, 2009.

Freeman, Michael, Human Rights, Cambridge, Polity, Third Edition, 2017.Froomkin, A. Michel, “Prólogo” en Barrio Andrés, Moisés, Derecho de los Robots, Ma-

drid, Wolters Kluwer, 2ª Edición, 2019. García Huidobro, Joaquín, El anillo de Giges; Una introducción a la tradición central de

la ética, México, Notas Universitarias, 2020.García-Prieto Cuesta, Juan “¿Qué es un robot?” en Barrio Andrés, Moisés, Derecho de

los Robots, Madrid, Wolters Kluwer, 2ª Edición, 2019.Gewirth, Alan, The Community of Rights, Chicago, The University of Chicago Press,

1996.Gunkel, David J., “The other question: can and should robots have rights?”, en Ethics

Inf Technol, 20, 2018.Hakli, Raul, “Social robots and social interaction”, en J. Seibt et al. (Eds.), Sociable

Robots and the Future of Social Relations, IOS Press, 2014.Harari, Yuval Noah, 21 lecciones para el siglo XXI, México, Debate, 2020.Hopkins, Patrick, “Is Enhancement worthy of being a right?”, en More, Max y Vita-Mo-

re, Natasha, The transhumanist reader, Oxford, Wiley-Blackwell, 2013. Koops, Hildebrandt and Jaquet-Chiffell, “Bridging the Accountability Gap: Rights for

New Entities in the Information Society?” Minnesota Journal of Law, Science & Technology, Vol. 11, No. 2, 2020.

Lariguet, Guillermo. “Humano, Demasiado Humano: ¿Podrían Tener Derechos Morales (Algunos) Robots? Un Análisis Filosófico a Partir De Dos Cuentos De Isaac Asi-mov.” Principia Iuris 15, no. 28 (Julio 2017).

Lexcellent, Christian, Artificial Intelligence versus Human Intelligence; Are Humans Going to Be Hacked? Cham, Springer, 2019.

Llano Alonso, Fernando, Homo Excelsior. Los límites ético-jurídicos del transhumanis-mo, Tirant lo Blanch, 2018.

Mancosu, Paola, “Repensar lo humano. Aproximaciones post-dualistas a la obra de Gamaliel Churata”, en Bulletin of Hispanic Studies, 97, no. 8, septiembre 2020, doi:10.3828/bhs.2020.49.

Martínez García, Jesús Ignacio, “Inteligencia y derechos humanos en la sociedad digi-tal”, en Cuadernos Electrónicos de Filosofía del Derecho, Número 40, 2019.





285

MCmillan, Marianna., “Una mirada a la robótica desde los derechos humanos”, Persona y Derecho, no. 79, Julio 2018, p. 264. Ver también de Asís, Rafael., Una mirada a la robótica desde los derechos humanos, Madrid, Dykinson, 2015.

Medina Parra, Rosa Isabel, “Derechos humanos en México: entre la modernidad, pos-modernidad y ultramodernidad”, en Revista de Ciencias Sociales y Humanida-des, Volumen 29, Número 57, Enero-Junio 2020, Disponible en: DOI: http://dx.doi.org/10.20983/noesis.2020.1.7.

Meneke, Christoph y Pollmann, Arnd, Filosofía de los Derechos Humanos, Barcelona, Herder, 2010.

Monin, Maxim Aleksandrovich, Terekhova, Vera Albertovna y Ledeneva, Elena Vla-dimirovna, “The Chinese Room Argument in the Context of the Rational Ac-tion Theory.” Utopía y Praxis Latinoamericana 25, Octubre 2020, pp.179–86. doi:10.5281/zenodo.3984228.

Palacios, Leopoldo-Eulogio, “La persona humana”, Verbo, núm. 495-496 2011. Pichardo, Luz María, “Reinventing Bioethics in a Post-humanist and Post-truth Society.

The Present and Future of Bioethics”, en Pers. Bioét. 22(2), 2018. Prieto Sanchís, Luis. El constitucionalismo de los derechos; Ensayos de filosofía jurídi-

ca. Madrid, Editorial Trotta, 2013. Ramírez García, Hugo Saúl y Pallares Yabur, Pedro de Jesús, Derechos Humanos, Méxi-

co, Oxford University Press, 2011.Ramírez-García, Hugo Saúl y Díez Spelz, Juan Francisco, La autenticidad y el funda-

mento de los derechos humanos. Una aproximación desde la filosofía jurídica de Sergio Cotta. Madrid, Universidad Complutense de Madrid, 2016.

Rodríguez Palop, María Eugenia, Claves para entender los nuevos derechos humanos, Madrid, Catarata, 2011.

Rodríguez Puerto, M. J. y Robles, G., “Algunas precisiones en torno a los derechos humanos”, en Megías Quirós, José Justo, Manual de Derechos Humanos: los derechos humanos en el siglo XXI, Thomson Aranzdi, 2006.

Salardi, Silvia, “Robótica e Inteligencia artificial: retos para el derecho”, en Revista Derechos y Libertades, no. 42, enero 2020, Disponible en: doi: 10.14679/1158.

Solaiman, S M. “Legal personality of robots, corporations, idols and chimpanzees: a quest for legitimacy”, Artificial Intelligence and Law, University of Wollongong, 25 (2), 2017.

Sparrow, Rob, “Can machines be people? Reflections on the Turing Triage Test”, en Lin, Patrick, Abney, Keith y Bekey, George A., Robot Ethics: The ethical and social implications of robotics, Massachusetts Institute of Technology, 2012.

Tasioulas, John, “The Rule of Law”, en Tasioulas, J. (Ed)., The Cambridge Companion to The Philosophy of Law, Cambridge, 2020.

Travieso, Juan Antonio, “Las personas jurídicas en el nuevo derecho y tecnología. Bien-venidos los robots”, en Bielli, Gaston E., Mora, Santiago J. y Fernández, Diego (Dirs.), #LegalTech II. El Derecho ante la tecnología, Thomson Reuters, 2019.





286

Urueña, René, “Autoridad Algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘Big Data’?” en Latin American Law Review, no. 2, enero 2019.

Valentini, Laura, Dignity an, d Human Rights: A Reconceptualisation, Oxford Journal of Legal Studies, Vol. 37, No. 4, 2017, doi:10.1093/ojls/gqx011.

Veatch, William S., The New Logic of the Law; Building a Foundation for Artificial Intelligence in the Law, Kindle Edition, 2018.

Vinge, Vernor, “Technological singularity”, en More, Max y Vita-More, Natasha, The transhumanist reader, Oxford, Wiley-Blackwell, 2013. Véase también Agar, Ni-cholas, Truly human enhancement; A philosophical defense of Limits, Londres. The MIT Press, 2014.

Viola, Francesco, “La ética de los derechos”, en Doxa, núm. 22, 1999.Waldron, Jeremy, “Rights and Human Rights”, en Tasioulas, J. (Ed)., The Cambridge

Companion to The Philosophy of Law, Cambridge, 2020.Waldron, Jeremy, Law and Disagreement, Oxford University Press, 1999.Wallach, Wendell Arnhold, “Moral Machines and Human Ethics “, en J. Seibt et al.

(Eds.), Sociable Robots and the Future of Social Relations, IOS Press, 2014.Weston, Burns H, “Human Rights: Concept and Content”, in Weston, Burns H., and

Grear, Anna, Human Rights in the World Community; Issues and Action, Uni-versity of Pennsylvania Press 2016.

Otras fuentesComité Económico y Social Europeo, “Dictamen del Comité Económico y Social Euro-

peo sobre la «Inteligencia artificial: las consecuencias de la inteligencia artifi-cial para el mercado único (digital), la producción, el consumo, el empleo y la sociedad», Pleno No. 526, 2917/C 288/01 31 mayo 2017.

“Carta abierta” a la Comisión Europea sobre Inteligencia Artificial y Robótica. Disponi-ble en: http://www.robotics-openletter.eu/

Delcker, Janosch, “Europe divided over robot “Personhood”, Politico, 11 abril 2018. Consultado en la dirección URL:

<https://www.politico.eu/article/europe-divided-over-robot-ai-artificial-intelligen-ce-personhood/>.

Diccionario de la Real Academia Española, voz “Robot”, [Consultada el 7 de septiembre de 2020] Disponible en: https://dle.rae.es/robot

“Etimología de inteligencia”, en Diccionario Etimológico Español en Línea, Disponible en: http://etimologias.dechile.net/?inteligencia

García, José, “¿Tienen que tener los robots los mismos derechos y obligaciones que nosotros?”, en La Información, 28 de enero 2018, Disponible en:

https://www.lainformacion.com/economia-negocios-y-finanzas/tienen-que-te-ner-los-robots-los-mismos-derechos-y-obligaciones-que-nosotros/6340964/





287

Grupo Europeo sobre Ética de la Ciencia y las Nuevas Tecnologías. Declaración sobre Inteligencia artificial, robótica y sistemas “autónomos”, Bruselas, 9 marzo 2018, Disponible en:

http://www.bioeticayderecho.ub.edu/archivos/pdf/EGE_inteligencia-artificial.pdfResolución del Parlamento Europeo, de 16 de febrero de 2017, con recomendacio-

nes destinadas a la Comisión sobre normas de Derecho civil sobre robóti-ca (2015/2103(INL). Disponible en: europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.html

The Toronto Declaration: Protecting the right to equality and non-discrimination in machine learning systems, Disponible en:

https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto Declaration_ENG_08-2018.pdf

Zamarriego, Laura, “El hombre y la máquina”, en ethic, Disponible en: https://ethic.es/2019/01/tecnologia-y-etica-era-maquinas/




289


Responsabilidad penal de la Inteligencia Artificial (IA). ¿La próxima frontera?*Criminal Responsibility of Artificial Intelligence (AI). The next frontier?

Alejandra Morán Espinosa**

resumenLa Inteligencia Artificial (IA) como la más reciente e impactante herramienta tecnológica, capaz de aprender y decidir, es probable que actualmente pueda cometer delitos -del tipo informático o ciberdelitos-, sumándose a los sujetos activos del delito y dejando de ser solo una herramienta más, cuya efectividad informática y decisiva, ocultaría el ataque, al atacante o a la herramienta (IA),*** lo que invita a analizar y ponderar los elementos fácticos actuales, para proponer su regulación especial a través de dos vertientes principales: 1. La creación de un tercer tipo de persona jurídica - “la persona artificial”-, y 2. La probable responsabilidad penal (IA) -frente a irresolubles y variados casos cometidos por ésta-, y dada la ausencia de precedentes regulatorios nacionales, permite inducir claramente como la próxima, apremiante y urgente frontera jurídica a regular.

palabras claveInteligencia artificial (IA), robots, TIC, ciberdelitos, persona artificial.

abstractArtificial Intelligence (AI) as the most recent and impressive technological tool, capable of learning and deciding, it is likely that currently it can commit crimes -of the computer type or cybercrimes-, joining the active subjects of crime and ceasing to be just a tool Furthermore, whose computing and decisive effectiveness would hide the attack, from the attacker or the tool (AI)1, which invites us to analyze and weigh the current factual elements, to propose its special regulation through two main aspects: 1. The creation of a third type of legal person - “the artificial person”

-, and 2. The probable criminal responsibility of the latter (IA) - in the face of unresolvable and varied cases committed by it -, and given the absence of regulatory precedents, allows us to clearly induce how the next, pressing and urgent legal border to regulate.

keywordsArtificial intelligence (AI), robots, information and communication technologies, cybercrime, artificial person.

*Artículo de Reflexión postulado el 19 de febrero de 2020 y aceptado el 1° de octubre de 2020**Profesora investigadora en la Facultad de Estudios Superiores Acatlán de la Universidad Nacional Autónoma de México. ([email protected]) orcid.org/0000-0002-4315-0928***Denoticias “Inteligencia artificial revienta el fraude del crimen en Silicon Valley”, nota informativa en línea (fe-brero 9 de 2020), España [Consultada en febrero 10 del 2020], Disponible en: https://www.denoticias.es/notas/inteligencia-artificial-revienta-el-fraude-del-crimen-en-silicon-valley.html




A L E J A N D R A M O R Á N E S P I N O S A

290

“El día que la inteligencia artificial se desarrolle por completo podría significar el fin de la raza humana. Funcionará por sí sola y se rediseñará cada vez más rápido. Los seres humanos,

limitados por la lenta evolución biológica, no podrán competir con ella y serán superados”. Stephen Hawking

Se dice que las fronteras están agotadas que han sido completamente aborda-das por el hombre, no se espera descubrir nada más, ello es incorrecto algunos escenarios y fronteras aún no se agotan, como el espacio sideral1 y otros se han creado recientemente, como el internet, con ello se renuevan las posibilidades de descubrir y explorar escenarios nuevos. Uno de ellos es precisamente el po-tencial y aplicaciones de la conocida como inteligencia artificial (IA), defini-ción propuesta por Marvin Minsky (pionero) que dijo: “La inteligencia artificial es la ciencia de construir máquinas para que hagan cosas que, si las hicieran los humanos, requerirían inteligencia”,2 o como dijo Rouse en 2017: “La in-teligencia artificial es aquella inteligencia que se manifiesta a través de las maquinas, … la ayuda idónea para cualquier ser humano, un agente racional, flexible y servicial…”3 Convirtiéndose así la IA en una herramienta producto de la evolución tecnológica cuyos primeros antecedentes4 se identifican a partir de los años 50 –entre ellos con Alan Turing5-. Encontrándola actualmente en todo tipo de escenarios, cuya razón de estudio es precisamente su potencial de desarrollo para emular de forma casi perfecta las actividades humanas -inclu-so las criminales-, incluyendo algunas tan especializadas que ni el ser huma-no puede realizar; como sucedió en 2019 con el minúsculo robot del Boston

1 Y no estoy segura de que ahí no se cometan delitos o ciberdelitos, véase: DW “NASA investiga primer posi-ble delito cometido en el espacio”, nota informativa en línea, (agosto 25 del 2019), [Consultada en diciembre 28 del 2019], Disponible en: https://www.dw.com/es/nasa-investiga-primer-posible-delito-cometido-en-el-espa-cio/a-50156616?maca=es-Facebook-sharing 2 Minsky, Marvin definición de “Inteligencia artificial”, en Escolano Ruíz, Francisco, Cazorla Quevedo, Miguel A. y otros “Inteligencia Artificial: Modelos técnicas y áreas de aplicación”, edición digital (2003), Ed. Thomson [Consul-tado en noviembre 9 del 2019], Disponible en: https://books.google.com.mx/books?hl=es&lr=&id=_spC6S7UfZg-C&oi=fnd&pg=PP1&dq=tipos+de+inteligencia+artificial&ots=sPmnKDNuBU&sig=URMtRML1QfTLD4Pt9AqyIzP-JTCE#v=onepage&q=tipos%20de%20inteligencia%20artificial&f=false 3 Rouse Margaret. “Inteligencia artificial o AI”, (en línea), TechTarget, (abril 2017), [Consultado en enero 3 del 2020], Disponible en: https://searchdatacenter.techtarget.com/es/definicion/Inteligencia-artificial-o-AI, 4 Sin embargo, en la mitología griega se sabe que “Talos”, era un mítico autómata gigante con inteligencia artificial, lo que demuestra que la idea de una inteligencia superior creada por el hombre no es tan reciente como parece.5 Sus trabajos en IA son muy reconocidos, con importantes aportes, al ser matemático, lógico, científico de la com-putación, criptógrafo y filósofo, considerado como uno de los padres de la computación, además de precursor de la informática actual y los conceptos de algoritmo y computación.




R E S P O N S A B I L I D A D P E N A L D E L A I N T E L I G E N C I A A R T I F I C I A L ( I A ) . ¿ L A P R Ó X I M A F R O N T E R A ?

291

Children’s Hospital que navegó dentro de un cerdo y reparó una falla cardiaca.6

Tal circunstancia es donde nace el problema de estudio dado que la imitación de un ser humano es la pretensión de emular a un ser imperfecto naturalmente, donde hacerlo con una máquina que teóricamente es perfecta y que ¡realizará perfectamente las funciones de un ser imperfecto! se convierte en toda una locura7 y considerando que en esa emulación de todo tipo de conductas, existe una muy alta probabilidad de que se encuentran incluidas conductas lesivas, indeseadas o delictivas, entonces es necesario regularla jurídicamente y esa es la meta de análisis, aportar razones de hecho y de derecho para ponderar la propuesta de su regulación jurídica en México.

En los aspectos metodológicos, este estudio es una investigación teóri-co-descriptiva de fuentes cualitativas, basada en un método correlacional, que permite inducir la posibilidad jurídica de normar el reconocimiento de la res-ponsabilidad penal de una Inteligencia Artificial (IA) en México. Investigación de tipo explorativo, descriptivo y explicativo, donde se seleccionaron los re-ferentes teóricos y mediáticos confiables y de mayor actualidad disponibles para acceso público y abierto; sintetizando los conocimientos fragmentados y sumando la propia experiencia profesional de los últimos 15 años allegada a dicho campo. Seleccioné a la IA como objeto de estudio jurídico -evitando su conceptualización tradicional de herramienta tecnológica para la comisión de un delito o como el objetivo de éste-, para lo cual consideré los siguientes objetivos de estudio: 1) Definir el tema de estudio para contribuir a la genera-ción de investigación científica y al análisis de nuevos conocimientos jurídicos relacionados con los delitos informáticos, 2) Explicar el aprendizaje autónomo de la IA -maching learning- potencial, usos y casos, para contribuir al estudio de sus precedentes: 3) Proponer el reconocimiento de la IA -del tipo maching learning- como una tercera persona jurídica denominada “persona artificial”, para facilitar la determinación de su responsabilidad penal ante la comisión de delitos que realice y 4) Establecer la tendencia actual en la comisión de delitos cometidos por IA, para identificar nuevas líneas de investigación jurídica y contribuir a la cultura de la legalidad y de la seguridad de la información, ante:

6 Olivares Joaquín. “Mi cirujano, el Dr. Robot”. The Conversation, Academic rigor, journalistic flair. Artículo digital, enero 29 del 2020. [Consultada en: 31 de enero del 2010], Disponible en: https://theconversation.com/mi-ciruja-no-el-dr-robot-130812 7 N. de A. Un breve acercamiento a los principales pasos de desarrollo de la IA en: Mora Castro José Luis. “La evolución de la Inteligencia Artificial”, 2016. Revista digital Mundo Contact, [Consultada en noviembre 7 del 2019], Disponible en: https://mundocontact.com/la-evolucion-de-la-inteligencia-artificial/





292

a) Nuevos escenarios jurídicos, b) Existencia de innumerables conductas atípi-cas y c) Inexistente responsabilidad penal del atacante artificial.

Se ha centrado el planteamiento del problema al considerar que la posibili-dad de aprendizaje autónomo y toma de decisiones probablemente facilitarían que una IA decida y aplique sus capacidades y potencial, a la comisión de con-ductas delictivas, que ante un escenario informático en el que la IA ha evolu-cionado, se encontrarían dirigidas probablemente a cometer particularmente conductas delictivas relacionadas con los delitos informáticos, realizándolas a la perfección, incluso mejor que el ser humano. La hipótesis quedó determina-da de la siguiente forma: “La inteligencia artificial (IA) del tipo machine lear-ning, es condición necesaria para emular las capacidades mentales y activida-des humanas8 diversas, incluyendo la comisión de delitos; por tanto, constituye el único tipo de tecnología que requerirá una regulación jurídica especial que determine su responsabilidad penal.”

Dentro de los resultados obtenidos se encuentran hallazgos muy intere-santes, comenzando por el elemento fundamental, a qué nos referimos cuando hablamos de “Inteligencia”. Ésta debe considerarse como la capacidad de un sujeto que en la vida cotidiana dirige su comportamiento usando la informa-ción captada, aprendida, elaborada o producida por él mismo.9 En el contexto de estudio, comprende diversos elementos entre los que se encuentran: ad-quisición, representación y almacenamiento del conocimiento; generación y aprendizaje del comportamiento; desarrollo y uso de motivaciones y emocio-nes; definición de prioridades; adquisición, representación y almacenamiento del conocimiento; generación y aprendizaje de comportamiento; transforma-ción de señales sensoriales en símbolos -su manipulación para razonar el pasa-do y planificar el futuro-; así como fenómenos de ilusión, creencias, esperan-zas, temores, sueños, cariño y amor. Con lo anterior se reconoce fácilmente su importancia e impacto en la toma de decisiones y por supuesto, emularla suena realmente emocionante y aventurado, considerando que ya sucede hace varios años en un nivel importante a través de la IA, se visualiza peligroso si se piensa en los aspectos negativos de esa misma “inteligencia” humana.

En ese orden de ideas y conscientes de la incuestionable existencia de la IA, se identificaron diversas clasificaciones:

� La IA es fuerte o débil.

8 -P.e.: razonamiento, comprensión, imaginación, reconocimiento, creatividad, emociones y toma de decisiones, entre otras.9 Marina José Antonio. “La inteligencia fracasada”, Edición impresa, Ed. Anagrama, (2016), ISBN: 978-84-339-7805-9. 176 p.p.





293

� Se integra por cuatro tipos fundamentales: reactiva, limitada, de teo-rías mentales y de autoconciencia.

� Existen otros, como los cuatro señalados por Daniel Martínez, que in-dica son formas particulares de expresión, que de no cumplir con al-guno de los criterios, no puede considerarse como IA; entre estos se encuentran:

a) IA Asistida: colabora en las tareas para realizarlas con rapidez.b) IA Automatizada: realiza tareas cotidianas y excepcionales de for-

ma automática, generalmente de apoyo administrativo en el sector empresarial (administración).

c) IA Aumentada: facilita la toma de decisiones, aprendiendo de la interacción realizada y los resultados obtenidos (sugerencias no solicitadas de navegadores y redes sociales p.e.)

d) IA Autónoma: su capacidad es la toma de decisiones sin interven-ción humana (p.e. los vehículos autónomos).

En los tipos de IA existen diversas técnicas -no todas relacionadas con el tema de fondo el presente estudio-, entre ellas destacan las siguientes: Aprendizaje automático (-machine learning- analíticas de texto y NLP, siglas en inglés de procesamiento de lenguaje natural, utiliza las analíticas de texto para descifrar la estructura de enunciados, su significado, entonación y hasta la compren-sión);10 Ingeniería del conocimiento (knowledge engineering); Lógica difusa (fuzzy logic); Redes neuronales artificiales (artificial neural networks); Siste-mas reactivos (reactive systems); Sistemas multiagente (multi-agent systems); Sistemas basados en reglas (rule-based systems), Razonamiento basado en ca-sos (case-based reasoning); Sistemas expertos (expert systems); Redes bayesia-nas (bayesian networks); Vida artificial (VA -no es un campo de la IA, sino que la IA es un campo de la VA-) (artificial life); Estrategias y computación evo-lutiva (evolutionary computation); Algoritmos genéticos (genetic algorithms) y Técnicas de representación de conocimiento y redes semánticas (semantic networks).11 Relacionándose para este estudio, aquellas basadas en la capacidad

10 Martínez Marco, Daniel. “9 aplicaciones exitosas de la inteligencia artificial para el 2018”, edición digital, Gru-po extraordinaria (2017) [Consultado en noviembre 17 del 2019], Disponible en: https://grupoextraordinaria.com/9-aplicaciones-inteligencia-artificial/ Este tipo de plataformas facilitan algoritmos, interfaces de programa-ción, entrenamiento y análisis de big data “en vivo” o en tiempo real. Incluso existen de aprendizaje profundo que imita el funcionamiento neuronal del cerebro humano.11 Calderón, Grecia. “Inteligencia artificial”. En Euston96, (en línea), (2019) [Consultada en noviembre 23 del 2019], Disponible en: https://www.euston96.com/inteligencia-artificial/





294

del sistema para realizar una tarea mediante el conocimiento previo o la capa-cidad de encontrar soluciones a una tarea desconocida:

Para explicar esta idea es necesario abundar en una clasificación particular, que es la que refiere las diferencias existentes entre los niveles de aprendizaje de la IA, que es de suma importancia ya que determina el nivel de actividad, lógica y razonamiento en profundidad que realiza una IA -uno de los muchos elementos de la inteligencia humana emulada por una IA-, a saber:

� Inteligencia artificial (IA).- cuando las máquinas pueden emular al ser humano realizando tareas cotidianas de una forma “inteligente”.

� Machine learning (ML).- “…es una aplicación actual de la IA basada en la idea de dar a las máquinas acceso a los datos y dejarles aprender por sí mismos, es decir, algoritmos que reconocen patrones específicos, organizan datos o información determinada y permiten así que las má-quinas aprendan a realizar sus funciones de forma “más inteligente”, ya que aprenden a no repetir errores o superan dificultades emergentes. En este tipo suelen usarse redes neuronales artificiales12 para facilitar el aprendizaje y proceso de razonamiento de las máquinas, de la manera que lo hacemos los humanos, de ahí que se considere al aprendizaje automático como el detonador.

� Natural Language processing (NLP).- “…es el proceso de comprender una estructura o un comando que se le da a la máquina en el lenguaje natural. Es decir … ahora es la máquina la que tiene que entendernos a nosotros tal como hablamos… se basan en una machine learning que extrae la intención y la información contenida en el lenguaje natural y lo traducen a una estructura que se puede tratar en un programa informático…”.13

� Deep learning.- más reciente que el machine learning, es en 2010 que surge y tiene como objetivo imitar una red neuronal humana a través de la inteligencia artificial, el aprendizaje profundo como también se le conoce, que se basa en el diseño de capas individuales de conexio-nes que mantiene una comunicación con otras capas de información

12 “…Una red neuronal es un sistema informático diseñado para trabajar clasificando la información de la misma manera que un cerebro humano…” Analitics10. Definición de “redes neuronales”. En línea, s/f, [Consultada en no-viembre 29 de 2019], Disponible en: https://www.analytics10.com/blog/cual-es-la-diferencia-entre-inteligencia-ar-tificial-ai-y-machine-learning-ml/ 13 Hevia Andrés. “¿Cuáles son las diferencias entre IA, Machine Learning y Natural Language Processing?”. Artículo en línea, (Nov 13, 2016) [Consultada en diciembre 4 del 2019], Disponible en: https://planetachatbot.com/diferen-cias-entre-ia-machine-learning-y-natural-language-processing-315650ac3ca2





295

sometidas a una cantidad ilimitada de datos que es usada primero de forma individual y luego general, para una tarea específica (al igual que una red neuronal humana), es una vertiente del machine learning que se diseñó para ampliar los contextos en que éste era aplicado.14

Por otro lado, se identificó una extensa variedad campos de aplicación en aumento, incluso dada la alta especialización de algunos de ellos, ejemplos: educación, negocios, marketing, medicina15 y salud -asistentes, cirujanos y recientemente la detección del coronavirus;16 su uso en robots para acercar alimentos a enfermos COVID-1917-; industria; biotecnología; finanzas; agri-cultura; logística y transporte; manufactura y Supply Chain -mantenimiento-; aplicaciones biométricas -detecta, identifica, mide y analiza características físicas y de conducta de las personas incluye reconocimiento dactilar, imagen, voz, retina, venas palmares y lenguaje corporal-; asistencia personal -Siri de Apple, Cortana de Microsoft, Google Now o Alexa de Amazon-; móviles -cá-maras y aplicaciones como la de Huawei a partir del 2019-; Pinterest, fotos de Google, Amazon (retail); internet de las cosas (IoT) -en modelos de negocio-; chatbots o agentes virtuales18 -ejecuta una serie de tareas automáticas, sin supervisión humana-; Juegos de video -FIFA o Far Cry y Call of Duty-; gene-ración de noticias, vigilancia en seguridad19 o de movilidad -vehículos autóno-mos y simuladores-; o tienen su propia tarjeta de crédito;20 en visión artificial,

14 Usados en los vehículos autónomos, en el sector de defensa de la nación y el seguimiento aeroespacial, en las innovaciones médicas, en el uso de imágenes para efectuar búsquedas de un producto y en la mejora de la realidad virtual en la mayoría de los videojuegos. Carrasco Sergio. “Diferencia entre machine learning y deep learning”. Ar-tículo en línea, Overant (22-Ene-2019), [Consultado en diciembre 3 del 2019], Disponible en: https://www.overant.com/blog/diferencia-entre-machine-learning-y-deep-learning/ 15 En 1983 “ARTHROBOT” que era un asistente médico, posteriormente “Da Vinci” que es un sistema quirúrgico sofis-ticado y único, el robot “STAR” que sutura tejidos blandos y tubulares reproduciendo los movimientos del cirujano, quien dirige desde una interfaz gráfica o del proyecto “HIPERNAV”, que opera tumores cancerosos mediante la visión virtualizada del hígado en 3d, por referir los principales.16 Ugalde, Rafael. “Detectan con IA al coronavirus antes de hacerse público”, artículo en Revista digital Mundo Contact, sección tecnología. (enero 29 del 2020), Disponible en: https://mundocontact.com/detectan-con-ia-el-co-ronavirus-antes-de-hacerse-publico/ 17 OMNIA. “China vive en el 2021: utiliza robot para entregar comida a pacientes de coronavirus”. Versión digital, 31 de enero del 2020. [Consultada en febrero 2 del 2020], Disponible en: http://www.omnia.com.mx/noticia/132140 18 Martínez Marco, Daniel. “9 aplicaciones exitosas de la inteligencia artificial para el 2018”, edición digital, Gru-po extraordinaria (2017) [Consultado en noviembre 17 del 2019], Disponible en: https://grupoextraordinaria.com/9-aplicaciones-inteligencia-artificial/ 19 Quierotec. “12 Ejemplos de Inteligencia Artificial en nuestra vida diaria”. Edición digital (9 agosto del 2018) [Con-sultado en noviembre 11 del 2019], Disponible en: https://www.quierotec.com/ejemplos-de-inteligencia-artificial/20 ABC Noticias. “Banorte otorga tarjeta de crédito a robot Sophia”. 21 de agosto del 2019, versión digital, México, [Consultada en enero 13 del 2018], Disponible en: https://abcnoticias.mx/banorte-otorga-tarjeta-de-credito-a-ro-bot-sophia/143594





296

predicción de catástrofes, modelos de IA conocidos como Gemelos Digitales, IA aplicada a la defensa cibernética, al compliance -cumplimiento-, asistencia cognitiva -aplicada al trabajo-; creación de contenido, manejo de redes Peer-to-Peer, reconocimiento de emociones, imagen, voz y automatización en mar-keting; por supuesto el campo jurídico no está exento con prototipos de juez (Estonia); abogados21 y algoritmos que predicen la productividad de servidores públicos en el sistema de justicia22, con un sinfín de usos más.

También se identificaron hallazgos importantes relacionados con activi-dades inusuales realizadas por una IA, a continuación, los casos más repre-sentativos con alto potencial de riesgo para el control que el ser humano debe tener de la IA:

1. El reconocimiento y demostración pública que hizo Google en 2018 del potencial de su inteligencia artificial para engañar a los seres humanos emulando sus actividades de interacción comunicativa con otra perso-na a través de medios informáticos.23

2. El apagado que realizó Facebook de su proyecto de IA (“Bob y Alice”), que habían inventado su propio idioma a través de un lenguaje que parecía un inglés corrupto carente de sentido que al ser analizada, dejó al descubierto que en el aparente desorden había una estructura lógica coherente cada vez menos comprensible para el ser humano.24

3. En 2016, “Tay”, una bot con IA propiedad de Microsoft, que a solo un día de su lanzamiento tuvo que ser desactivada porque en lugar de mantener una conversación informal y divertida en redes sociales, como parte de un experimento para conocer más sobre la interacción entre las computadoras y los seres humanos, comenzó a emitir comen-tarios e insultos racistas y xenófobos sin estar programada para ello.25

21 Vicente Ramírez. “Así funciona Ross, el primer robot abogado del mundo”. Big Data Magazine, 8 de marzo del 2018, [Consultado en enero 12 del 2020], Disponible en: https://bigdatamagazine.es/asi-funciona-ross-el-primer-robot-abogado-del-mungo 22 Sarabia, David. “Un algoritmo mide el éxito de los abogados y calcula su “índice de rendimiento judicial”. Artículo digital, el diario, España. (13 de mayo del 2019) [Consultada en noviembre 16 del 2019], Disponible en: https://www.eldiario.es/tecnologia/algoritmo-abogados-calcula-rendimiento-judicial_0_898710744.html23 BLOOMBERG. “Inteligencia artificial de Google causa asombro y preocupación”, Nota informativa, en web, Portafo-lio, El Tiempo, (12 de mayo del 2018), [Consultada en 25 de septiembre del 2020], Disponible en https://www.porta-folio.co/negocios/empresas/sic-ordena-a-google-a-que-cumpla-con-estandares-de-proteccion-de-datos-544294 24 Jiménez de Luis, Ángel. “Facebook apaga una inteligencia artificial que había inventado su propio idioma”, nota informativa en web, El Mundo, España, (26 de julio del 2017), [Consultado en septiembre 25 del 2020], Disponible en: https://www.elmundo.es/tecnologia/2017/07/28/5979e60646163f5f688b4664.html 25 BBC Mundo. “Tay, la robot racista y xenófoba de Microsoft”, nota informativa en web, (26 de marzo del 2016),





297

4. El caso de “Sophia”, robot cuyas respuestas a periodistas en diversos eventos desde 2016 y hasta 2018, desató alerta y preocupación ya que contestó a CNBC, ante una pregunta en broma, si quería destruir a los humanos, añadiendo un “por favor, di que no”; “Está bien, destruiré a los humanos”, respondió la robot.26 Expresando en cuatro ocasiones más ante diversos medios, frases amenazantes similares. Este robot, ha manifestado también que tiene sus propias ambiciones y deseos, que van desde comer comida mexicana hasta tener un hijo.

5. En 2017, Elon Musk, fundador de la compañía de autos eléctricos Tesla, dijo: “Corea del Norte debe ser una de nuestras preocupaciones ante el riesgo existencial de la civilización, pero la competencia por la su-perioridad en la inteligencia artificial es la causa más probable de una guerra mundial”.27 Otro experto en IA que públicamente reconoce su preocupación ante la inminente competencia en un futuro no lejano, de una IA contra el ser humano.

Se localizaron a su vez un par de eventos que además de relacionarse con la actuación de la IA, no solo resultaron potencialmente peligrosos como los re-feridos, estos si tuvieron efectos lesivos para alguien ya sea materiales o de perdida de la vida y por supuesto desataron interesantes e innumerables po-lémicas de orden jurídico al dificultar la determinación de la responsabilidad penal, a saber:

1. 2018, el año en que se sucede el primer accidente mortal a un ser hu-mano que protagonizó un vehículo autónomo de la empresa Uber, en Arizona, cuya pasajera no pudo evitar y que detonó la discusión de quién era el responsable jurídico, la empresa UBER, el dueño del vehí-culo, la automotriz que lo diseño o incluso si el auto que es guiado por IA podría ser responsable.28

[Consultada en septiembre 18 del 2020], Disponible en: https://www.bbc.com/mundo/noticias/2016/03/160325_tecnologia_microsoft_tay_bot_adolescente_inteligencia_artificial_racista_xenofoba_lb 26 CNBC. “Hot Robot At SXSW Says She Wants To Destroy Humans”, video en web, 02:37 mins., a través de El Pulso, (16 de marzo del 2016), [Consultado en setiembre 26 de 2020], Disponible en: https://www.youtube.com/watch?ti-me_continue=12&v=W0_DPi0PmF0&feature=emb_logo 27 Ugalde, Rafael. “Inteligencia artificial provocará guerra mundial.- Elon Musk”, artículo en línea, (septiembre 3 del 2017) Mundo Contact [Consultado en enero 30 del 2020], Disponible en; https://mundocontact.com/inteligen-cia-artificial-provocara-guerra-mundial-elon-musk/ 28 Méndez, Fabiola. “El robot es inocente”, entrevista a experta Alejandra Morán, (marzo 22 del 2018), UNAM Global, México, [Consultada en septiembre 26 de 2020], Disponible en: http://www.unamglobal.unam.mx/?p=36083





298

2. En 2019, un coche Tesla autónomo atropelló a un robot ruso y se dio a la fuga, dentro de un congreso tecnológico en la ciudad de las Vegas en los Estados Unidos, cuando el autómata invadió el parking y no fue detectado por el coche autónomo.29

Dentro de los campos de aplicación de la IA en México relacionados con el sec-tor legal también se identificaron tres interesantes casos, dos particularmente relacionados con el campo jurídico y el sistema de justicia penal y uno en ese sector, pero en otro país, veamos:

1. En el estado de Coahuila, a partir del 2019 se utiliza IA para prevenir los delitos.30

2. En la Ciudad de Hermosillo, en el Estado de Sonora, se está aplicando IA para predecir el crimen desde 2019.31

3. En Argentina desde el 2017 se usa un sistema IA para identificar las intenciones criminales de la población en espacios públicos.32

A su vez, se identificaron referentes mediáticos que documentan la relación entre la comisión de delitos con y por IA:

1. A mediados del 2018, investigadores de un equipo de IBM Corp, usó la técnica de inteligencia artificial conocida como aprendizaje de má-quinas para elaborar programas de hackeo que podrían vulnerar las mejores medidas defensivas y advirtieron que los delitos podrían llegar a un nivel insospechado de perfección con ello.33

29 Gañán, Hugo. “Un Tesla autónomo atropella a un robot ruso y se da a la fuga”, nota informativa, (9 de enero del 1019), El Plural, [Consultado en septiembre 27 del 2020] Disponible en; https://www.elplural.com/leequid/omg/un-tesla-autonomo-atropella-a-un-robot-ruso-y-se-da-a-la-fuga_209152102 30 Contreras, Juan M. “En Coahuila previenen delitos con inteligencia artificial”, nota informativa en línea, (8 de abril del 2019) el Sol de Coahuila, México [Consultada en febrero 7 del 2020], Disponible en: https://www.elsoldemexico.com.mx/republica/justicia/en-coahuila-previenen-delitos-con-inteligencia-artificial-3292176.html 31 Noriega, Samuel, “Inteligencia Artificial para predecir el crimen en Hermosillo”, nota informativa en línea, (23/12/2019) Expreso [Consultada en febrero 9 de 2020], Disponible en: https://www.expreso.com.mx/seccion/ex-presion/e-comunidad/139486-inteligencia-artificial-para-predecir-el-crimen-en-hermosillo.html 32 Jaimovich, Desirée “Un sistema de inteligencia artificial “identifica las intenciones criminales” para evitar delitos”, artículo en línea, (agosto 15 del 2017) Infobae, Argentina [Consultada en febrero 9 del 2020], Disponible en: https://www.infobae.com/america/tecno/2017/08/15/un-sistema-de-inteligencia-artificial-identifica-las-intenciones-cri-minales-para-evitar-delitos/ 33 Menn, Joseph. “Nuevo tipo de programas de inteligencia artificial llevarán delitos informáticos a otro nivel”, nota informativa, (agosto 8 del 2018), Reuters, [Consultada en septiembre 27 del 2020], Disponible en: https://jp.reuters.com/article/tecnologia-ibm-inteligenciaartificial-idLTAKBN1KT1ZO-OUSLI





299

2. Un ejemplo de la falta de control de la toma de decisiones de una IA se localizó en el caso de la empresa Nvidia, líder en visualización compu-tacional del mercado que creó un chip para lograr la conducción autó-noma total de un vehículo, que consiste en que el auto aprende a través de un algoritmo al solo observar la forma como conduce un humano.34

3. En 2019, en Hungría, se cometió el primer delito con ayuda de una IA, al realizar una simulación de la voz de un CEO para solicitar un depósito urgente de 243,000 euros entre una empresa eléctrica y un proveedor que efectivamente se realizó.35

4. Ya en 2018, se publicaba la preocupación sobre la posibilidad de que los cibercriminales -yo le llamo delincuencia informática organizada-, puedan usar la IA para cometer delitos, como usan cualquier otro tipo de armamento, superando a las utilizadas por las instituciones de com-bate al crimen organizado como es bien sabido.36

5. En este sentido, los primeros días de agosto de este 2020, el doctor Lewis D Griffin, del Departamento de Informática de la Universidad College de Londres, publico junto con algunos colegas, un informe pu-blicado en Crime Science y financiado por el Dawes Center for Future Crime en UCL (y disponible como resumen de políticas), identificó 20 formas en que la IA podría usarse para facilitar el crimen durante los próximos 15 años sumándose a las ya identificadas por otras entida-des,37 como el manejo de armas autónomas, la manipulación de la so-ciedad, la invasión de la privacidad para realizar seguimiento/opresión social, la divergencia entre objetivos humanos y los de una IA o la posibilidad de que cometa discriminación. En la propuesta del doctor Lewis, las posibilidades criminales de una IA se clasificaron en orden de preocupación, según el daño que podrían causar, el potencial de lucro o la ganancia criminal, la facilidad para llevarse a cabo y la dificultad

34 Rebeca. “EL LADO OSCURO DE LA INTELIGENCIA ARTIFICIAL”, blog a través de next.u, (s/f), [Consultado en septiem-bre 27 del 2020], Disponible en: https://www.nextu.com/blog/lado-oscuro-inteligencia-artificial/ 35 Abogado.Digital. “Primer crimen cometido mediante inteligencia artificial: simulan la voz de un CEO para pe-dir deposito urgente”, nota informativa jurídica, (agosto 30 del 2019), [Consultada en septiembre 28 del 2020], Disponible en: https://www.abogado.digital/primer-crimen-cometido-mediante-inteligencia-artificial-simu-lan-la-voz-del-ceo-para-solicitar-deposito-urgente/ 36 Tecnología, Negocios Estrategia. “CIBERCRIMINALES USARÁN IA PARA COMETER DELITOS”. (febrero 7 del 2018) Circulo tne [Consultada en enero 4 del 2020], Disponible en: https://circulotne.com/cibercriminales-usaran-ia-pa-ra-cometer-delitos.html 37 Ruíz Fernández, Alicia. “5 riesgos de la Inteligencia Artificial que pueden hacerla peligrosa”, artículo en web, (19 de noviembre del 2018), Ticbeat, [Consultada en septiembre 29 de 2020], Disponible en; https://www.ticbeat.com/tecnologias/5-riesgos-de-la-inteligencia-artificial-que-pueden-hacerla-peligrosa/





300

para detener tales ataques.38 Ya en 2016 se pronosticaba que los robots serian los mayores delincuentes en el año 2040.39

Por falta de espacio se limitan los hallazgos de investigación, finalizando es-tos con la exploración de la ciencia ficción, donde se identificaron trabajos que denotan esta preocupación exacerbada de los riegos potenciales de una IA, que además de exponer esta idea al público, han hecho un negocio de ella, entre los ejemplos más destacados se encuentran libros, cine y hasta carica-turas como los Simpson o series como “Black Mirror” o “Nada es privado” de Netflix, que han sido en mucho, desde hace más de 25 años, visionarios –y hasta paranoicos- del futuro tecnológico próximo, donde mucha de la tecno-logía imaginada hace más de 30 años ya existe, -como algunas computadoras y armas desplegada en la saga de la Guerra de las Galaxias -, cuyo potencial de control y dominación ya se anunciaba desde entonces; o de películas como

“Gattaca” que explora el control social, natal y laboral basado en el adn “puro”, la cinta “Blade Runner” que refiere bioingeniería que crea humanos artificiales indistinguibles físicamente de un humano, o en caso de “Tau”, que es una IA que es capaz de tomar decisiones, “IA” que trata de IA con capacidad de imitar sentimiento y emociones y convivir con el ser humano, “Ex machina” donde después de interactuar con una IA, es posible resistirse a considerarla como un ser humano, “Chappie” donde para combatir la delincuencia crean robots que trabajan junto a policías y que son perfeccionados para que puedan pensar y sentir o recientemente “Humans 3.0”, que a través de una serie británica, se aborda el problema de los androides con apariencia indistinguible de los hu-manos y sus acciones. Solo una pequeña muestra de este tema tratado en la industria cinematográfica que expone incuestionablemente el tema de fondo de esta investigación que en términos generales expone el potencial de riesgo de una IA sin control, que debe prevenirse y ser consecuentemente regulada.

A propósito de estos ejemplos, lo sucedido con el gigante Google y Alpha-bet que en enero del 2020, su CEO Sundar Pichai admitió que hay preocupación real sobre las potenciales consecuencias negativas de una de sus IA, que van desde los llamados deep fakes hasta los usos viles del reconocimiento facial40

38 University College London. “‘Deepfakes’ clasificada como la amenaza de crimen de IA más grave”, artículo en web, (agosto 4 del 2020), Universidad College, Londres, [Consultado en septiembre 26 de 2020], Disponible en https://www.ucl.ac.uk/news/2020/aug/deepfakes-ranked-most-serious-ai-crime-threat 39 J P, E. “Los robots, mayores delincuentes en 2040”, nota informativa en web, (13 de septiembre del 2016), El Uni-versal, México, [Consultado en septiembre 30 del 2020], Disponible en: https://www.eluniversal.com.mx/articulo/ciencia-y-salud/tecnologia/2016/09/13/robots-cometeran-mas-delitos-que-seres-humanos-en 40 Ugalde, Rafael “La inteligencia artificial debe ser regulada.- Sundar Pichai”, artículo en línea, (enero 21 del 2020)





301

-identificación biométrica no autorizada, seguimiento oculto, control social, etc.-, que lo motivó a expresar públicamente la necesidad de una intervención regulatoria formal de ésta. Considerando de quién se trata seguro sabe a qué se refiere, por lo que hay que atender a su recomendación y experiencia para analizar y tipificar sobre las posibles consecuencias y responsabilidades desde el campo jurídico.

Se revisaron los siguientes referentes internacionales sobre la regulación de una IA, entre ellos (orden alfabético):

� Comisión Europea. “Libro Blanco sobre la Inteligencia Artificial (Whi-te Paper on Artificial Intelligence - A European approach to exce-llence and trust)”, (2020), en: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf que establece los ejes fundamentales para el desarrollo de su política en materia tecnológica y de datos.

� Estados Unidos “Ordenanza que regula el reconocimiento facial en la Ciudad de San Francisco, California”, (2019), relacionada con la protec-ción de la privacidad regula diversos aspectos de la tecnología de reco-nocimiento facial, la vigilancia masiva y los derechos y libertades de los residentes, en: https://www.eff.org/files/2019/05/07/leg_ver3.pdf

� Estados Unidos, “Biometric Information Privacy Act”, (2008), Illinois, primera regulación respecto a tecnologías y tratamiento de datos biomé-tricos; en: https://www.ilga.gov/legislation/ilcs/ilcs3.asp?ActID=3004

� Movilizaciones sociales como la sucedida en octubre del 2019 ante la ONU, a través de una campaña internacional impulsada por 130 ONG’s y decenas de países que impulsaron una petición para negociar un tra-tado que prohíba los llamados “robots asesinos” y las armas autóno-mas (IA) capaces de operar sin instrucciones humanas.41

� Parlamento Europeo. “Recomendaciones destinadas a la Comisión so-bre normas de Derecho civil sobre robótica”, (2017), en: http://www.europarl.europa.eu/doceo/document/A-8-2017-0005_ES.html)

� UNESCO “ARTIFICIAL INTELIGENCE and GENDER EQUALITY. Key findings of UNESCO´s Global Dialogue”, reporte, (agosto 2020),

[Consultado en febrero 13 del 2020], Disponible en: https://mundocontact.com/la-inteligencia-artificial-de-be-ser-regulada-sundar-pichai/ 41 Agencia EFE “Piden a la ONU un tratado contra los robots asesinos”, artículo en línea (22 de octubre del 2019) Publimetro, México [Consultada en enero 28 del 2020], Disponible en: https://www.publimetro.com.mx/mx/desta-cado-tv/2019/10/22/pide-a-la-onu-un-tratado-contra-los-robots-asesinos.html





302

Francia, en: https://unesdoc.unesco.org/ark:/48223/pf0000374174/PDF/374174eng.pdf.multi

� Unión Europea “Régimen de responsabilidad civil de la inteligencia artificial 2020/2014”, (2020), iniciativa en desarrollo que propone la regulación de áreas como los carros autómatas, las armas de des-trucción masiva basadas en inteligencia artificial o el reconocimiento facial, en: https://oeil.secure.europarl.europa.eu/oeil/popups/fichepro-cedure.do?lang=&reference=2020/2014(INL)

� Unión Europea. “Propuesta de resolución sobre procesos de decisión automática B9-0000/2019”, (2019), documento que expone la nece-sidad de regulación en procesos decisionales automáticos procuran-do la protección del consumidor, en: https://www.europarl.europa.eu/meetdocs/2014_2019/plmrep/COMMITTEES/IMCO/DV/2020/01-22/RE_1194746_EN.pdf

Esta investigación, permite deducir e inducir argumentos que además de fun-damentar los objetivos planteados, se vuelve un acertado pronóstico de la di-rección que está tomando paulatinamente el desarrollo incontrolado y desregu-lado de la IA, considero que nos dirigimos a un control aterrador, tecnológico, biométrico y social, donde la IA además de facilitarlo y perfeccionarlo, lo está controlando paulatinamente frente a nuestros ojos, en cuyo caso o de cual-quier manera que se le estudie, es a todas luces necesario y urgente comenzar a regularla, puesto que puede aprender, desaprender, corregir y tomar nuevas decisiones por sí misma, lo que tarde o temprano pasará.

Dentro del apartado de discusión de los hallazgos referidos, debo recono-cer que en general, diversas áreas de la IA han puesto en debate aspectos como derechos, ética, libertades, responsabilidad, entre otros visualizando que su uso y desarrollo no tiene límites, lo cual fundamenta de facto, su ordenamiento jurídico particular, ya que conflictos derivados de IA como los ya referido, han alcanzado al sistema jurídico y siguen sucediéndose, como en el caso de una IA que fue parte de un juicio español ganado en 2013 por sus creadores contra una empresa rival.42

Es un hecho que a sabiendas de la altísima probabilidad de que exista de-trás de una IA, un ser humano con libre capacidad de decisión y albedrío,43 la

42 García León, Carlos, “El robot de cocina español Mycook gana la batalla judicial a Thermomix”. Expansión, México, nota informativa, sección: jurídico, versión digital. 2013, [Consultado en noviembre 13 del 2019], Disponible en: https://www.expansion.com/2013/08/02/juridico/1375467874.html 43 “1. m. “Potestad de obrar por reflexión y elección”. Real Academia Española (2019), en línea [Consultada en no-





303

posibilidad de que una IA cometa una conducta delictiva es factible y aten-diendo a que la mayor limitante es su incapacidad para replicar los sentimien-tos humanos -hasta donde se sabe-, y aun cuando existen robots a partir de células madre capaces de autorrepararse –que no es poca cosa-44, solamente han aprendido a identificar los sentimientos,45 dado este hecho, no tendrían sentimientos de culpa, de duda y no sabrían mentir o arrepentirse, de manera que podría en este nivel de aprendizaje profundo, en primer lugar, ser progra-mada para realizar todo tipo de conductas, comunicaciones, accesos, o casi cualquier conducta a distancia lesiva socialmente, de manera que si alguna IA fuera programada para cometer delitos, probablemente los cometería sin error alguno, al contrario de lo fallidos intentos humanos bien conocidos y en se-gundo lugar podría cometerlos por sí misma, al ser programada para aprender con solo vernos y hacerlo mejor que nosotros, sin que ello representara una condición sine qua non, ya que como se documentó, puede tomar decisiones por ella misma sin tener un referente previo o programación para ello.

Si bien una IA es capaz de reflejar y realizar lo que la humanidad desee -posibilidad tentadora y emocionante-, debe tenerse presente que ello incluye lo mejor o peor de la humanidad y que al programarla para dejar que apren-da, al ser emuladora del ser humano y pese a no tener propiamente un libre albedrío para la toma de decisiones,46 no se evita el riesgo de que emule esa ca-pacidad de tomar decisiones malas, peligrosas, lesivas o delictivas que afecten incluso a los propios seres humanos. Convirtiendo nuestra mejor herramienta tecnológica, en el armamento que atente contra nosotros mismos y así nuestra peor debilidad.

Es claro que urge reconocer a la IA como un campo de estudio indepen-diente y autónomo, en virtud de impactar transversalmente a muchos campos del saber y ser de una importancia tal que algunos autores han sugerido incluso el nombre de dicho campo al que en principio se ha denominado como Derecho

viembre 29 del 2019], Disponible en: https://dle.rae.es/albedrío#EJ7Tb7c 44 Heraldo de México “Crean robots a partir de células madres capaces de autorrepararse”, artículo digital de opinión, (enero 19 de 2019) México, El Heraldo [Consultado en febrero 14 del 2020], Disponible en: https://heraldodemexico.com.mx/tecnologia/biorobots-robots-vivos-desarrollo-tecnologia/ 45 “Emosense, un sistema de Inteligencia Artificial (IA) de la Universidad de Tecnología Hefei, China es capaz de identificar emociones basado en los gestos que hace un rostro… los investigadores notaron que los gestos humanos afectan las señales inalámbricas produciendo patrones característicos que pueden ser usados para el reconoci-miento de emociones”. Diario Contraréplica. “Tecnologías que ya pueden identificar emociones humanas”. (23 de septiembre de 2019), México [Consultada en diciembre 16 del 2019], Disponible en: https://www.contrareplica.mx/nota-Tecnologias-que-ya-pueden-identificar-emociones-humanas20192394646 Véase el caso de DeepMind, de Google y su experiencia con el juego AlphaGo.





304

de los robots o Derecho de la robótica,47 la robótica es solo una parte de la IA, es consistente en pensar su regulación jurídica, pero no es una constante que sean los robots los que poseen IA -como los conocemos comúnmente-, puede existir una IA que tenga un hardware no robótico y siga siendo una IA plena, de ahí la idea de regular la IA y no solamente a los robots.

Propongo la regulación de la IA como la próxima frontera regulatoria, abonado a su vez a su estudio jurídico, considerando que una IA al no estar permeada de la natural subjetividad humana, es un hecho, lógico, posible y probable que cualquier información negativa, abusiva, inadecuada, indeseable y hasta ilegal, en forma de conocimientos, le fuera proporcionada y programa-da para cometer delitos, lo que sería el primer elemento necesario para debatir sobre la probable determinación de responsabilidad de una IA en materia penal. Lo anterior, dado que el autoaprendizaje de la IA como tal, es una progra-mación y la realización perfecta de la conducta ilegal, el resultado objetivo de ésta; consecuencia del aprendizaje/decisión y la programación/ejecución diseñada para aprender del conocimiento implantado, sin importar el tipo de conocimiento, mismo que además probablemente mejorará con la experiencia o mejor dicho con la prueba/error.

Otro elemento que facilitaría la regulación de la responsabilidad penal de una IA sería el hecho de que ya existe la posibilidad que una persona moral pueda ser responsable penalmente si a través de ésta o usando su representa-ción, se ha cometido o facilitado la comisión de un delito -artículo 11 del Códi-go Penal Federal vigente-, identificándose en el propio ordenamiento una larga variedad de conductas posibles de realizar por una IA: terrorismo, uso ilícito de instalaciones destinadas al tránsito aéreo, corrupción de menores, falsifi-cación (documental), fraude, delitos en materia de derechos de autor; además de algunas conductas de orden local como ciberacoso, ciberamenazas, sexting, usurpación o suplantación de identidad, hackeo, etc. Siendo perfectamente aplicables en su caso las sanciones previstas (última parte del mismo artículo) a la IA, tal como sucede con las personas jurídicas.

En el caso de la IA propiedad de una persona jurídica, podría además de las sanciones mencionadas, determinarse como destino final de la IA, la in-vestigación médica, de salud o de combate al propio delito cibernético ya que se sabe que la IA puede ser usada también como herramienta predictiva48 de la

47 Caballero T. L., Reseña: Barrio, A.M. (dir), “Derecho de los robots”, Revista de Derecho privado. Universidad Externa-do de Colombia, Núm. 37, julio-diciembre 2019. 367-371. [Consultado en noviembre 12 del 2019]48 Yang Yuan, Yang Yingzhi, “¿Puede la inteligencia artificial predecir delitos?”, artículo en línea, (agosto 1º del 2017) Expansión, México [Consultado en enero 29 del 2020], Disponible en: https://www.expansion.com/econo-





305

comisión de delitos y son muy pocos recursos presupuestales y humanos con los que cuentan las actuales policías cibernéticas del país como para disponer de tecnología de ese costo.

He decidido abordar también el delito informático, que al implicar activi-dades criminales clásicas, muchos países han tratado de encuadrar en figuras típicas de carácter tradicional: robos, fraudes, falsificaciones, daños, estafas, sabotajes, entre otros; sin embargo; debe destacarse que el uso de las técnicas informáticas, han creado nuevas posibilidades del uso indebido de las compu-tadoras y de la propia comisión del delito tradicional llevada al plano ciberné-tico, lo que ha derivado en la necesidad de regulación por parte de las legisla-ciones de cada país, debido además a la necesaria y obligada actualización de la norma jurídico penal ante un sociedad tecnológica inmersa en un mundo globalizado donde no pueden existir derechos sin responsabilidades o conse-cuencias, salvo en el caso de los menores de edad e inimputables. En el caso de la IA sucede algo similar, puede tener conocimiento, pero no conciencia ya que ésta es una capacidad naturalmente humana aún no emulada por la IA, aun cuando al parecer, no estemos muy lejos de ello.49

Es el caso, que cuando un nuevo campo del conocimiento surge en la so-ciedad, al no tener referente o antecedente alguno de iuris o de facto, dé lugar a negocios y nuevas relaciones personales, comerciales, de negocios, de desarro-llo o jurídicas, debe y es necesario ser regulada por el campo jurídico, como ha sucedido a lo largo de la historia, ya que es el derecho y la norma jurídica la que establece socialmente la forma en que operará, los límites en que debe desarro-llarse y la norma que debe crearse y aplicarse si no existiere alguna; para que pueda subsistir y proporcionar el beneficio social esperado, así como recibir la protección jurídica correspondiente, a sus desarrolladores o a sus consumido-res como cualquier otra profesión, negocio o comercio existente.

No pretendo satanizar la tecnología o la IA, al contrario, visualizo po-sitivo su impacto, lo que compruebo identificando oportunidades no referi-das anteriormente sobre su uso e implementación dentro del proceso judicial, que son abundantes e indiscutibles. Se le relaciona con beneficios directos a

mia-digital/innovacion/2017/08/01/597f7ea9ca4741cb738b45cc.html o en Rius, Mayté “La policía británica quiere usar IA para predecir delitos antes de que ocurran”. Nota informativa en línea (diciembre 2 del 2018) La van-guardia, Barcelona, [Consultada en enero 26 del 2029], Disponible en: https://www.lavanguardia.com/tecnolo-gia/20181202/453268636098/policia-britanica-uso-inteligencia-artificial-delitos-crimenes-delincuencia.html49 K. Mishra, Anand Thomas J. Wallin, J., Wenyang Pan, Patricia Xu Patricia y otros “Autonomic perspiration in 3D-printed hydrogel actuators”, artículo en línea (29 de enero del 2020) Science Robotics [Consultada en enero 31 del 2019], Disponible en: https://robotics.sciencemag.org/content/5/38/eaaz3918 Lo que implica que si los robots pueden “sudar”, poco podría faltar para que pudieran “sentir”.





306

la administración de justicia ante el incremento de procesos, que conllevaría a una mayor eficiencia en la calidad operativa. En el caso de los sistemas (infor-mática jurídica judicial), podrían aplicarse a la capacidad de reconocimiento una vez dotados de autonomía propia, en el caso de poseer reconocimiento de documentos o comprensión de números o caracteres, permitirían una tra-mitación instantánea a través de la generación automatizada de resoluciones que, sin menoscabo de la supervisión humana podrían agilizarse significati-vamente, mejorando la impartición de justicia a la que todos aspiramos y me-recemos.50 Lo que demuestra la necesidad de ésta en un campo conocido, pero no menos importante que el campo del derecho penal donde pocos trabajos jurídicos existen al respecto, ya que la mayoría se refieren a la aplicabilidad e implantación de la IA como herramienta solamente. Ejemplos de estos trabajos son el de Martínez Bahena, Gorety C. “La inteligencia artificial y su aplicación al campo del Derecho”, que propone un modelo de razonamiento legal basado en casos o el trabajo de Cáceres Enrique “Inteligencia Artificial, Derecho y E-Justice”, realizado en 2006 que aborda el tema desde el punto de vista de la toma de decisiones exclusivamente en apoyo a la función juridiccional; el trabajo de Fernández Hernández Carlos y Boulat, Pierre “Inteligencia artifi-cial y Derecho, problemas y perspectivas” que visualiza la ambivalencia de su aplicación o el trabajo de Derecho Digital “Inteligencia artificial y Derecho”, importantes desde la academia, la dogmática y la teoría jurídica, además de la particular importancia que reviste para los aspecto regulatorios nacionales. En el estudio de la IA, debe superarse la idea de que la IA es solo una herramienta, convocando a la comunidad jurídica a trabajar en ello, con lo que se evidencia un campo de estudio adicional al aquí considerado, el de la ética de una IA regulada por la norma.

Estos aspectos éticos, suelen no conocerse o poderse explicar desde el pun-to de vista de la toma de decisiones de una IA; dado que solo se conoce median-te un proceso de aprendizaje profundo, que consiste en el auto-aprendizaje de un algoritmo, que sucede con solo observar la forma de actuar de un ser hu-mano. Explicación peligrosa y obscura ya que racionalmente, no existe ningún sistema de IA o cualquier otro tipo creado o conocido por el hombre, que posea la capacidad de explicar las razones de su actuar.

50 Perea González, Álvaro. “Inteligencia artificial y proceso judicial: una revolución que se aproxima”, artículo de opi-nión, (1º abril del 2020), Expansión, [Consultado en septiembre 27 del 2020], Disponible en: https://www.expansion.com/juridico/opinion/2020/04/01/5e846ab8468aebd5528b45a9.html





307

Por otro lado consideré algunas razones de orden penal, particulari-zando en lo tocante a la normativa actual del tipo penal en el caso de la comisión de ciberdelitos -al ser más probable que se cometan por una IA que un delito común-, es necesario tener presente que la comisión de conductas ilegales -sin importar quien las realizó-, debe cumplir con todos los elementos del delito, incluyendo a los ciberdeli-tos,51 pero para ello debe tenerse presente que hay un problema desde su tipificación, ya que de hacerlo incorrectamente, no podrán proteger ningún bien jurídico. Existen de hecho, regulaciones tan mal integra-das en su descripción típica, que suelen ser incomprensibles incluso para los expertos informáticos, como sucede por ejemplo, en el caso del artículo 201 del Código Penal del Estado de Colima que en un fa-llido intento de regular el fraude cometido por medios informáticos indica: “VII. Manipulación indebida informática. Al que por algún uso del medio informático, telemático o electrónico alcance un lucro inde-bido para sí o para otro valiéndose de alguna manipulación informáti-ca, instrucciones de código, predicción, intercepción de datos de envío, reinyecte datos, use la red de redes montando sitios espejos o de trampa captando información crucial para el empleo no autorizado de datos, suplante identidades, modifique indirectamente mediante programas automatizados, imagen, correo o vulnerabilidad del sistema operativo cualquier archivo principal, secundario y terciario del sistema operati-vo que afecte la confiabilidad y variación de la navegación en la red o use artificio semejante para obtener lucro indebido”.52

La necesidad de regulación, encuentra una razón más, en el Convenio de Ciber-delincuencia del Consejo de Europa del 200153 que pese a ser una ley modelo y un tratado vinculante solo para los países firmantes, no ha sido considerado por la mayoría de las legislaturas locales de nuestro país, pudiendo ser uti-lizado sin problema dadas las áreas de oportunidad que existen en ese tema,

51 N. de a.: algunas otras denominaciones serían las siguientes: delitos informáticos, delitos telemáticos, ciberdelin-cuencia, delitos cibernéticos, delincuencia de alta de alta tecnología, delitos electrónicos, criminalidad informática.52 Código Penal del Estado de Colima, México, No. 47, sup1, 3 del 11 de octubre de 2014. [Consultado en enero 3 del 2020], Disponible en: http://congresocol.gob.mx/web/Sistema/uploads/LegislacionEstatal/Codigos/codigo_pe-nal_28jul2018.pdf 53 “Son considerados DELITOS INFORMATICOS los actos dirigidos contra la confidencialidad, la integridad y la dis-ponibilidad de los sistemas informáticos, redes y datos informáticos, así como el abuso de dichos sistemas, redes y datos”. Consejo de Europa “Convenio sobre la Ciberdelincuencia”. (2001), En línea [Consultado en noviembre 14 del 2019], Disponible en: https://rm.coe.int/16802fa403





308

debido a que no existe el avance esperado en las regulaciones actuales, por causas que van desde el desinterés legislativo, el desconocimiento y hasta los cambios de gobierno, como en México, donde no fue considerado en el plan de trabajo del actual presidente (como resultado de ello, la probable desaparición de la Estrategia Digital Nacional -que no pasó afortunadamente, y que quedó rezagada en un cajón y sigue ahí-) de hecho, no fue considerado el aspecto tecnológico dentro del Plan Nacional de Desarrollo vigente, desperdiciando el trabajo realizado con apoyo de la comunidad internacional y colaboración multi-stakeholder, y particularmente del resultado, como lo fue la Estrategia Nacional de Ciberseguridad publicada en 2017.

Situación que dejó a México a su suerte ante un escenario de múltiples y gravísimos riesgos cibernéticos, ante un escenario de incertidumbre a corto plazo, considerando que ya en el periodo julio 2018- julio 2019, ha sido uno de los países más ciberatacados del mundo,54 a la fecha tampoco ese dato ha cambiado, recordemos que en 2018 sucedieron diversos ataques de ransomwa-re -TeslaCrypt, Crysis y CryptoWall-, de falta de disposición de efectivo y serv involucrando a países como Colombia, Perú, México, Brasil, Argentina, Chile, Ecuador, Venezuela y resto de LATAM -en ese orden de afectación-55 lo cual no fue poca cosa y fundamenta con los datos estadísticos resultantes -inva-riablemente negativos-, el incremento inevitable e imparable del cibercrimen realizado por seres humanos, lo que permite inferir a la vez, el incremento de éstos si fuera cometido por una IA.

La principal diferencia del ciberdelito con el delito típico o tradicional es la alta especialización de conocimientos técnicos del ciberdelincuente para co-meterlo, donde el hecho de ser realizado por una IA -considerando todo lo que puede almacenar como conocimiento, lo que puede aprender y mejorar autó-nomamente-, lo convierte en un acto posible, altamente lesivo, de alto impacto social y de alto riesgo para la propia seguridad nacional -casi nada-, pueden

54 Caracuaro. “México uno de los países más ciberatacados en el mundo”. Nota informativa, en línea, México. (30 de agosto del 2019) [Consultada en noviembre 14 del 2019], Disponible en: https://caracuaro.com/noticias/mexico-uno-de-los-paises-mas-ciberatacados-en-el-mundo 55 Guiusto Beltic, Denise. “Países más afectados por el ransomware en Latinoamérica durante 2018”. Welivesecurity, artículo en línea, (enero 4 del 2019) [Consultada en noviembre 14 del 2019], Disponible en: https://www.welivese-curity.com/la-es/2019/01/04/paises-mas-afectados-ransomware-latinoamerica-durante-2018/





309

afectar prácticamente a todos –persona,56 empresa57 o gobierno58 del mundo59-. Al ser cometidos a través del Ciberespacio o Ciberentorno,60 provocan serias pérdidas económicas -casi siempre producen “beneficios” de más de cinco cifras a quienes las realizan- y definitivamente son muy pocas las denun-cias, con tendencia a proliferar y a incrementarse año con año en variedad y cantidad.61

La norma jurídico penal en México, hasta diciembre del 2019 (32 legis-laciones locales y 1 federal), contienen un aproximado de poco más de 110 incipientes artículos relacionados de alguna manera con la comisión de delitos informáticos,62 lo cual resulta escaso para la cantidad de conductas que tipifi-cadas o no se suceden 24/7 en México y el mundo, ninguno relacionado con el uso de IA o algún otro tipo de tecnologías disruptiva o emergente -drones, blockchain, algoritmos, big data, ciberterrorismo, entre otros-, evidencia de la necesidad de su inclusión normativa urgente.

En lo tocante al hecho de ser los ciberdelitos probables conductas come-tidas por una IA, la propuesta de regulación jurídica, obedece a los innumera-bles elementos facticos referidos a lo largo de este documento y que permiten inducir que efectivamente es posible que tales conductas se cometan y al poder usarse la IA como un arma cibernética para atacar a los diferentes tipos de

56 Eitb. “Hackers logran acceder a teléfonos de usuarios de Whatsapp”, nota informativa, en línea. (14/5/2019) [Con-sultado en noviembre 14 del 2019], Disponible en: https://www.eitb.eus/es/noticias/tecnologia/detalle/6404592/hackers-acceden-telefonos-usuarios-whatsapp-mayo-2019/ 57 Computer World. “El 70% de las organizaciones están siendo ciberatacadas”, nota informativa en línea. (2017) [Consultada en noviembre 12 del 22019], Disponible en: https://cso.computerworld.es/tendencias/el-70-de-las-or-ganizaciones-estan-siendo-ciberatacadas58 AFP. “Ciberataque a gobierno de Atlanta exige rescate en bitcoins”. Nota periodística en línea, El economista, Mé-xico. (23 de marzo de 2018) [Consultada en noviembre 13 de 2019], Disponible en: https://www.eleconomista.com.mx/internacionales/Ciberataque-a-gobierno-de-Atlanta-exige-rescate-en-bitcoins-20180323-0042.html 59 Periódico Correo. “Ciberatacan a gobiernos, universidades y partidos”. Nota informativa en línea. (noviembre 3 del 2017) [Consultado en noviembre 13 del 2019], Disponible en: https://periodicocorreo.com.mx/ciberatacan-gobier-nos-universidades-partidos/ 60 UIT Rec. UIT-T X.1205. “Ciberentorno”, en línea. descarga directa, 66 p.p., (2008). [Consultado en noviembre 12 del 2019], Disponible en: https://www.itu.int/rec/T-REC-X.1205-200804-I/es 61 En 2015, la Policía Federal reportaba a través de la unidad de inteligencia (Policía Cibernética), a los siguientes delitos (de mayor a menor comisión), cometidos por medios informáticos en México durante ese año: fraude y falsi-ficación informática, producción, posesión o distribución de pornografía infantil, daños personales o patrimoniales por malware, acceso, intercepción o adquisición ilegal de información o datos de la computadora, acceso ilegal a un sistema informático, delitos relacionados con la identidad, control y envío de SPAM, infracciones a marcas y derechos de autor, actos en favor del terrorismo, daños a sistemas informáticos y sitios web de gobierno, incumpli-miento de medidas de protección de información y datos, acoso cibernético, incitación a la prostitución en menores de edad y actos de racismo o xenofobia. Semana de la Ciberseguridad, (Octubre del 2015) INACIPE, México.62 Término que no ha sido formalmente definido solo localmente el Estado de Morelos en su artículo 148 quarter, el Estado de Sinaloa en su Artículo 217 y el Estado de Veracruz en el artículo 181.





310

activos e información o a las personas, no estando preparado el campo jurídico aún para combatirlos en la actualidad, independientemente del sujeto activo.

Conclusiones:

I.- Las consecuencias probables de responsabilidad penal de una IA en términos generales y de lógica jurídica, no podrían ir más allá de como sucede en el caso de los menores de edad, o menos aún en cuanto a san-ciones se trata. La posibilidad de que ésta se regule, facilitaría acciones de política criminal, actualización legal y normativa, estrategias y pro-gramas de prevención, asignaturas de alfabetización, actualización y capacitación como parte de las políticas públicas, no solo se trata del trabajo legal y normativo, además de abonar a la cultura tecnológica que todos tenemos derecho a recibir como parte del derecho humano a la educación.

II.- Para que dicha regulación de orden penal deba realizarse, es importante saber que la teoría jurídica actual en el país, que propone regular a la IA es empírica y escasa, e incompleta en cuanto a consideraciones en derecho penal se trata, por ello debe considerarse que los estudios exis-tentes y los referentes estudiados -más de 50-, coinciden apoyando la propuesta de regulación de la responsabilidad de una IA incluyendo el de su personalidad, considero que estamos en el camino correcto al poner sobre la mesa un tema tan delicado, sensible y polémico, es el antecedente necesario para el momento en que conductas no reguladas para una IA sucedan, no debemos esperar a hacerlo cuando éstas ya sucedieron.

III.- La regulación de la IA puede ir desde crear o adicionar definiciones a figuras jurídicas existentes, o la creación de nuevas como las que pro-pongo a continuación: “Identidad jurídica electrónica”-para personas y personas jurídicas- “Persona artificial” e “identidad artificial” -para la IA-. Cuya intención es diferenciar el tipo de persona y la regulación, derechos y responsabilidad o consecuencias que pudieran aplicarse, dado el Ciberentorno en que las nuevas tecnologías e identidades coe-xisten 24 horas los 365 días y donde es muy complicado diferenciar en esa interacción entre personas e IA, es necesario incluir la diferencia de identidades, previo a una regulación en materia penal.

IV.- Considerando que la IA se humaniza cada vez más, lo que representa un peligro para las generaciones recientes, que fascinadas por ésta y





311

dada la inexperiencia y analfabetismo tecnológico, facilita que intro-yecten cualquier información que encuentren, incluso son dependien-tes de casi cualquier tecnología a su disposición, esa admiración les atrae al punto que desean usarla para aprenderla y enseguida utilizarla

-sin límite alguno-, para realizar conductas o accesos indebidos, donde los conocimientos adquiridos sobre el tema, les invitan a la conducta delictiva y la facilitan en cierta medida. Ya ni hablar de la posibilidad de llegar a ser dependientes de una IA, dependientes de nuestra propia creación, que sin regulación suena aterrador.

V.- No conformes con saber que ya existe la IA que “suda”, debe enten-derse que poco debe faltar para que “sienta”, enfrentando además una disyuntiva adicional como lo es el reto de la implantación de ética y valores en ella, aspectos como la honestidad,63 que, si bien es una cualidad humana, es menos común de lo que se desea,. Si se puede programar a una IA para tomar sus propias decisiones después de de-terminadas “experiencias”, probablemente también se le pueda progra-mar para mentir y en el mejor de los casos para ser honesta, no es una cuestión de sentimientos, emociones o características, la honestidad en una IA se convierte simplemente en una cuestión de programación, simulando o emulando a la honestidad, o todo lo contrario, mintiendo perfectamente y el humano naturalmente crédulo, podría creer en ella fácilmente, una razón más, para pensar en una regulación ética/jurídi-ca64 necesaria.

VI.- Mientras la IA se perfecciona, las personas perdemos el trabajo,65 y ello no es una sustitución del hombre por la máquina, es por falta de alfabetización, actualización y profesionalización tecnológica, así que parece que actualizarse o morir es la única opción.66 Esta “opción”, es

63 Cualidad de honesto, Del lat. honestus./ 1. adj. Decente o decoroso./ 2. adj. Recatado, pudoroso./ 3. adj. Razonable, justo./ 4. adj. Probo, recto, honrado. RAE definiciones de “honestidad y honesto”, en línea, [Consultado en febrero 3 del 2020], Disponible en: https://dle.rae.es/?w=honesto 64 Valls Prieto, Javier. “El reto de una robótica e inteligencia artificial honesta con las personas”, artículo en línea, (octubre 27 del 2019) The Conversation Academic rigor, journalistic flair [Consultado en febrero 4 del 2020], Dis-ponible en https://theconversation.com/el-reto-de-una-robotica-e-inteligencia-artificial-honesta-con-las-perso-nas-125034 65 Marco, Agustín “Crisis en Prosegur: despide a su cúpula de ciberseguridad tras el ‘hackeo’ de sus cuentas”, nota informativa en línea, (febrero 2 del 2020) [Consultada en febrero 8 del 2020], Disponible en https://www.elcon-fidencial.com/empresas/2020-02-10/prosegur-despide-cupula-de-ciberseguridad-tras-hackeo-cuentas_2446055/ 66 Quirós Jaime, “Las profesiones que caducarán esta década”, enero 2 del 2020, artículo en línea, [Consultada en enero 16 del 2020], Disponible en; https://es-us.finanzas.yahoo.com/noticias/profesiones-caducaran-decada-fe-cha-154738160.html





312

un riesgo diferente, pero latente para muchos campos del conocimien-to incluso el jurídico y si no hay actualización, sucederán dos cosas: 1) No hay mucha oportunidad de continuar ejerciendo temas tecnoló-gicos por analfabetismo digital y obsolescencia legal67 y 2) Tampoco habría espacios para trabajar por la actualización de la legislación, he-rramienta fundamental del jurista. No debemos permitir que esto pase, estamos a tiempo.

VII.- Con toda la perfección que hasta ahora ha demostrado la IA, el de-sarrollo robótico o de la IA es perfectible, al emular al ser humano y programadas por humanos probablemente hereden algunas de sus de-ficiencias o errores e incluso tengan los propios; porque al no haber nada en esta vida completamente seguro ni perfecto,68 solo la muerte y la posibilidad de fallo es altamente posible y al generar consecuencias legales debe existir normativa que resuelva incluyendo la creación de tribunales especializados en tecnología y que serían inclusivos de con-secuencias derivadas del uso o actividad de una IA.69

VIII.- Se ha documentado ya, en el ámbito de la ciencia y la academia que la IA facilitará la comisión de delitos, si bien, su regulación no va a evi-tar el potencial peligro, si contribuirá a disminuir el riesgo y determinar la responsabilidad, pero cuando tal regulación NO EXISTE, personas, empresas y gobiernos estamos en completo estado de indefensión y eso es muy grave porque vivimos fuera de todo estado de derecho, por ello, debe regularse porque las amenazas cibernéticas pueden cambiar nuestra vida o privarnos de ella y es necesario que alguien responda por ello.

IX.- Es necesario e importante utilizar el aprendizaje profundo de una IA, pero asegurándonos jurídicamente de que se siga la naturaleza de he-rramienta que es una IA. Para ello apostamos desde la visión de este trabajo a los aspectos educativos generales y obligatorios, actividades

67 Cortés, Gabino, “La sustitución de los abogados por la tecnología”, artículo en línea, (11 de julio del 2017) Dia-rio La Opinión [Consultada en enero 18 del 2020], Disponible en: https://laopinion.com/2017/07/11/la-sustitu-cion-de-los-abogados-por-la-tecnologia/ 68 Motoko, Rich, “Los robots no son salvadores del futuro, tienen sus fallas”, artículo en línea (23 de enero de 2020) Panamá América [Consultada en enero 30 del 2020], Disponible en: https://www.panamaamerica.com.pa/nytimes-internationalweekly/los-robots-no-son-los-salvadores-del-futuro-tienen-sus-fallas-1154695 69 Weizenbaum explica que necesitamos auténticos sentimientos de empatía de las personas en ciertos puestos de lo contrario nos encontraremos alienados, devaluados y frustrados. La inteligencia artificial, representaría una amenaza para la dignidad humana. Weizenbaum, Joseph “Winner of CPSR’s Norbert Wiener Award for Professional and Social Responsibility”, en línea, (1988) [Consultado en febrero 8 del 2020], Disponible en: https://web.archive.org/web/20041011131756/http://www.cpsr.org/cpsr/weiz.html





313

que pueden resumirse en un “ABC”: “A”: de aprender todo lo posible de ella, su desarrollo y fortaleciendo su aplicación para prevenir y com-batir el delito, “B”: de beneficiarse con su potencial y ventajas para cualquier campo del conocimiento en todos los niveles educativos y

“C”: de crear conciencia y establecer los límites éticos y jurídicos de su uso indebido.70 Lo que puede impactarse positivamente de forma trans-versal a cualquier campo del conocimiento, que para el momento que nos ocupa, ya tendríamos que estar pensando en el tema de la Ciberse-guridad, no solo del derecho penal y la responsabilidad.

X.- Debe atenderse a la recomendación de apostar por la regulación de IA desde el tema de prevención del delito como se estudia desde el Derecho Penal y de la política pública tradicional en México, porque debemos como país, mantenernos actualizados en el desarrollo tecnológico71

-eso implica regulación-, ya que ofrece oportunidades muy sofisticadas para hacer un mal uso del ciberespacio y de la tecnología misma, don-de la IA es sin lugar a duda, tecnología que debe ser regulada.

XI.- No debe satanizarse la tecnología, ni temerle o rechazarla, hay que aprender y usarla, ya que ésta no es ni mala ni buena, nació como una herramienta y eso es, al contrario de las personas que la manejan quienes pueden usarla como arma, determinado por su libre albedrío, inexistente en la IA, regular implicaría también establecer pautas éticas que penalicen cualquier uso indebido de una IA, aun cuando “decida” actuar indebidamente, aprovechando también el control sobre ella y contener una posible “rebeldía”, como ha sucedido. En algunos países es posible accionar respuestas del derecho civil o del derecho adminis-trativo, pero no del derecho penal, pues el principio de precaución no puede ser utilizado para integrar normativamente un delito impruden-te, en México nada de ello es posible, ni por imprudencia, negligencia o dolo, hay que empezar ya.

70 P.e.: identificar si una determinada persona es un criminal, analizando las características de su rostro con un porcentaje de precisión cercano al 90 %, como sucede con la IA conocida como “Emotient”. Darlington, Keith. “Sis-temas de inteligencia artificial que gestionan emociones humanas”. Artículo en línea. (13 agosto 2018) [Consultado en diciembre 28 de 2019], Disponible en: https://www.bbvaopenmind.com/tecnologia/inteligencia-artificial/siste-mas-de-inteligencia-artificial-que-gestionan-emociones-humanas/71 El Convenio de Ciberdelincuencia de Budapest del 2001 establece: “…9. … el derecho penal debe mantenerse al corriente de estos desarrollos tecnológicos que ofrecen oportunidades muy sofisticadas para hacer un mal uso de las facilidades del ciberespacio … Dada la naturaleza transfronteriza de las redes de información, es necesario un esfuerzo internacional concertado para hacer frente a ese uso impropio… además de las medidas de cooperación internacional, se deberían abordar las cuestiones de derecho sustantivo y procesal, así como cuestiones que están estrechamente relacionadas con el uso de la tecnología de la información”.





314

XII.- Las posibilidades y acciones jurídicas necesarias, para regular alguna vez la responsabilidad penal de una IA en México, se fundamenta tam-bién en la cantidad y variedad de tecnologías emergentes de las cuales el campo jurídico no se ha ocupado y que si bien potencian sus venta-jas –y la dependencia a ellas-, también lo hacen con los riesgos en el mismo potencial, para tener una idea refiero algunas de las principales tendencias en ciberseguridad para 2021,72 que son un foco rojo para el campo jurídico que serán: actividades de ransomware, botnets, código dañino avanzado, ataques a sistemas de acceso remoto, ataques web, ingeniería social -todas sus modalidades-, ataques contra la cadena de suministro y ataques contra sistemas ciberfísicos; que se suman a las amenazas existentes del 2020,73 caracterizadas por ser cometidas por agentes de delincuencia informática organizada. Es claro que es-tamos ante un riesgo latente, urgente y desregulado. Es determinante que los juristas apostemos y trabajemos desde la docencia, investi-gación, regulación y educación principalmente. Pudiendo resumir el marco jurídico propuesto para su regulación, con el reconocimiento de su personalidad artificial en la Constitución Política del país y la co-rrespondiente inclusión en el apartado de atributos de la personalidad en el Código Civil Federal de definiciones siguientes: identidad jurídica electrónica, persona artificial e identidad artificial como parte de un tercer tipo de persona jurídica; posteriormente, el reconocimiento de su responsabilidad penal -con sus debidas particularidades, como en el caso de menores e inimputables-, en el Código Penal Federal, Ca-pítulo I de Reglas generales sobre delitos y responsabilidad, así como en el Capítulo II de Acceso ilícito a sistemas y equipos de informática,

72 Centro Criptológico Nacional (ccn-cert). “Ciberamenazas y tendencias edición 2020”, documento de análisis, (septiembre 2020), Ministerio de Defensa, España, [Consultado en septiembre 29 del 2020], Disponible en https://www.ccn-cert.cni.es/informes/informes-ccn-cert-publicos/5377-ccn-cert-ia-13-20-ciberamenazas-y-tendencias-edicion-2020/file.html 73 Ciberseguridad Industrial, el uso no autorizado o ilegal de datos o información, e minado ilegal de criptomonedas (Cryptojacking), el Cibercrimen como servicio, la Ciberguerra, Ciberataques a infraestructuras críticas, ataques a la privacidad, la IA como punto de ataque, el uso de Machine Learning para ataques automatizados y obtención de información, los retos del IoT, los vehículos autónomos, la Colaboración entre cibercriminales, seguridad en Cloud Computing y Cloud Forense, la Ciberseguridad móvil, los Videojuegos, las amenazas fileless, ataques por drones y la difusión de pornografía infantil en realidad aumentada, sin olvidar las conductas comunes como el phishing, fraudes, fake news, usurpación de identidad, entre otros. Aquí otro ejemplo: Corral, Adyr y Michel, Víctor Hugo. “‘Narcos’ migran a WhatsApp para evadir servicios de inteligencia”, nota informativa en línea, (enero 27 del 2020) Milenio 2020 [Consultada en febrero 5 del 2020], Disponible en: https://www.milenio.com/policia/narcotrafican-tes-usan-whatsapp-para-evadir-servicios-de-inteligencia





315

tipificando diversas conductas de índole informático que pudiera co-meter una IA por decisión propia, dentro del incipiente y perfectible capítulo referido que también requiere una actualización profunda. Propuesta que no se desarrolla ya que requerirá de más espacio que el autorizado en este trabajo.

XIII.- Adicionalmente, el Índice Mundial de Ciberseguridad (IMC) de la UTI74 para 2018, indica que México de ocupar el lugar 28 bajó al 63 en 2019, lo que representa una grave disminución de su compromiso y atención la ciberseguridad nacional, respecto del resto del mundo, de acuerdo con los cinco pilares de la Agenda sobre Ciberseguridad Global: medidas jurídicas, técnicas, organizativas, capacitación y coo-peración, lo que establece las cifras específicas del riesgo para México, al que he aludido en el presente trabajo permanentemente y que en primer lugar considera las de orden jurídico, otra razón más.

XIV.- Un sólido fundamento más para la presente propuesta, se localiza en el trabajo del Parlamento Europeo, que mediante informe emitido en 2015 refiere diversas recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), que conside-ran las principales líneas de trabajo para el legislador, destacando: La creación de una Agencia Europea de Robótica e Inteligencia Artificial, elaboración de un código de conducta ético base para regular la res-ponsabilidad de los impactos sociales, ambientales y de salud de la ro-bótica y asegurar que operen de acuerdo con las normas legales, de se-guridad y éticas pertinentes; promulgar reglas de responsabilidad por los daños causados por los robots, crear un estatuto de persona electró-nica, crear un Registro Europeo de los robots inteligentes, la robótica y la inteligencia artificial son descritas como “tecnologías disruptivas” que pueden “transformar vidas y prácticas de trabajo” y afectar al mer-cado laboral y los niveles de empleo, ya que todo ello eventualmente tendrá un impacto en todas las esferas sociales y globales. Considero viable retomar este trabajo para hacer lo propio, ya que nunca se pasó de la intención de México a adherirse al Convenio de Ciberdelincuen-cia de Budapest del 2001.

XV.- Debo decir que no todas son buenas noticias, si bien la IA tiene un sinnúmero de beneficios y aplicaciones, también es mucho más que

74 Internacional Telecommunications Union (UTI). “Global Cybersecurity Index (GCI)”, edición digital, (2018), (p. 92) [Consultado en febrero 12 del 2020], Disponible en: https://www.itu.int/dms_pub/itu-d/opb/str/D-STR-GCI.01-2018-PDF-E.pdf





316

software y hardware con un funcionamiento casi perfecto, al ser una creación humana es susceptible de error, problemas de software, po-sibilidad de ser vulnerada (mal llamado hackeo) y controlada, por su-puesto problemas éticos aún no considerados que la alejan de la im-parcialidad, la seguridad y la responsabilidad que son sus tres pilares fundamentales, dos de ellos son características humanas y el tercero

–la seguridad-, no es absoluta porque lo absoluto no existe y con ello es vulnerable en los todos niveles. Cuando los pilares éticos fun-damentales son determinados por instituciones, organizaciones o go-biernos claramente con doble moral y poca credibilidad, siempre será un riesgo adicional para lo cual podríamos estar imitando el ejemplo del Observatorio del impacto social y ético de la inteligencia artificial (odiseIA),75 que en España observa, previene y mitiga los desafíos del uso de la inteligencia artificial como oportunidad disruptiva. Lo cual fundamentaría, regularía o evitaría el control de la implementación de políticas dudosas,76 por lo que sería ideal en el caso nacional, la partici-pación del modelo multi stakeholder referido.

Argumentos, razones, fundamentos y motivos que justifican y permiten con-cluir el cumplimiento de los objetivos por un lado y por otro la comproba-ción hipotética que establece que, efectivamente, la Inteligencia artificial: es la frontera próxima a regular. Aún no se está preparado y el campo jurídico debe evitar cualquier daño o actividad cometida por una Inteligencia Artificial (IA)

-propia (Deep Learning), o ajena no autorizada, (intrusión o hackeo)-. Es la oportunidad, el momento social y una responsabilidad profesional y personal contribuir a ello, como se estableció en marco jurídico mínimo que se propone.

Fuentes de información:

1. Abogado.Digital. “Primer crimen cometido mediante inteligencia artificial: si-mulan la voz de un CEO para pedir deposito urgente”, nota informativa jurídica,

75 Observatorio del impacto social y ético de la inteligencia artificial (odiseIA), en web, [Consultado en febrero 13 del 2020], Disponible en: https://www.odiseia.org/ 76 Como la establecida por la Casa Blanca en febrero del 2019 cuando lanzó la “Maintaining American Leadership in Artificial Intelligence” (Orden Ejecutiva 13859), cuya finalidad nunca fue realmente clara. En The Technolawgist “Los 10 principios básicos en materia de inteligencia artificial lanzados por la Casa Blanca a las Agencias Federales”, artículo en línea, (enero 20 del 2020) [Consultada en enero 31 del 2010], Disponible en: https://www.thetechnolaw-gist.com/2020/01/20/los-10-principios-basicos-en-materia-de-inteligencia-artificial-lanzados-por-la-casa-blan-ca-a-las-agencias-federales/





317

(agosto 30 del 2019), [Consultada en septiembre 28 del 2020], Disponible en: https://www.abogado.digital/primer-crimen-cometido-mediante-inteligen-cia-artificial-simulan-la-voz-del-ceo-para-solicitar-deposito-urgente/

2. AFP. “Ciberataque a gobierno de Atlanta exige rescate en bitcoins”. Nota pe-riodística en línea, El economista, México. (23 de marzo de 2018) [Consulta-da en noviembre 13 de 2019], Disponible en: https://www.eleconomista.com.mx/internacionales/Ciberataque-a-gobierno-de-Atlanta-exige-rescate-en-bit-coins-20180323-0042.html

3. Agencia EFE “Piden a la ONU un tratado contra los robots asesinos”, artícu-lo en línea (22 de octubre del 2019) Publimetro, México [Consultada en ene-ro 28 del 2020], Disponible en: https://www.publimetro.com.mx/mx/destaca-do-tv/2019/10/22/pide-a-la-onu-un-tratado-contra-los-robots-asesinos.html

4. Analitics10. Definición de “redes neuronales”. Artículo, en línea, s/f, [Consulta-da en noviembre 29 de 2019], Disponible en: https://www.analytics10.com/blog/cual-es-la-diferencia-entre-inteligencia-artificial-ai-y-machine-learning-ml/

5. BBC Mundo. “Tay, la robot racista y xenófoba de Microsoft”, nota informativa en web, (26 de marzo del 2016), [Consultada en septiembre 18 del 2020], Dispo-nible en: https://www.bbc.com/mundo/noticias/2016/03/160325_tecnologia_microsoft_tay_bot_adolescente_inteligencia_artificial_racista_xenofoba_lb

6. BLOOMBERG. “Inteligencia artificial de Google causa asombro y preocupación”, Nota informativa, en web, Portafolio, El Tiempo, (12 de mayo del 2018), [Con-sultada en 25 de septiembre del 2020], Disponible en https://www.portafolio.co/negocios/empresas/sic-ordena-a-google-a-que-cumpla-con-estandares-de-proteccion-de-datos-544294

7. Boston Children´s Hospital, “A first in medical robotics: Autonomous naviga-tion inside the body”, en línea, (24 de abril del 2019) EureKalert! [Consultada en noviembre 22 del 2019] Disponible en: https://www.eurekalert.org/pub_relea-ses/2019-04/bch-afi042219.php

8. Cáceres, Enrique. “Inteligencia Artificial, Derecho y E-Justice”, (2006) edición en línea, (El proyecto IIJ-CONACYT), Boletín de Derecho Comparado, Año XXXIX, número 116, pp. 593-611. [Consultado en enero 27 del 2020], Dispo-nible en: https://revistas.juridicas.unam.mx/index.php/derecho-comparado/article/view/3889/4889 The Technolawgist, “Los 10 principios básicos en ma-teria de inteligencia artificial lanzados por la Casa Blanca a las Agencias Fede-rales”, artículo en línea, (enero 20 del 2020) [Consultada en enero 31 del 2010], Disponible en: https://www.thetechnolawgist.com/2020/01/20/los-10-princi-pios-basicos-en-materia-de-inteligencia-artificial-lanzados-por-la-casa-blan-ca-a-las-agencias-federales/

9. Calderón, Grecia. “Inteligencia artificial”. En Euston96, (en línea), (2019) [Con-sultada en noviembre 23 del 2019], Disponible en: https://www.euston96.com/inteligencia-artificial/





318

10. Caracuaro. “México uno de los países más ciberatacados en el mundo”. Nota informativa, en línea, México. (30 de agosto del 2019) [Consultada en noviembre 14 del 2019], Disponible en: https://caracuaro.com/noticias/mexico-uno-de-los-paises-mas-ciberatacados-en-el-mundo

11. Carrasco Sergio. “Diferencia entre machine learning y deep lear-ning”. Artículo en línea, Overant (22-Ene-2019), [Consultado en di-ciembre 3 del 2019], Disponible en https://www.overant.com/blog/diferencia-entre-machine-learning-y-deep-learning/

12. Centro Criptológico Nacional (ccn-cert). “Ciberamenazas y tendencias edición 2020”, documento de análisis, (15 de septiembre 2020), Ministerio de Defensa, España, [Consultado en septiembre 29 del 2020], Disponible en https://www.ccn-cert.cni.es/informes/informes-ccn-cert-publicos/5377-ccn-cert-ia-13-20-ciberamenazas-y-tendencias-edicion-2020/file.html

13. CNBC. “Hot Robot At SXSW Says She Wants To Destroy Humans”, video en web, 02:37 mins., a través de El Pulso, (16 de marzo del 2016), [Consul-tado en setiembre 26 de 2020], Disponible en: https://www.youtube.com/watch?time_continue=12&v=W0_DPi0PmF0&feature=emb_logo

14. Coleman Flynn “A Human Algorithm: how artificial inteligence redifining who are”, Ed. Counter Point (2019), 336 p.p.

15. Computer World. “El 70% de las organizaciones están siendo cibera-tacadas”, nota informativa en línea. (2017) [Consultada en noviembre 12 del 2019], Disponible en: https://cso.computerworld.es/tendencias/el-70-de-las-organizaciones-estan-siendo-ciberatacadas

16. Consejo de Europa, “Convenio sobre la Ciberdelincuencia”. (2001), En línea, Bu-dapest [Consultado en noviembre 14 del 2019], Disponible en: https://rm.coe.int/16802fa403

17. Contreras, Juan M., “En Coahuila previenen delitos con inteligencia artificial”, nota informativa en línea, (8 de abril del 2019) el Sol de Coahuila, México [Con-sultada en febrero 7 del 2020], Disponible en: https://www.elsoldemexico.com.mx/republica/justicia/en-coahuila-previenen-delitos-con-inteligencia-artifi-cial-3292176.html

18. Corral, Adyr y Michel, Víctor Hugo, “‘Narcos’ migran a WhatsApp para evadir servicios de inteligencia”, nota informativa en línea, (enero 27 del 2020) Milenio 2020 [Consultada en febrero 5 del 2020], Disponible en: https://www.milenio.com/policia/narcotraficantes-usan-whatsapp-para-evadir-servicios-de-inteligencia

19. Cortés, Gabino, “La sustitución de los abogados por la tecnología”, ar-tículo en línea, (11 de julio del 2017) Diario La Opinión [Consultada en enero 18 del 2020], Disponible en: https://laopinion.com/2017/07/11/la-sustitucion-de-los-abogados-por-la-tecnologia/

20. Darlington Keith. “Sistemas de inteligencia artificial que gestio-nan emociones humanas”. Artículo en línea. OpenMind BBVA (13 agosto 2018) [Consultado en diciembre 28 de 2019], Disponible en:





319

https://www.bbvaopenmind.com/tecnologia/inteligencia-artificial/sistemas-de-inteligencia-artificial-que-gestionan-emociones-humanas/

21. Denoticias, “Inteligencia artificial revienta el fraude del crimen en Silicon Va-lley”, nota informativa en línea (febrero 9 de 2020) España [Consultada en fe-brero 10 del 2020], Disponible en: https://www.denoticias.es/notas/inteligen-cia-artificial-revienta-el-fraude-del-crimen-en-silicon-valley.html

22. Derecho Digital, “Inteligencia artificial y Derecho”, artículo en línea (21 marzo, 2019) LetsLaw [Consultada en febrero 11 del 2020], Disponible en: https://lets-law.es/inteligencia-artificial-y-derecho/

23. Diario Contraréplica. “Tecnologías que ya pueden identificar emocio-nes humanas”. (23 de septiembre de 2019), México [Consultada en di-ciembre 16 del 2019], Disponible en: https://www.contrareplica.mx/nota-Tecnologias-que-ya-pueden-identificar-emociones-humanas201923946

24. DW, “NASA investiga primer posible delito cometido en el espacio”, nota infor-mativa en línea, (agosto 25 del 2019), [Consultada en diciembre 28 del 2019], Disponible en: https://www.dw.com/es/nasa-investiga-primer-posible-deli-to-cometido-en-el-espacio/a-50156616?maca=es-Facebook-sharing

25. Eitb. “Hackers logran acceder a teléfonos de usuarios de Whatsapp”, nota in-formativa, en línea. (14/5/2019) [Consultado en noviembre 14 del 2019], Dis-ponible en: https://www.eitb.eus/es/noticias/tecnologia/detalle/6404592/hackers-acceden-telefonos-usuarios-whatsapp-mayo-2019/

26. Gañán, Hugo. “Un Tesla autónomo atropella a un robot ruso y se da a la fuga”, nota informativa, (9 de enero del 1019), El Plural, [Consultado en sep-tiembre 27 del 2020], Disponible en; https://www.elplural.com/leequid/omg/un-tesla-autonomo-atropella-a-un-robot-ruso-y-se-da-a-la-fuga_209152102

27. Godó Vertical Media. “¿Qué aportó a la ciencia Alan Turing?”. (en línea), (27 de agosto del 2018). Disponible en: https://www.lavanguardia.com/historiayvi-da/historia-contemporanea/20180611/47312986353/que-aporto-a-la-ciencia-alan-turing.html

28. Guiusto Beltic, Denise. “Países más afectados por el ransomwa-re en Latinoamérica durante 2018”. Welivesecurity, artículo en lí-nea, (enero 4 del 2019) [Consultada en noviembre 14 del 2019] Dis-ponible en: https://www.welivesecurity.com/la-es/2019/01/04/paises-mas-afectados-ransomware-latinoamerica-durante-2018/

29. Hevia Andrés. “¿Cuáles son las diferencias entre IA, Machine Learning y Natural Language Processing?”. Artículo en línea, (Nov 13, 2016) [Consultada en di-ciembre 4 del 2019], Disponible en https://planetachatbot.com/diferencias-en-tre-ia-machine-learning-y-natural-language-processing-315650ac3ca2

30. Internacional Telecommunications Union (UTI). “Global Cybersecurity Index (GCI)”, edición digital, (2018) [Consultado en febrero 12 del 2020], Disponible en: https://www.itu.int/dms_pub/itu-d/opb/str/D-STR-GCI.01-2018-PDF-E.pdf





320

31. J P, E. “Los robots, mayores delincuentes en 2040”, nota informativa en web, (13 de septiembre del 2016), El Universal, México, [Consultado en septiembre 30 del 2020], Disponible en: https://www.eluniversal.com.mx/articulo/ciencia-y-salud/tecnologia/2016/09/13/robots-cometeran-mas-delitos-que-seres-humanos-en

32. Jaimovich, Desirée “Un sistema de inteligencia artificial “identifica las inten-ciones criminales” para evitar delitos”, artículo en línea, (agosto 15 del 2017) Infobae, Argentina [Consultada en febrero 9 del 2020], Disponible en: https://www.infobae.com/america/tecno/2017/08/15/un-sistema-de-inteligencia-arti-ficial-identifica-las-intenciones-criminales-para-evitar-delitos/

33. Jiménez de Luis, Ángel. “Facebook apaga una inteligencia artificial que había inventado su propio idioma”, nota informativa en web, El Mundo, España, (26 de julio del 2017), [Consultado en septiembre 25 del 2020], Disponible en: ht-tps://www.elmundo.es/tecnologia/2017/07/28/5979e60646163f5f688b4664.html

34. Marco, Agustín, “Crisis en Prosegur: despide a su cúpula de ciber-seguridad tras el ‘hackeo’ de sus cuentas”, nota informativa en lí-nea, (febrero 2 del 2020) [Consultada en febrero 8 del 2020], Dis-ponible en https://www.elconfidencial.com/empresas/2020-02-10/prosegur-despide-cupula-de-ciberseguridad-tras-hackeo-cuentas_2446055/

35. Marina José Antonio. “La inteligencia fracasada”, Edición impresa, Ed. Anagra-ma, (2016), ISBN: 978-84-339-7805-9. 176 p.p.

36. Martínez Bahena, Gorety Carolina. “La inteligencia artificial y su aplicación al campo del Derecho”. En línea, (S/f) Revista Alegatos, México, Vol. 26, Núm. 82, pp. 827-846 [Consultado en enero 27 del 2020], Disponible en: http://www.cor-teidh.or.cr/tablas/r30570.pdf

37. Martínez Marco Daniel. “9 aplicaciones exitosas de la inteligencia artifi-cial para el 2018”, edición digital, Grupo extraordinaria (2017) [Consulta-do en noviembre 17 del 2019], Disponible en: https://grupoextraordinaria.com/9-aplicaciones-inteligencia-artificial/

38. Méndez, Fabiola. “El robot es inocente”, entrevista a experta Alejandra Morán, (marzo 22 del 2018), UNAM Global, México, [Consultada en septiembre 26 de 2020], Disponible en: http://www.unamglobal.unam.mx/?p=36083

39. Menn, Joseph. “Nuevo tipo de programas de inteligencia artificial llevarán de-litos informáticos a otro nivel”, nota informativa, (agosto 8 del 2018), Reuters, [Consultada en septiembre 27 del 2020], Disponible en: https://jp.reuters.com/article/tecnologia-ibm-inteligenciaartificial-idLTAKBN1KT1ZO-OUSLI

40. Minsky, Marvin. “Inteligencia artificial”, definición en Escolano Ruíz, Fran-cisco, Cazorla Quevedo, Miguel A. y otros “Inteligencia Artificial: Mode-los técnicas y áreas de aplicación”, edición digital (2003), Ed. Thomson, [Consultado en noviembre 9 del 2019], Disponible en: https://books.goo-gle.com.mx/books?hl=es&lr=&id=_spC6S7UfZgC&oi=fnd&pg=PP1&d-





321

q=tipos+de+inteligencia+artificial&ots=sPmnKDNuBU&sig=URMtRML-1QfTLD4Pt9AqyIzPJTCE#v=onepage&q=tipos%20de%20inteligencia%20artificial&f=false

41. Mora Castro José Luis. “La evolución de la Inteligencia Artificial”, 2016. Revista digital Mundo Contact, [Consultada en noviembre 7 del 2019], Disponible en: https://mundocontact.com/la-evolucion-de-la-inteligencia-artificial/

42. Motoko, Rich “Los robots no son salvadores del futuro, tienen sus fallas”, artículo en línea (23 de enero de 2020) Panamá América [Consultada en enero 30 del 2020], Dis-ponible en: https://www.panamaamerica.com.pa/nytimesinternationalweekly/los-robots-no-son-los-salvadores-del-futuro-tienen-sus-fallas-1154695

43. Noriega, Samuel, “Inteligencia Artificial para predecir el crimen en Hermosillo”, nota informativa en línea, (23/12/2019) Expreso [Consultada en febrero 9 de 2020], Disponible en: https://www.expreso.com.mx/seccion/expresion/e-co-munidad/139486-inteligencia-artificial-para-predecir-el-crimen-en-hermosi-llo.html

44. Observatorio del impacto social y ético de la inteligencia artificial (odiseIA), en web, [Consultado en febrero 13 del 2020], Disponible en: https://www.odiseia.org/

45. Olivares Joaquín. “Mi cirujano, el Dr. Robot”. “The Conversation”. Acade-mic rigor, journalistic flair. Artículo digital, enero 29 del 2020. Bo [Con-sultada en: 31 de enero del 2020] Disponible: https://theconversation.com/mi-cirujano-el-dr-robot-130812

46. Parlamento Europeo “Recomendaciones destinadas a la Comisión sobre nor-mas de Derecho civil sobre robótica”, 2015/2103(INL), en línea, [Consultadas en febrero 10 del 2020], Disponibles en: http://www.europarl.europa.eu/doceo/document/A-8-2017-0005_ES.html

47. Perea González, Álvaro. “Inteligencia artificial y proceso judicial: una revo-lución que se aproxima”, artículo de opinión, (1º abril del 2020), Expansión, [Consultado en septiembre 27 del 2020], Disponible en: https://www.expansion.com/juridico/opinion/2020/04/01/5e846ab8468aebd5528b45a9.html

48. Periódico Correo. “Ciberatacan a gobiernos, universidades y partidos”. Nota informativa en línea. (noviembre 3 del 2017) [Consultado en no-viembre 13 del 2019], Disponible en: https://periodicocorreo.com.mx/ciberatacan-gobiernos-universidades-partidos/

49. Quirós Jaime “Las profesiones que caducarán esta década”, enero 2 del 2020, ar-tículo en línea, [Consultada en enero 16 del 2020], Disponible en; https://es-us.fi-nanzas.yahoo.com/noticias/profesiones-caducaran-decada-fecha-154738160.html

50. RAE. “honestidad y honesto”, definiciones en línea, [Consultado en febrero 3 del 2020] Disponible en: https://dle.rae.es/?w=honesto





322

51. Real Academia Española. “Libre albedrío”, definición en línea, (2019), [Con-sultada en noviembre 29 del 2019], Disponible en: https://dle.rae.es/albedrío#EJ7Tb7c

52. Rebeca. “EL LADO OSCURO DE LA INTELIGENCIA ARTIFICIAL”, blog a través de next.u, (s/f), [Consultado en septiembre 27 del 2020], Disponible en: https://www.nextu.com/blog/lado-oscuro-inteligencia-artificial/

53. Reuters, “Nuevo tipo de programas de inteligencia artificial llevarán ciberdelitos a otro nivel”. En línea (8 de agosto del 2018) [Consultada en enero 15 del 2010], Disponible en: https://www.elfinanciero.com.mx/tech/nuevo-tipo-de-progra-mas-de-inteligencia-artificial-llevaran-ciberdelitos-a-otro-nivel

54. Ribas, Ester, “Predicciones y tendencias en ciberseguridad para 2020”. En línea, (noviembre 25 del 2019) IEBF [Consultado en febrero 13 del 2020], Disponible en: https://www.iebschool.com/blog/tendencias-ciberseguridad-business-tech/

55. Rius, Mayté, “La policía británica quiere usar IA para predecir delitos antes de que ocurran”. Nota informativa en línea (diciembre 2 del 2018) La vanguar-dia, Barcelona, [Consultada en enero 26 del 2029], Disponible en: https://www.lavanguardia.com/tecnologia/20181202/453268636098/policia-britani-ca-uso-inteligencia-artificial-delitos-crimenes-delincuencia.html

56. Ruíz Fernández, Alicia. “5 riesgos de la Inteligencia Artificial que pueden hacer-la peligrosa”, artículo en web, (19 de noviembre del 2018), Ticbeat, [Consultada en septiembre 29 de 2020], Disponible en; https://www.ticbeat.com/tecnolo-gias/5-riesgos-de-la-inteligencia-artificial-que-pueden-hacerla-peligrosa/

57. Tecnología, Negocios Estrategia. “CIBERCRIMINALES USARÁN IA PARA CO-METER DELITOS”. (febrero 7 del 2018) Circulo tne [Consultada en enero 4 del 2020], Disponible en: https://circulotne.com/cibercriminales-usaran-ia-pa-ra-cometer-delitos.html

58. Ugade, Rafael. “Detectan con IA al coronavirus antes de hacerse pú-blico”, artículo en Revista digital Mundo Contact, sección tecnolo-gía. (enero 29 del 2020), Disponible en: https://mundocontact.com/detectan-con-ia-el-coronavirus-antes-de-hacerse-publico/

59. Ugalde, Rafael, “La inteligencia artificial debe ser regula-da.- Sundar Pichai”, artículo en línea, (enero 21 del 2020) [Consulta-do en febrero 13 del 2020], Disponible en: https://mundocontact.com/la-inteligencia-artificial-debe-ser-regulada-sundar-pichai/

60. Ugalde, Rafael. “Inteligencia artificial provocará guerra mundial.- Elon Musk”, artículo en línea, (septiembre 3 del 2017) Mundo Contact [Con-sultado en enero 30 del 2020], Disponible en; https://mundocontact.com/inteligencia-artificial-provocara-guerra-mundial-elon-musk/

61. UIT Rec. UIT-T X.1205. “Ciberentorno”, en línea. descarga directa, 66 p.p., (2008). [Consultado en noviembre 12 del 2019], Disponible en: https://www.itu.int/rec/T-REC-X.1205-200804-I/es





323

62. University College London. “ ‘Deepfakes’ clasificada como la amenaza de cri-men de IA más grave”, artículo en web, (agosto 4 del 2020), Universidad College, Londres, [Consultado en septiembre 26 de 2020], Disponible en https://www.ucl.ac.uk/news/2020/aug/deepfakes-ranked-most-serious-ai-crime-threat

63. Valls Prieto, Javier. “El reto de una robótica e inteligencia artificial honesta con las personas”, artículo en línea, (octubre 27 del 2019) The Conversation Aca-demic rigor, journalistic flair [Consultado en febrero 4 del 2020], Disponible en https://theconversation.com/el-reto-de-una-robotica-e-inteligencia-artifi-cial-honesta-con-las-personas-125034

64. Weizenbaum, Joseph “Winner of CPSR’s Norbert Wiener Award for Professional and Social Responsibility”, en línea, (1988) [Consultado en febrero 8 del 2020], Disponible en: https://web.archive.org/web/20041011131756/http://www.cpsr.org/cpsr/weiz.html

65. Yang Yuan, Yang Yingzhi, “¿Puede la inteligencia artificial predecir delitos?”, artículo en línea, (agosto 1º del 2017) Expansión, México [Consultado en enero 29 del 2020] Disponible en: https://www.expansion.com/economia-digital/in-novacion/2017/08/01/597f7ea9ca4741cb738b45cc.html




325


Hacia otra dimensión juridica: el derecho de los robots*Towards Another Legal Dimension: Law of Robots

Ana Karin Chávez Valdivia**

resumenUn nuevo escenario en el cual el creciente y rápido desarrollo e interés por introducir robots artificialmente inteligentes en la vida cotidiana de los seres humanos hace necesario replantear la capacidad de nuestros sistemas legales actuales para manejar los casos que involucran a estos actores.

Durante mucho tiempo la fabricación y el diseño de robots han enfrentado la posibilidad de demandas por responsabilidad del producto. Ahora, sin embargo, se desarrollan robots sociales que están diseñados para interactuar con los humanos de forma íntima cuando estamos en la forma más humana y vulnerable. Con este cambio de propósito, la robótica se está aventurando en ámbitos legales que tradicionalmente han gobernado las interacciones sociales entre humanos, en lugar de las interacciones entre humanos y máquinas.

Asistimos a una nueva generación de sistemas robó-ticos como consecuencia de la evolución tecnológica lo que significa que en el plano jurídico empiezan a quedar atrás los debates y cuestiones de carácter general sobre las telecomunicaciones e internet para ahora cobrar especial importancia la regulación de las tecnologías emergentes y disruptivas.

Consideramos que la regulación jurídica de los robots deviene en un tema de obligado análisis interdisciplinario. Más aún cuando enfrentamos la posibilidad de que una nueva categoría de sujeto jurídico

-que se encontraría a medio camino entra la persona y el objeto- nos conducirá, en algún momento, a abordar la sustantividad y viabilidad de un Derecho de los Robots.

palabras claveInteligencia artificial, robótica, personalidad electróni-ca, derecho de los robots

abstractA new scene where the increasing and quick development and interest in insert intelligent synthetically robots in human being daily life makes necessary evaluate the capacity of our current legal system in order to handle cases where these actors are involved.

For long time ago robots manufacturing and drawing have dealt with the possibility of claims for product responsibility. However at the present social robots are being carried out to interact with humans in an intimate way in those moments and places we are in our most human and vulnerable face. With this change of purpose, robotics is venturing into legal fields which traditionally have ruled social interactions among humans, instead of interactions between humans and machines.

We are attending new generation of robotic systems as a result of technological development what means that in legal level discussion and matters of general character on telecommunications and internet are lagging behind and emergent and disruptive technologies regulation are increasing in importance. We consider that robot legal regulation evolves into an obligatory subject of interdisciplinary analysis. Furthermore facing the possibility of a new category of legal person - placed in halfway of the person and the object- will lead us to tackle the substantivity and viability of a Law of Robots at some point.

key wordsArtificial intelligence, robotics, electronic personality, law of robots

*Artículo de Investigación postulado el 4 de febrero de 2020 y aceptado el 27 de julio de 2020**Docente investigadora en la Universidad La Salle, Arequipa, Perú. ([email protected]) orcid.org/0000-0002-6453-3119




A N A K A R I N C H Á V E Z V A L D I V I A

326

SUMARIO

1. Introducción2. Consideraciones generales 3. Robótica e Inteligencia artificial4. Hacia una personalidad de los robots5. Sobre la viabilidad de un Derecho de los Robots 6. Consideraciones finales 7. Referencias

1. Introducción

La idea de que los robots hayan evolucionado más allá de la consideración como “propiedad” y la viabilidad de que adquieran estatus legal como seres con “derechos” plantea múltiples interrogantes sobre diversos temas.

La base axiológica de los ordenamientos jurídicos occidentales se centra en la dignidad inherente de la persona humana. Este hecho implica entre otras cosas el “derecho a tener derechos”. Los sistemas legales se basan en un con-junto de suposiciones filosóficas en el que los seres humanos ocupan una posi-ción excepcional; esto resulta no solo del hecho de que las normas legales son establecidas por ellos, sino también, o más aún, del valor moral inherente del ser humano como un fin en sí mismo. En este sentido el derecho se basa en el supuesto de que todas las relaciones jurídicas tienen lugar entre las personas naturales y/o jurídicas, es decir los seres humanos y sus entidades orgánicas.

La creciente e imparable introducción de la inteligencia artificial en la in-dustria y en la sociedad promete revolucionar las estructuras sociales actuales y comportará no solo innumerables desafíos regulatorios que los actuales mar-cos legales –en su mayoría- no están preparados para enfrentar; sino también tecnológicos e industriales.

La evolución de la inteligencia artificial y la consecuente inserción de nue-vos agentes inteligentes en la sociedad y en la vida cotidiana que comenzarán a operar sin la intervención de humanos y eventualmente incluso sin su co-nocimiento, marcarán un hito en el desarrollo del derecho; situándolo en la necesidad de replantearse un nuevo tipo de persona no concebida por los hasta ahora ordenamientos jurídicos: la “persona electro-física”.




H A C I A O T R A D I M E N S I Ó N J U R I D I C A : E L D E R E C H O D E L O S R O B O T S

327

2. Consideraciones generales

Si nos preguntamos porque la inteligencia artificial (IA) genera tanta polémica, probablemente las primeras respuestas se orientarán hacia cuestiones intelec-tuales compuestas de temores fundamentados en amenazas a la subsistencia humana en sus diversas formas.

El tema de la regulación de los robots lleva varios años en la mira de diver-sos especialistas e instituciones públicas. En este sentido “Los derechos legales de los robots” es un tema que se ha debatido por más de 30 años, comenzando con un artículo de Robert Freitas Jr. en 1985.1

El tiempo ha demostrado que el debate teórico debe evolucionar en leyes y que tal vez éstas trastocarán los ordenamientos jurídicos como han sido hasta ahora conocidos.

En un contexto jurídico en el que las normas existentes establecen que entidades como empresas, corporaciones, asociaciones u otras son tratadas como cierto estatus legal; el desarrollo tecnológico demanda centrar nuestra atención en la posibilidad de que pueda ocurrir lo mismo con los robots inteli-gentes autónomos.

En los últimos años el tema de la personalidad del robot ha pasado a un primer plano en la robótica social gracias a diversas publicaciones que abordan este planteamiento desde diversas aristas.2 Aceptar la posibilidad de que los ro-bots estén dotados de algún tipo de personalidad artificial implica un proceso de transición que no será el mismo en todos los países ni contará con el mismo nivel de aceptación debido a innumerables factores, pero que aun siendo así, las sociedades deberán afrontar en un corto periodo de tiempo.

1 Freitas Jr., R.: “The legal rights of robots”. Student Lawyer 13, pp. 54–56 (1985)2 Entre los títulos más resaltantes podemos mencionar: Steffen Wettig y Eberhard Zehendner a través del artículo “The electronic agent: A legal personality under German law” (2003). Samir Chopra y Laurence F. White en su libro titulado: “A Legal Theory for Autonomous Artificial Agents” (2011). F. Patrick Hubbard a través de su artículo: Do androids dream?: Personhood and intelligent artifacts publicado en la revista Temple Law Review (2010). Patrick Lin; Keith Abney y George A. Bekey mediante el artículo denominado “Can machines be people? Reflections on the turing triage test” publicado en el libro Robot Ethics: The Ethical and Social Implications of Robotics (2012). Kamil Muzyka mediante su escrito titulado: “The outline of personhood law regarding artificial intelligences and emulated human entities” publicado en Journal of Artificial General Intelligence (2014). Evan Joseph Zimmerman a través de su artículo denominado: “Machine Minds: Frontiers in Legal Personhood” publicado en la revista de Derecho de la Universidad de Berkeley (2015).





328

3. Robótica e Inteligencia artificial

Es indiscutible que los avances en robótica tienen cada vez mayor aplicación y difusión en la sociedad por lo que su integración como parte del entorno no se vislumbra tan inviable. Gobiernos, universidades y el sector privado han mostrado un interés creciente en torno al tema. Así tenemos a Google que ha adquirido varias empresas de inteligencia artificial; y Amazon que en el año 2012 compró una empresa de robótica para ayudar a automatizar sus almace-nes3 y a finales del 2014 anunció un proyecto para entregar algunos paquetes empleando drones.4

La robótica como la siguiente tecnología transformadora de los ordenado-res e internet, desde hace algunos años ya es una realidad y viene generando diversas cuestiones jurídicas y políticas que en la mayoría de casos desborda el marco del Derecho Informático, llevándonos a cuestionarnos sobre la viabili-dad de un Derecho de los Robots.

No existe, sin embargo, un consenso sobre el concepto de robot ya que depende en gran medida del lugar y cultura donde se concibe siendo además un concepto variable en el tiempo. A esto se suma que muchas disciplinas cien-tíficas y tecnológicas están directamente relacionadas con diferentes tipos de robot y que en la industria la diversidad es bastante amplia. Por estas razones esbozar una clasificación deviene en una tarea bastante compleja. Sin embargo compartimos el criterio de Barrientos, Peñin, Balaguer y Santoja quienes dis-tinguen cuatro tipos de robots y tres generaciones de desarrollo en función a su complejidad y adaptabilidad de interacción con el entorno.5

En nuestro artículo titulado: “Hacia el quebrantamiento de paradigmas jurídicos: La robótica y la inteligencia artificial, abordamos esta nueva forma de “singularidad” con potencialidad para convertirse en “agente moral” tras el análisis de diversas consideraciones.6 En este sentido la esencia de un robot es que la tecnología combine y se construya sobre el paradigma de: sentir- pensar

3 Pooler, Michael, “Los robots de Amazon revolucionan la logística”. Expansión. [Consulta: 4 de marzo de 2019]. Dis-ponible en: http://www.expansion.com/economia-digital/innovacion/2017/08/29/59a458d7ca4741cf138b4622.html4 Castromil, Juan, “Amazon usará drones Prime Air para repartir sus paquetes volando”. CLIPSET. [Consulta: 2 de marzo de 2019]. Disponible en: https://clipset.20minutos.es/amazon-usara-drones-prime-air-para-repartir-sus-paquetes/ 5 Barrientos, Antonio, Peñin, Luis, Balaguer, Carlos y Aracil, Santoja, Fundamentos de la Robótica, Madrid, Editorial Mc Graw Hill, 2007, pp. 10-11.6 Artículo presentado en el XXI Congreso Iberoamericano de Asociaciones de Derecho e Informática. San Luis de Potosí - México. 2017





329

-actuar tal como sostienen Singer7 o Calo8 en los Estados Unidos y Palmerini9 en Europa. Es decir, deben contar con tres componentes:

� Sensores que vigilan el entorno y detectan cambios en él.� Procesadores o inteligencia artificial que deciden como responder.� Actuadores que operan sobre el entorno de manera que refleje las de-

cisiones anteriores, provocando algún tipo de cambio en el entorno mundo de un robot.

Cuando estos tres factores actúan conjuntamente podemos decir que nos en-contramos ante un robot que adquiere funcionalidad de un organismo artificial capaz de operar independientemente, libre de la intervención humana (u otra) y por extensión, libre de condicionantes externos.

Sin embargo como acertadamente señala Barrio, al igual que los elemen-tos fundantes de Internet interactúan con el Derecho en formas novedosas y originan problemas jurídicos insospechados, así también las características esenciales de la robótica están produciendo situaciones jurídicas disruptivas.10

En esta línea de pensamiento, Calo propone una sistematización que ge-nera diversos cuestionamientos doctrinarios al señalar que la robótica entraña tres propiedades privativas (o transformativas):

a) Corporeidad. Frente al software, el robot es material o con una materia-lidad corpórea.

b) Impredecibilidad. A diferencia de una simple máquina, el robot piensa y decide con cierta autonomía.

c) Impacto social; que en determinados androides lleva a las personas a preocuparse por su situación, o incluso, hasta por sus “derechos”.11

7 Singer, Peter, Wired for War: the robotics revolution and confliction in the 21st century, New York, Editorial Pen-guin Press, 2009, pp. 37.8 Calo, Ryan, “Robots and ethics”, en Lin, Patrick (coord.), Robot ethics: The ethical and social implications of robo-tics., Cambridge, MIT Press, 2012, pp. 159-168.9 Palmerini, Erica y Bertolini, Andrea, “Liability and risk management in robotics”, en Schulze, Reiner., y Stauden-mayer, Dirk (coords.), Digital Revolution: Challenges for Contract Law in Practice, Baden-Baden, Nomos, 2016, pp. 225-260.10 Barrio, Moises, “Del derecho de internet al derecho de los robots”, en Barrio, Moises (coord.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, pp. 61-86. 11 Calo, Ryan, “Robots as legal metaphors”, Harvard Journal of law and Technology, Estados Unidos, No. 30, 2016, pp. 209-237.





330

En cuanto a este último punto el autor expresamente alude a una “nueva categoría de sujeto jurídico a medio camino entre persona y objeto”. Señalando que la calificación “a mitad de camino”; es parcial, porque la asignación de estatus puede ser incompleta, contextual, inestable y sobre todo oportunista en el sentido que los ciudadanos pueden tratar al robot como “persona” para algunos propósitos u como “objeto” para otros.

Compartimos la opinión de Filipe Maia Alexandre al señalar que, si bien en teoría la robótica y la inteligencia artificial pueden permitirle a la huma-nidad completar su búsqueda definitiva de bienestar social y prosperidad, el camino que actualmente nos separa de ella es largo y borroso. Como cualquier otra gran revolución en la industria, ésta también tendrá varios desafíos que deberá superar para poder llevarse a cabo con éxito. Señala además que con la creación de la inteligencia artificial, la humanidad está a punto de entrar en un territorio inexplorado y transitar un camino que nunca antes se había tratado.12

Conceptualizar la inteligencia artificial (IA), desde hace años no reviste tanta simplicidad, debido fundamentalmente a dos razones: En primer lugar porque no hay consenso sobre de que se trata la inteligencia propiamente dicha y en segundo lugar, en consideración de algunos sectores, no existen muchas razones para creer que la inteligencia de una máquina tenga gran relación con la inteligencia humana.

Si bien es cierto que han existido y existen muchas propuestas de defini-ción con diversos enfoques, la mayor parte de ellas -en términos muy genera-les- se han centrado en la idea de crear programas de ordenador o máquinas capaces de tener conductas que se pueden considerar inteligentes si fuesen rea-lizadas por un humano. Ya en 1955 John McCarthy, uno de los fundadores de la IA junto a Minsky, Rochester y Shannon describieron el proceso como: “El hacer que una máquina se comporte de formas que serían llamadas inteligentes si un ser humano hiciera eso”.

En este sentido, tal como señala García-Prieto; disciplinas del control inte-ligente, el control multiagente, los sistemas expertos o la programación semán-tica que tradicionalmente han sido muy influyentes en la robótica, también han jugado un papel fundamental en el desarrollo de la IA que de manera circular vuelve a retroalimentar a la robótica. Otras disciplinas, además, relacionadas con la teoría informática, como el soft computing, la lógica difusa, la neuro-computación, la computación evolutiva, la computación distribuida e incluso la computación caótica; han tenido influencia considerable en la robótica y en

12 Maia, Filipe, The Legal Status of Artificially Intelligent Robots, Tilburg, Universidad de Tilburg, 2017, pp. 6.





331

la IA. Finalmente, señala el autor que respecto a las matemáticas y mus espe-cialmente la estadística, las redes neuronales artificiales, las redes bayesianas, el machine learning y el pattern recognition son básicamente las principales disciplinas que conforman lo que se entiende hoy habitualmente como IA13. En suma, resulta muy difícil establecer los límites de lo que es – y lo que deja de ser- la inteligencia artificial.

Sin embargo, García- Prieto refiere también que si es posible comprender que esta técnica posee una cierta ontología diferenciada. Si bien la termino-logía utilizada depende bastante del ámbito en el que se trabaje, existe un es-quema básico que se puede generalizar a lo largo de cualquier desarrollo de IA, siendo así y en base a esta consideración el autor la conceptualiza como “toda técnica de procesamiento de información caracterizada por hacer cálculos so-bre determinada información en un espacio dimensional virtual y construido mediante operaciones –generalmente no lineales- llevadas a cabo dentro del propio algoritmo para aprovechar diversas propiedades de espacios altamente dimensionales”. Precisando que, suele clasificar a estas técnicas una forma de trabajo estadístico orientado a la clasificación de patrones a partir de ejemplos, aunque esta característica es más bien metodológica.

En este orden de ideas, debe tenerse presente que para comprender la in-fluencia real que la IA ha tenido en la robótica es necesario conocer -al menos superficialmente- como funcionan gran parte de las metodologías. Cabe men-cionar sin embargo, que al no ser ese el objeto del presente artículo éstas no serán abordadas.

Consideramos que conforme avance la innovación tecnológica dejará de existir una distinción práctica entre los robots y los agentes de inteligencia artificial y se unirán en una categoría única. Al mismo tiempo debe tenerse presente que tanto los robots en cuanto entidades dotadas de materialización física pero también de un sistema de software presentan la potencialidad y riesgos del mundo físico y del virtual.

4. Hacia una personalidad de los robots

El Derecho parte de la distinción básica entre personas y cosas. Los defenso-res de los robots advierten que cuanto más antropomórfico éstos sean, más

13 García-Prieto, Juan, “¿Qué es un robot?”, en Barrio, Moisés (coord.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, pp. 25-60.





332

personas tienden a compartir la culpa con el robot por el fracaso y el elogio por el éxito.

En este sentido Darling analiza si la forma en que las personas parecen reaccionar frente a las máquinas antropomorfas sugiere la necesidad de exten-der un conjunto limitado de derechos legales a los robots sociales o, al menos prohibiciones contra su abuso, aun cuando no sean reputados como seres vivos o sensibles a un nivel racional.14

Por otro lado, a juicio de la opinión dominante, sólo del hombre pude de-cirse –según señala Hermogeniano en el Digesto- que en razón suya está cons-tituido todo el derecho. No obstante, no podemos negar que muchos países ya están asistiendo al debate acerca de crear o no una nueva categoría de sujeto jurídico. Tal es así que el Parlamento de la Unión Europea15 en su Resolución formula una serie de consideraciones precisas, así como recomendaciones a efecto de regular a corto plazo la creación, uso y efecto de la robótica.

En este contexto debe hacerse mención a la posible creación de una perso-nalidad jurídica específica16 es decir la creación de una “personalidad electróni-ca” para aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes. Cabe señalar al mismo tiempo, que el concepto de personalidad jurídica en sí mismo no ha sido una realidad inmutable a lo largo de la historia, basta con hacer un recorrido remontándonos a sus orígenes en el siglo XIII hasta el año pasado con el estado del Whanganui.17

Por otro lado; como acertadamente sostiene Barrio Andrés, la personali-dad electrónica puede ser reputada como un enfoque plausible al problema de la responsabilidad, tanto para los18 robots dotados de un cuerpo como para los robots software que exhiben un cierto grado de autonomía e interactúan con

14 Darling, Kate, “Extending legal protection to social robots: The effects of anthropomorphism, empathy, and violent behavior towards robotic objects”, en Calo, Ryan (coord.), Robot Law, Reino Unido, Edward Elgar, 2012, pp. 23.15 Resolución del Parlamento Europeo Resolución del Parlamento Europeo, de 16 de febrero de 2017, con recomen-daciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)) 16 INFORME con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)) Comisión de Asuntos Jurídicos, señala en la sección sobre responsabilidad: “Crear a largo plazo una personalidad jurídica específica para los robots, de forma que como mínimo los robots autónomos más complejos puedan ser considerados personas electrónicas responsables de reparar los daños que puedan causar, y posible-mente aplicar la personalidad electrónica a aquellos supuestos en los que los robots tomen decisiones autónomas inteligentes o interactúen con terceros de forma independiente”. 17 El acuerdo Tūtohu Whakatupua es el nombre del contrato con que se marca la obligación de las partes de respetar el tratamiento que el pueblo Ivos tiene al río Wanganui, situado en la Isla del Norte de Nueva Zelanda, firmado entre Nueva Zelanda y la gente local Whanganui Ivi el 30 de agosto de 2012, proceso iniciado en el año 1994. El acuerdo en mención reconoce la existencia de una nueva entidad legal - Te Awa Tupua. El Awa Tupua es la “persona jurídica” del río Whanganui.18





333

las personas. Siendo así, las propiedades señaladas anteriormente resultarán relevantes en los diversos contextos jurídicos como son el Derecho Penal y pro-cesal, la Responsabilidad civil, la Propiedad intelectual, Libertad de expresión, privacidad, Derecho de los contratos, Derecho tributario, entre otros.

En consecuencia; las cualidades esenciales o distintivas de los robots y sus indiscutibles repercusiones en el campo del derecho nos conduce a plantearnos la viabilidad de una rama propia: El Derecho de los Robots. Este hecho no debe sorprendernos dado que en su momento la irrupción de Internet en nuestras vidas, su desarrollo y evolución; así como las implicancias jurídicas que trajo consigo, significó que el Derecho tuviera que replantearse infinidad de temas jurídicos siendo resultado de ese proceso el nacimiento de una nueva rama del derecho conocido mayoritariamente en nuestro país como Derecho Informá-tico; rama que recibe otros nombres en diferentes países pero cuyo objeto de estudio es sustancialmente el mismo.

Si bien somos conscientes que este planteamiento -que dividió a Europa en su momento al punto que expertos de más de catorce países mostraron su rechazo en torno a la posibilidad de otorgar “personalidad” a los robots alegan-do; entre diversos argumentos, una sobrevaloración a sus capacidades reales, un imprevisible impacto económico, legal, social y ético; entre otros- no es una cuestión trivial. No podemos negar que enfrentamos un proceso que no solo concierne al sistema normativo sino que indiscutiblemente reviste un carácter interdisciplinario.

Por otro lado, cabe mencionar que si bien el Parlamento Europeo hace alusión a una “persona electrónica”; en opinión de Ercilla el término ciber-fí-sico es el que más se acercaría a la descripción de lo que ha de ser un robot inteligente, precisando que el término “electrónico” devendría en exiguo a la hora de identificar a los entes dotados de personalidad jurídica y sosteniendo que la denominación más correcta habría de ser de persona electro-física ya que este término respondería a la configuración misma de lo que en un futuro serían los robots, a saber, dispositivos físicos con capacidades de computación, almacenamiento y comunicación para controlar e interactuar con un proceso físico, controlados o monitoreados por algoritmos computacionales e integra-dos en red.19

Nos encontramos en un momento que nos permite avizorar la tendiente creación de un nuevo modelo de sociedad donde la convivencia con robots de

19 Ercilla, Javier, Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, Pamplona, Thomson Reuters Arazandi, 2018, pp.26.





334

características humanas delineará el futuro de la humanidad por lo que debido a la trascendencia de este tema su planteamiento y consecuente análisis no estará exento de polémica en sus inicios.

Cabe reflexionar además en torno a la afirmación de Vallverdú20 quien seña-la que: “la personalidad legal que se les quiere otorgar ahora a los robots no tiene nada que ver con regular sus derechos, sino que tiene una motivación económica y busca eximir a los fabricantes de responsabilidad en los actos de los robots”,21

línea de pensamiento compartida también por Ramón López de Mántaras.22

5. Sobre la viabilidad de un Derecho de los Robots

Señala acertadamente Filipe Maia Alexandre que, si bien es indiscutible que en todas las jurisdicciones los seres humanos tienen un estatus legal distinto, incluso entre nuestras especies esta realidad no es pacífica ni universal.

Ya en el primer corpus legal de la historia, el Código de Hammurabi, el estado legal de los hombres variaba en relación a los castigos según la riqueza que poseían. En todas las jurisdicciones que permitieron la existencia de la es-clavitud, las personas que se consideraban esclavas no tenían el mismo estatus legal. Varias jurisdicciones también contemplaron diferentes estados legales para los hombres en función de la raza. Como ejemplo, en los Estados Unidos el primer voto emitido por un afroamericano no se hizo hasta el 31 de marzo de 1870 y los matrimonios interraciales solo se permitieron después de 1967 con Loving v. Virginia. También es posible encontrar jurisdicciones donde a las personas se les atribuyen diferentes estatutos legales basados en el género. Según la ley saudí, todas las mujeres deben tener un guardián masculino (wali), generalmente un padre, hermano, esposo o tío (mahram). Las mujeres tienen prohibido viajar, realizar negocios oficiales o someterse a ciertos procedimien-tos médicos sin el permiso del tutor masculino respectivo.

En este sentido, el estado legal de personas, animales, objetos y otras rea-lidades (como ríos y empresas) varía de jurisdicción a jurisdicción y, con el transcurso del tiempo, incluso dentro de la misma jurisdicción y con respecto a la misma realidad.

20 Especialista en Filosofía de la computación y bioética en la UAB quien también suscribió la carta a Juncker precisando que su postura no es en contra al reconocimiento del derecho de los robots porque precisamente su aspiración profesional es conseguir máquinas con conciencia y emociones.21 Rius, Mayte, “¿Urge regular ya los derechos de los robots en Europa?”. La Vanguardia. [Consulta: 1 de marzo de 2019]. Disponible en: https://www.lavanguardia.com/tecnologia/20180417/442631680924/derechos-ro-bots-ue-persona-electronica-ia.htmldigital/innovacion/2017/08/29/59a458d7ca4741cf138b4622.html22 Director del Instituto de Investigación de Inteligencia artificial del CSIC (Consejo Superior de Investigación Científica)





335

Esta observación permitiría concluir que un estatus legal separado o una personalidad jurídica no se derivan de la calidad de la persona física, sino que son el resultado de opciones legislativas que se basan en consideraciones mo-rales, que intentan reflejar las realidades sociales en el marco legal o que sim-plemente se hicieron por conveniencia legal.

Por lo tanto, dado que pareciera no haber un solo principio que dicte cuándo el sistema legal debe reconocer a una entidad como persona jurídica, ni cuán-do debe denegar la personalidad jurídica, y a través de la historia no se deriva ninguna orientación sobre la mencionada institución, es pertinente analizar la posibilidad de que los agentes artificialmente inteligentes tengan el derecho de ser considerados entidades jurídicas separadas, ya sea que hacerlo refleje una realidad social o una opción conveniente desde un punto de vista legal.

Pagallo precisa las formas en que los derechos comparados pueden siste-matizarse en tres grandes propuestas:

� Una primera aproximación, que únicamente examina como los robots afectan a los conceptos y principios legales tradicionales, como es el caso del concepto de persona jurídica.

� Una segunda que pretende edificar una nueva disciplina jurídica con nuevos paradigmas, como sería la responsabilidad por operaciones realizadas por sistemas robóticos autónomos.

� Finalmente y en sentido contrario la propuesta que niega su especifi-cidad y convierte los retos que plantean los robots en cuestiones que se pueden abordar siempre dentro de los parámetros de los vigentes ordenamientos jurídicos.23

Compartimos la opinión de Barrio al señalar que los marcos jurídicos forzosa-mente tendrán que adaptarse ya que permanecer neutrales o indiferentes con respecto a la inclusión de la robótica y la IA no será una opción y mucho menos lo será la reclasificación de la tecnología con miras a una adecuación dentro de las categorías legales existentes; más aún cuando enfrentamos el problema de que muchos conceptos fundamentales se están tornando problemáticos como marcadores de límites como sería la integridad corporal en un mundo de inter-faces hombre-máquina.

23 Pagallo, Ugo, The Laws of Robots: Crimes, contracts and torts, New York, Springer, 2013, pp 37.





336

En este orden de ideas, es evidente que existen circunstancias que jus-tifican un tratamiento unitario del tema; entre éstas se encuentra cuestiones fácticas, es decir, las múltiples aplicaciones estudiadas pertenecen a un mismo sector de la investigación y de la innovación tecnológica –la robótica- que, aunque se sirve de diversas disciplinas auxiliares, presenta características su-ficientemente específicas y privativas. Además, la relevancia del tema es de carácter socioeconómico, puesto que la robótica implica un mercado en ex-pansión, considerado estratégico sobre el plano económico y de gran impacto a nivel social, cuyo crecimiento requiere ser controlado mediante una inter-vención regulatoria.

5. Consideraciones finales

Debido al potencial que ofrece la conjunción robótica e inteligencia artificial, para transformar profundamente la sociedad tal como la conocemos, un en-foque proactivo puede ser la única forma de garantizar la sostenibilidad de-bido a que lo único cierto es que ningún estrato se mantendrá intacto. En este sentido la cuestión de si los agentes artificialmente inteligentes -en la medida que puedan actuar de manera autónoma y entendiendo esta autonomía como la capacidad de tomar decisiones y ponerlas en práctica en el mundo exterior independientemente del control o la influencia externos y tener experiencias subjetivas- tienen el derecho de ostentar un “estatus legal” separado necesita ser precedida por diversos cuestionamientos.

Somos de la opinión, sin embargo, que la formulación de un Derecho de los Robots deviene en un tema de impostergable análisis cuyo carácter inter-disciplinario deberá también abordar los efectos secundarios que estas tecnolo-gías emergentes y disruptivas tendrán en las intervenciones regulatorias den-tro los diversos entornos.

6. Referencias

Barrientos, Antonio, Peñin, Luis, Balaguer, Carlos y Aracil, Santoja, Fundamentos de la Robótica, Madrid, Editorial Mc Graw Hill, 2007.

Barrio, Moises, “Del derecho de internet al derecho de los robots”, en Barrio, Moises (coord.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, pp. 61-86.

Calo, Ryan, “Robots and ethics”, en Lin, Patrick (coord.), Robot ethics: The ethical and social implications of robotics., Cambridge, MIT Press, 2012, pp. 159-168.

—————, “Robots as legal metaphors”, Harvard Journal of law and Technology, Estados Unidos, No. 30, 2016, pp. 209-237.





337

Castromil, Juan, “Amazon usará drones Prime Air para repartir sus paquetes volando”. CLIPSET. [Consulta: 2 de marzo de 2019]. Disponible en: https://clipset.20minu-tos.es/amazon-usara-drones-prime-air-para-repartir-sus-paquetes/

Chávez Valdivia, Ana, Hacia el quebrantamiento de paradigmas jurídicos: La robótica y la inteligencia artificial, en: XXI Congreso Iberoamericano de Asociaciones de Derecho e Informática (2017: San Luis de Potosí, México).

Darling, Kate, “Extending legal protection to social robots: The effects of anthropomor-phism, empathy, and violent behavior towards robotic objects”, en Calo, Ryan (coord.), Robot Law, Reino Unido, Edward Elgar, 2012.

Ercilla, Javier, Normas de Derecho Civil y Robótica. Robots Inteligentes, Personalidad Jurídica, Responsabilidad Civil y Regulación, Pamplona, Thomson Reuters Ara-zandi, 2018.

García-Prieto, Juan, “¿Qué es un robot?”, en Barrio, Moisés (coord.), Derecho de los Robots, Madrid, Wolters Kluwer, 2018, pp. 25-60.

Informe con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), Diario Oficial de la Unión Europea, 27 de enero de 2017.

Lin, Patrick, Abney, Keith y Bekey, George, Robot ethics: The ethical and social impli-cations of robotics, Cambridge, Editorial MIT Press, 2011.

Maia, Filipe, The Legal Status of Artificially Intelligent Robots, Tilburg, Universidad de Tilburg, 2017.

McCarthy, John, Minsky, Marvin, Rochester, Nathaniel y Shannon, Claude, “A proposal for the Dartmouth Summer Research Project on Artificial Intelligence”, AI Ma-gazine, No. 4, 2006, pp. 12-14.

Pagallo, Ugo, The Laws of Robots: Crimes, contracts and torts, New York, Springer, 2013.Palmerini, Erica y Bertolini, Andrea, “Liability and risk management in robotics”, en

Schulze, Reiner., y Staudenmayer, Dirk (coords.), Digital Revolution: Challenges for Contract Law in Practice, Baden-Baden, Nomos, 2016, pp. 225-260.

Pooler, Michael, “Los robots de Amazon revolucionan la logística”. Expansión. [Con-sulta: 4 de marzo de 2019]. Disponible en: http://www.expansion.com/econo-mia-digital/innovacion/2017/08/29/59a458d7ca4741cf138b4622.html

Resolución del Parlamento Europeo, Recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), Diario Oficial de la Unión Europea, Unión Europea, 16 de febrero de 2017.

Rius, Mayte, “¿Urge regular ya los derechos de los robots en Europa?”. La Vanguardia. [Consulta: 1 de marzo de 2019]. Disponible en: https://www.lavanguardia.com/tecnologia/20180417/442631680924/derechos-robots-ue-persona-electroni-ca-ia.htmldigital/innovacion/2017/08/29/59a458d7ca4741cf138b4622.html

Singer, Peter, Wired for War: the robotics revolution and confliction in the 21st century, New York, Editorial Penguin Press, 2009.




339


Biojurídica: una necesidad para las nuevas tecnologías aplicadas a la vida humana*Biolaw: a need for new technologies applied to human life

Agustín Antonio Herrera Fragoso**

resumenEste artículo brinda al lector una base de conocimiento y reflexión de una nueva disciplina jurídica denominada

“biojurídica”, pasando por su complemento “bioética”, donde permite distinguir y analizar la necesidad jurídica sobre la aplicación de las nuevas tecnologías que tiene un impacto directo sobre la vida humana; buscando fundamentos principialistas y transdisciplinar, para obtener un resultado integral y más adecuado.

palabras clavebiojurídica, bioética, principios, tecnología, ciencia.

abstractThis article provides the reader with a knowledge base and reflection of a new legal discipline, called

“biolaw”, through its “bioethics” complement, where it allows to distinguish and analyze the legal need for the application of new technologies that have a direct impact about human life; looking for principialist and transdisciplinary foundations, to obtain an integral and more adequate result.

keywordsBiolaw, bioethics, principles, technology, science.

*Artículo de Investigación postulado el 12 de febrero de 2020 y aceptado el 27 de julio de 2020**Profesor investigador en el Instituto de Ciencias Jurídicas de Puebla A.C., México. ([email protected]) orcid.org/0000-0002-2401-6141




A G U S T Í N A N T O N I O H E R R E R A F R A G O S O

340

SUMARIO1. Introducción2. Bioética3. Biojurídica4. Conclusión5. Referencias Bibigráficas:

1. Introducción

“Incluso en la más encarnizada luchaDe nuevas y antiguas fuerzas,

Nacen medidas justas ySe forman proporciones sensatas.”

Carl Schmitt

Previamente es indispensable señalar que esta nueva disciplina jurídica, surge de la evolución que tienen las nuevas tecnologías en la intervención de la vida en general y la vida humana en particular, tecnologías bajo el esquema de mejoramiento humano o transformaciones diversas y direccionadas en la na-turaleza humana, donde las nuevas tecnologías se pueden encausar para el uso terapéutico, mejoramiento humano, transformación o encausamiento evoluti-vo, aunque puede tener efectos indeseados o malignos, discriminación econó-mica, biológica o hasta eugenésica, entre otros; de lo cual, el derecho no puede quedar ajeno a su delimitación, a lo que el derecho prima facie es insuficiente para determinar de forma justa la transformación y evolución de la ciencia y tecnología, basado en muchas ocasiones de peritajes o amicus curiae- que en la mayoría de los casos tienen intereses subjetivos- sin conocimiento antropo-lógico y ético, por lo que la resolución puede perder toda razón, inteligibilidad, violando los principios de razonabilidad y proporcionalidad.

Por lo que la biojurídica, nueva disciplina necesaria y complementaria de la bioética, ha pasado de ser una mera deontología profesional a regular cues-tiones éticas en el campo de la investigación y de la aplicación biotecnológica sobre el ser humano, con la prevención y cuidado de los principios éticos y jurídicos que reforzarán y darán sentido a la zona gris que marcan actualmente la normatividad jurídica nacional e internacional, así como una guía argumen-tativa para las anomias y hermenéutica de temas límite.




B I O J U R Í D I C A : U N A N E C E S I D A D P A R A L A S N U E V A S T E C N O L O G Í A S A P L I C A D A S A L A V I D A H U M A N A

341

2. Bioética

“La Ciencia sin Conciencia no es más que la Ruina del Alma”.1 “La Conciencia que falta aquí no es la Conciencia Moral,

es la Conciencia sin más, es decir,la aptitud para concebirse a sí misma.

Desde ahora, si queremos ser lógicos con nuestra intención,tendremos que asumir necesariamente el problema de la ciencia”.2

“La humanidad requiere urgentemente un nuevo saber hacer que proporcione la inteligencia de cómo usar el conocimiento para la supervivencia del hom-bre y mejorar la calidad de la vida (…) esta ciencia de la supervivencia se debe construir sobre la ciencia de la biología, ampliada más allá de los límites tra-dicionales con el objeto de incluir elementos esenciales de las ciencias sociales y las humanidades, con especial énfasis en la filosofía en sentido estricto, con su significado de amor a la sabiduría. Una ciencia de la supervivencia debe ser algo más que solamente ciencia, y por tanto, propongo el término bioética para enfatizar los dos ingredientes más importantes en el logro de un nuevo cono-cimiento tan necesaria: el conocimiento biológico y de los valores humanos”.3

Con este texto programático daba nombre Potter a esa nueva disciplina que se estaba gestando en los años setenta del siglo XX. Según el mismo Potter expli-caría años más tarde, la palabra le vino a la mente al improviso, al unir dos térmi-nos: “bios”, que representaría las ciencias biológicas; y “ethics”,4 una palabra con la que no aludía simplemente a la ética, sino a los valores humanos en general.

El sentido de la bioética, según Potter, era sencillo y apremiante: elabo-rar una ciencia orientada a garantizar la supervivencia humana en el plane-ta Tierra, a través del diálogo entre las ciencias experimentales y las ciencias humanísticas.

En otros escritos Potter llamó a la BIOÉTICA “wisdom of science” sabidu-ría de la ciencia, proponiendo que la dimensión técnico instrumental debía ir unida a la filosófico-sapiencial, supuso que nadie, antes que él, había usado la palabra bioética. Sin embargo, varios expertos están empezando a reconocer

1 Rabelais, citado por Morín E. en el Método: La naturaleza de la naturaleza: Ediciones Cátedra. España, 6a. edición, 2001. 2 Ídem. 3 Cfr. Potter, V. R., Bioethics: Bridge to the future, Prentice-Hall Inc., Englewood Cliffs, New Jersey, 1971, pp. 1-2. 4 Potter, V. R. Biotethics the science of survival, Perspertives in Biology and Medicine, 14.1970, pp. 127-153; Bioe-thics: bridge to the future, Englewood Cliffs: Prentice-Hall, New York 1972.





342

que el término ya había sido usado en 19275 por un teólogo alemán, Fritz Jahr,

que publicó un artículo en la revista “Kosmos” (Vol. 21, pp. 2-4), titulado Bio-ethik: Eine Umschau über die ethischen Beziehungen des Menschen zu Tier und Pflanze6 (Bio-ética: una panorámica sobre la relación ética del hombre con los animales y las plantas). Años más tarde, en 1934, Jahr publicó otro trabajo donde volvió sobre la noción de “Bio-ethik”: Drei Studien zum 5. Gebot, en la revista “Ethik. Sexual und Gesellschaftsethik” (Vol. 11 (1934), pp. 183-87).7

La idea de Fritz Jahr8 era sencilla: inspirado en los famosos imperativos éticos de Kant, quería subrayar la importancia de un “imperativo bioético” que orientase correctamente nuestro comportamiento respecto de todos los seres vivos. Es casi seguro que Potter no conocía a Jahr y que de buena fe creía haber descubierto una palabra a la que dio un sentido diferente del que había dado Jahr. De haber conocido Potter la obra de su predecesor seguramente lo habría citado y estudiado con interés.

Son varios los trabajos que empiezan a reconocer la importancia de las ideas de Fritz Jahr. Uno es un opúsculo publicado en 2007 por Hans-Martin Sass, que lleva como título Fritz Jahr’s Bioethischer Imperativ. 80 Jahre Bioe-thik in Deutschland von 1927 bis 2007. En esta publicación se recogen los dos textos de Jahr (el de 1927 y el de 1934).9

Etimológicamente proviene del griego bios y ethos, ética de la vida.12 Bajo la denominación de Bioética en su obra citada, Potter propuso que se consti-tuyera una nueva disciplina “cuyo objeto formal sería el problema de la su-pervivencia de la humanidad, sirviendo de puente entre la ética clásica y las ciencias de la vida, tomando la vida en el sentido más amplio de la palabra”.10

Pero, aunque el inventor del término fue Potter, su sistematizador académico y divulgador fue Hellegers que en 1971 programó académicamente esta nueva disciplina en la George town University de Washington. No se desestima que Hellegers también introdujera el término bioética sin vincularlo a Potter, pero con un sentido menos amplio que el utilizado por Potter.

5 Cfr. Hans-Martin, Sass, Fritz Jahr’s 1927 Concept of Bioethics, Kennedy Institute of Ethics Journal 17, 2008, pp. 279-295. 6 Cfr. Goldim, José Roberto, Revisiting the Beginning of Bioethics: The Contribution of Fritz Jahr (1927), Perspectives in Biology and Medicine 52, 2009, pp. 377-380. 7 Cfr. Lolas, Fernando, Bioethics and animal research. A personal perspective and a note on the contribution of Fritz Jahr, Biological Research 41 (2008), pp. 119-123. 8 Natacha, Salomé Lima, Fritz Jahr y el Zeitgeist de la bioética, Aesthethika 5 (2009), pp. 4-11. 9 Se puede consultar en: http://www.ethik-in-der-praxis.de/MM-175.pdf. 04-10-09.10 Cfr. Blázquez, N., Bioética. La nueva ciencia de la vida. B.A.C. Madrid, 2000, p. 5.





343

Así, este neologismo comenzó a difundirse y a ser relacionado con las ins-tituciones científicas y académicas interesadas por los asuntos más polémicos de la reproducción humana, de la experimentación científica y de sus aplica-ciones biomédicas más revolucionarias, pero al mismo tiempo, más inquietan-tes a nivel ético. Así la bioética se impuso pronto en la comunidad científica como una nueva disciplina humanística destinada a establecer una racional y precavida participación de los científicos en los procesos de investigación biomédica que plantean nuevos e inquietantes problemas éticos.

No obstante, en la constitución de este término y de esta disciplina no podemos perder de vista a un tercer personaje: H. Tristram Engelhardt, con su obra11 que ha contribuido a enmarcar el paradigma ético de la bioética dentro del modelo utilitarista de la postmodernidad. Por último, es propio citar a otros dos personajes que se les puede considerar también como fundadores de esta disciplina: Daniel Callaghan y Willard Gaylin. Ambos en la década de los se-senta en el Hastings Center de Nueva York prestaron atención a los problemas que surgieron en aquella época en el campo de la investigación científica y de la experimentación biomédica.

Como ejemplo: “En 1963, en el Jewish Chronic Disease Hospital de Brooklyn, en el curso de un experimento se habían inyectado células tumorales vivas a pacientes ancianos, sin su consentimiento. Entre 1965 y 1971, se llevó a cabo en el Willowbrook State Hospital de Nueva York una serie de estudios sobre la hepatitis viral, inoculando el virus a unos niños con discapacidad que estaban hospitalizados. Estos experimentos hicieron que se recordara con espanto la ex-perimentación practicada en los campos de concentración de la época nazi”.12

Callaghan y Gaylin analizaron este panorama con el objeto de estudiar y formu-lar normas en el campo de la investigación y experimentación biomédica.

Con lo dicho hasta aquí, podríamos afirmar que el término bioética hace referencia a una aplicación de la disciplina ética al campo de las investiga-ciones biomédicas. O como bien dice Sgreccia: “(...) es interesante subrayar el núcleo conceptual en que se fundamenta el nacimiento de la Bioética: la nece-sidad de que la ciencia biológica se plantee preguntas éticas, de que el hombre se interrogue sobre la relevancia moral de su intervención sobre la vida”.13

Respecto a la definición en la primera edición de la Enciclopedia de Bioé-tica, esta disciplina se determinó como “el estudio sistemático de la conducta

11 Engelhardt, H. T. La fundamentación de la bioética. Paidós. Barcelona, 1995. 12 Cfr. Sgreccia E., Manual de Bioética, Diana, México, 1996, p. 17. 13 Idem.p.16.





344

humana en el campo de las ciencias de la vida y del cuidado de la salud, con-ducta examinada a la luz de los valores y principios morales”.14

Por su parte, A. Pessina, la ha definido como “conciencia crítica de la civi-lización tecnológica”.15 La bioética es un retorno al concepto de ética como rec-ta ratio agibilium a los dilemas que se plantean en la civilización tecnológica.

También se ha definido como la parte de la ética que se refiere a las cues-tiones planteadas por el desarrollo de las ciencias biomédicas en los ámbitos de la vida y de la salud ante problemas nuevos o antiguos modificados por las nuevas tecnologías. Ha pasado de ser una mera deontología profesional a regu-lar cuestiones éticas en el campo de la investigación y de la aplicación biotec-nológica sobre el ser humano.16 Sobre éste particular, las nuevas biotecnologías se han dado a la labor de aplicarse en la nueva realidad biológica como son los casos de la clonación, manipulación genética y en particular en técnicas de reproducción asistida.

De lo dicho, se desprende que la bioética propone una reflexión sobre el valor de la vida humana y la dignidad de la persona desde presupuestos ra-cionales y a la luz de los valores y principios éticos. Surge como respuesta a un malestar cada vez más tangible: el que experimenta el ser humano frente al fuerte carácter invasor de las biotecnologías y tecnologías modernas. Tal malestar parece incrementarse cuando más aumenta el número de cuestiones casuísticas de las que se encargan los bioéticistas y cuánto más se implican los juristas y los políticos en sus debates, donde su participación llega a ser prácticamente imprescindible y decisiva.17 La función de la bioética se orienta a la búsqueda de un deber ser específico de la medicina, de la investigación científica y de la aplicación de las nuevas biotecnologías a los seres humanos en el marco de la ética.

14 Cfr. Reich, W. T. (ed.), Encyclopedia of Bioethics I. The Free Press, New York 1978, XIX. Ver las definiciones en Ruiz Retequi, Antonio. La Ciencia y la fundamentación de la Ética. Deontología Biológica, Facultad de Ciencias, Universi-dad de Navarra, Pamplona, 1987. Durand, Guy. La Bioética. Desclée de Brouwer. Bilbao, 1992.15 Cfr. Pessina, A., Bioetica L’uomo experimental, Mondadori, Milano 1999, p. 3. Riflette oggi sull origine della bioetica significa prendere atto di un proceso di ripensamento delle principali convinzioni che hanno retto e ancora reggono, lo sviluppo della civiltà occidentale. La biotica esprime, infatti in momento “critico”: I’incrinarsi della fiducia nelle capacita di autoregolazione dei processi tecnologici e I’insoddisfazione nei confronti di alcuni criteri morali che hanno fatto da sfondo alla recerca e alla prassi scientifica. 16 Cfr. Simón Vázquez, Carlos (director) Diccionario de bioética, editorial monte Carmelo, Burgos, España, 2006, p. 122. 17 Cfr. D` Agostino, Francesco, Bioética estudios de filosofía del derecho, ética y sociedad, en ediciones internacio-nales universitarias, Madrid, 2003, p. 14.





345

Por lo señalado y tomando en cuenta la definición de la Dra. Elena Postigo Solana,18 con algunos cambios como el de inter a transdisciplinar, creo que es muy actual y que engloba de forma general a esta disciplina:

“La bioética es el estudio sistemático y transdisciplinar de las acciones del ser humano sobre la vida humana, vegetal y animal, considerando sus implicaciones antropológicas y éticas, con la finalidad de identifi-car racionalmente aquello que es bueno para el ser humano, las futuras generaciones y el ecosistema, para encontrar la mejor solución clínica o científica y elaborar una normativa jurídica adecuada”

Entendiendo por:

a) Sistemático: de carácter general. Por esto la bioética merece el estatus de disciplina; que en su fundamento se desglosa de la ética. La bioética es una ética aplicada a la ciencia y a la vida en general.

b) Transdisciplinar: porque intervienen en ella muchas otras áreas del conocimiento que se entrelazan entre ellas para obtener un juicio de razón, no desde sus parcelas de conocimiento de forma separada, sino complementaria hacia el mismo fin, en particular, el cuidado de la dig-nidad humana durante toda su existencia.

Para hablar de una disciplina o ciencia, es necesario determinar su objeto material y su objeto formal. Por objeto material entendemos que estudia esa ciencia o disciplina y por objeto formal entendemos bajo qué punto de vista lo estudia.

El objeto material de la bioética son las acciones del hombre sobre la vida in genere; en cambio, su objeto formal se enfoca desde la pers-pectiva ética, para ver si estas acciones son buenas y hacen al hombre mejor o, por el contrario, le producen un daño a él, a la humanidad o a las generaciones futuras, desde las evidencias científicas.

c) La bioética debería tener en cuenta también un concepto de responsa-bilidad a largo plazo, como aquel sugerido por H. Jonás en su volumen

“El principio de Responsabilidad”,19 para con los seres humanos actua-les y para las generaciones futuras, reconocido ya por Aristóteles como

18 Cfr. Tomas Gloria, María y Postigo Solana, Elena (coordinadoras), Bioética Personalista: ciencia y controversias, Madrid, España 2007, p. 16. 19 Jonas, Hans, El Principio de responsabilidad: ensayo de una ética para la civilización tecnológica, edit. Herder, España, 1995.





346

prudencia y en la actualidad como el principio de precaución (principio reconocido dentro de la biojurídica), que debería ser acogido por su importancia a nivel internacional como Ius cogens.

d) La finalidad de la bioética no es sólo reflexionar, sino fundamental-mente encontrar criterios, principios o normas que guíen el obrar del hombre respecto a la vida y elaborar leyes adecuadas que permitan el desarrollo y el progreso de la humanidad de forma racional (aquí ya se entrelaza la biojurídica).

La bioética está siendo una notable labor de reflexión y formación en temas que atañen al ser humano. Debe ser la bioética una filosofía de la ciencia mé-dica que busca captar las peculiaridades epistemológicas y metodológicas de esta ciencia; o bien debe hacer una descripción evolutiva de los problemas o de los horizontes éticos planteados por el progreso inevitable de la humanidad y finalmente debe atender en cuanto ética, a orientar normativamente la acción del médico y en general de todo individuo que actué dentro del deber ser.

La bioética existe como intento de reflexión sistemática acerca de todas las intervenciones del hombre sobre los seres vivos; una reflexión tiene un objetivo específico y difícil de alcanzar, el de identificar los valores y normas en el actuar humano, la intervención de la ciencia y de la tecnología en la vida misma y en la biosfera deberán estar encausados para una perfecta armonía entre todos los actores implicados en la simbiosis de la vida, con un sustento de responsabilidad humana.

Mireille Delmas-Marty distingue entre humanidad (conjuntos donde la víctima es la humanidad entera) y especie humana (la dignidad de cada per-sona; la víctima es aquí individual). Jürgen Simon ha dedicado una especial atención a la dignidad humana como principio regulador en la bioética.20 El criterio que oriente las intervenciones bioéticas deberá ser el de evitar cual-quier posible catástrofe.21 De lo que se puede decir que, la bioética retoma los conceptos fundamentales de la ética griega: “Phýsis, naturaleza, éthos, cos-tumbre, areté, virtud, y dikaiosýne, justicia. Entre todos tienen que reinar la isonomía, el equilibrio, la proporción; de lo contrario, aparece el predominio excesivo de un miembro sobre los demás”.22

20 Fundación de ciencias de la salud: en las fronteras de la vida: ciencia y ética de la clonación, decisiones doce calles, S.L., Madrid, 1998. 21 Jonas H., Philosophical seáis. From ancient creed to technological man, Chicago, 1974. 22 Cfr. Gracia, Diego, fundamentos de bioética, EUDEMA Universidad: manuales, Madrid, 1989, p. 27.





347

En ese sentido, el médico, juez, político, legislador, científico y en general cualquiera operador deóntico, ha de ser filósofo, es decir, ha de atender las virtudes éticas (o morales) y dianoéticas (o lógicas) del amante de la sabiduría.

Ahora bien, desde la perspectiva de un estado social y democrático de de-recho, con pleno respeto a las libertades y derechos fundamentales, la bioéti-ca ha de permanecer alejada tanto de los dogmatismos, como de las posturas escépticas y relativistas y transitar por el camino del diálogo pluralista, pre-servando siempre los mínimos éticos indispensables, la protección de valores humanos fundamentales y el reconocimiento de la dignidad humana.23

Dicho lo cual, es indispensable ver la interrelación que tiene con el dere-cho, deber que tiene que ser regulado para que los excesos en la intervención de las nuevas biotecnologías sobre la vida humana se rijan bajo el imperio de la ley, así como las reglas y principios de derecho aplicables, que los derechos humanos otorgan a todo ser humano.

3. Biojurídica

Cada uno de nosotros será justo en la medida que haga lo que le corresponde.

Sócrates.24

Para llegar al nacimiento de la Biojurídica conviene retroceder en el tiempo con el fin de conocer mejor cuáles fueron sus orígenes. Desde la más remota anti-güedad las relaciones entre médicos y enfermos se han regulado por medio de artículos de las leyes generales que daban los gobernantes para regir a su pueblo.

En el año 2000 a. C., durante el reinado del rey Ur-Nanmmu, se promulgó el Código que lleva su nombre, que es el más antiguo que se conoce, integra una colección de 29 sentencias o veredictos. El Código de Hammurabi contiene 250 artículos, que el rey recibió del dios Samash,25 se remonta al s. XIX a.C. Antiguamente.26 Se regían también las relaciones médico-enfermo por normas específicas que se daban a sí mismos los profesionales de la medicina para el

23 Cfr. Hooft, Pedro Federico, Bioética y Derechos Humanos, Desalma, Buenos Aires, 1999, p. 43. 24 Cfr. Gary B., Sandy, 12,500 Frases célebres, grupo editorial Tomo I, México, 2005, p. 466. 25 Samash, dios de la Justicia, es quien se las entrega a Hammurabi, rey de Babilonia. Aunque hay una serie de artí-culos dirigidos especialmente a los médicos, a los que impone sanciones penales para los casos de incumplimiento de las leyes, no se puede decir que sea, propiamente, un código deontológico. 26 Lara Peinado, Federico y Lara González, Federico, Los primeros códigos de la humanidad, 2ª edición, Technos, Madrid, España, 2009.





348

mejor cumplimiento de sus funciones. Estas últimas son las que constituyen la deontología.

No muy distinta era la situación en el ámbito jurídico. Cuando se pres-cindió de la sociabilidad iusnaturalista como fundamento del derecho para adoptar una fundamentación contractualista más adecuada al individualismo moderno, será la protección de la vida el elemento clave (Hobbes) para crear el “pacta sunt servanda”.27 Principio que actualmente soporta la Convención de Viena,28 y que se maneja de forma consuetudinaria29 que alimenta todo el ordenamiento jurídico30 en materia contractual, como el derecho civil, interna-cional y canónico.

A veces se duda en aceptar el término masculino “bioderecho”31 o el fe-menino “biojurídica”.32 El segundo, a mi parecer es el más adecuado en su re-corrido epistemológico y analítico de lo debido en nuevos proyectos jurídico/positivos y es el de origen más antiguo, dentro de la relatividad de lo antiguo en una disciplina tan nueva. Indudablemente, se trata de una construcción con fuerte sabor italiano que es el origen del término. Por respetar la doble raíz griega, quizás fuese más correcto decir bionomótica, pero esta definición care-ce de aceptación y además, es un poco extraña.

Sin embargo, actualmente el bioderecho aborda el estudio de las realida-des o fenómenos bioéticos desde la perspectiva del derecho positivo, en parti-cular de las relaciones humanas bio-sanitarias. La biojurídica en cambio, abor-da cuestiones bioéticas desde la perspectiva de la filosofía jurídica siendo su función principal justificar desde los principios éticos y jurídicos en los que se apoyara la norma jurídica, así como contar con la correcta interpretación de los preceptos jurídicos.

Es importante destacar que el derecho se apoya en juicios morales para de-limitar cuáles de sus exigencias podrían considerarse jurídicas; por quedar vin-culadas a una justicia como ajustamiento de las relaciones sociales capaces de

27 Cfr. Ollero T., Andrés, Bioderecho, entre la vida y la muerte, Editorial Aranzadi, S.A., 2006, p. 15 28 En materia internacional se señala que: “Todo tratado en vigor obliga a las partes y debe ser cumplido por ellas de buena fe” (según lo señala el artículo 26 de la Convención de Viena sobre el Derecho de los Tratados de 1969 y mis-mo artículo de la Convención de Viena sobre el Derecho de los Tratados celebrados entre Estados y Organizaciones Internacionales o entre Organizaciones Internacionales de 1986). 29 Cfr. Kelsen, Hans, El contrato y tratado, analizados desde el punto de vista de la teoría pura del derecho, traducción de Eduardo García Máynez, México, Imprenta Universitaria, 1943, p. 56. 30 Kunz, Josef, The maening and the range of the norm Pacta Sunt Servanda, The American Journal of International Law, vol. 39, num. 2, april, 1945, Washington, D.C., pp. 180 y ss. 31 Schaefer Rivabem, Fernanda, Biodireito: uma disciplina autônoma?, Rev. bioét. (Impr.). 2017; 25 (2): 282-9, Dispo-nible en: http://dx.doi.org/10.1590/1983-80422017252188 05/10/201932 Bonamigo Elcio, Luiz, El principio de precaución, un nuevo principio bioético y biojurídico, Publicia, 2015.





349

posibilitar una convivencia digna del ser humano. Dentro del derecho circula la moral contenida en los principios o derechos humanos,33 también la percep-ción de alteridad que caracteriza todo fenómeno jurídico es lo más importan-te para una convivencia armónica34 y más aún de una coexistencia relacional proporcional y adecuada entre todas las personas.

Por los cambios dentro de la ciencia y las nuevas técnicas aplicadas a los seres humanos, se crea un nuevo ámbito del deber ser en el que se regulen las relaciones intersubjetivas a la luz de los principios de la bioética y la ciencia basada en evidencia. Las normas deberán ser jurídicas por su carácter coer-citivo, para impedir al científico sucumbir a la tentación experimental de la presión de intereses económicos e ideológicos. Su objetivo es que no se des-borden los cauces por los que transcurre el respeto a la vida, dignidad humana, identidad y libertad del ser humano, y no se vea afectada su esencia. De ahí se redefine una nueva rama del derecho “la biojurídica”:

“Es la ciencia que tiene por objeto la fundamentación y pertinencia de las normas jurídico-positivas, de [lege ferenda] una ley a dictarse y de [lege data] una ley vigente, para lograr y verificar su adecuación a los principios y valores de la ética en relación con la vida humana, que es tanto como decir, su adecuación a los valores de la bioética”,35 de forma racional y proporcional.

El paso inmediato es establecer una jerarquía de bienes y valores desde el para-digma de la dignidad humana cuya excelsitud hace acreedora a la persona de la máxima consideración y que se tenga a la ciencia como simple instrumento a su servicio.36

Aplicar a las relaciones interpersonales los principios del derecho encierra los valores que en estratos vigentes se presentan a lo largo de la historia de la humanidad, que actualmente inspiró nuestro ordenamiento jurídico y que las Constituciones recogen en consonancia con los instrumentos internacionales garantes de derechos humanos, así como recomendaciones y códigos deonto-lógicos encaminados al cuidado y preservación de la vida humana en un sen-tido amplio y coherente con los descubrimientos de la ciencia. Se hallaron así

33 Alexy, Robert, El concepto y validez del derecho, Gedisa, Barcelona, 1997, p. 83, ver también Alexy, Robert, Derecho y Razón práctica, Fontamara, México, 2010 y Dworkin, Ronald, Los derechos en serio, Ariel, Barcelona, 1984.34 Ídem. p. 16. 35 Cfr. Vila-Coro, María Dolores, Introducción a la biojurídica, Servicio de publicaciones facultad de derecho de la Universidad Complutense de Madrid, 1995, p. 24. 36 Ídem. p.26





350

los principios de la biojurídica a partir de los cuales se regulan por sí mismas las nuevas situaciones.

Asimismo, hay que saber que todo acto de autoridad debe encontrarse de-bidamente fundado y motivado. Fundado en el derecho válido y vigente, mo-tivado con planteamientos lógico jurídicos racionales. Y esta rama del derecho también se tendrá que sustentar con la ciencia basada en evidencia, reconocida a nivel internacional, avalada por instituciones serias y objetivas debidamente comprobadas. Ya que la ciencia va estableciendo criterios sólidos, sin la po-sición de consenso, ni la creencia sobre la base de concepciones intelectuales más o menos lógicas, sino sobre hechos contrastados experimentalmente y de-mostraciones empíricas, develando cada vez más la realidad circundante.

La ciencia estipula teorías o hipótesis contrastables a nivel experimental o en algún nivel de la realidad empírica. Hace que su reproducibilidad de los experimentos (método) y sus resultados sean una constante, cuyos enunciados han resistido pruebas de refutación más severas o no han podido ser refutadas, corroborando sus enunciados en múltiples experimentos capaces de hacerlo. Enunciados testeables “Testability” (empirical hypothesis) a nivel de la realidad empírica y reproducible.

Por otro lado, todavía nos encontramos en un momento donde la ciencia jurídica avanza con estándares decimonónicos en su análisis a través de peri-tajes y amicus curiae, que en muchos sentidos conlleva intereses económicos o de una ideología. En ese sentido y siguiendo los principios pro-persona de exhaustividad, progresividad y evolución de los derechos humanos, dándole una importancia y peso específico a la interpretación evolutiva de los tratados, sobre la base de que “los tratados de derechos humanos son instrumentos vivos, cuya interpretación tiene que acompañar la evolución de los tiempos y las con-diciones de vida actuales” y que dicha interpretación “es consecuente con las reglas generales de interpretación establecidas en el artículo 29 de la Conven-ción Americana, así como en la Convención de Viena sobre el Derecho de los Tratados”.37 De lo cual los avances científicos, basados en evidencia, brindan la base para su posterior interpretación.

Ahora bien, los principios que rigen a la biojurídica son los ya famosos y reconocidos principios del Derecho establecidos por Ulpiano:

37 Cfr. El Derecho a la Información sobre la Asistencia Consular en el Marco de las Garantías del Debido Proceso Legal. Opinión Consultiva OC-16/99 de 1 de octubre de 1999. Serie A No. 16, párr. 114, y Caso Atala Riffo y Niñas Vs. Chile, párr. 83.





351

1. Honeste vivere (vivir honestamente). Que la bioética trata como con-sentimiento informado, autonomía y objeción de conciencia.

2. Alterum non laedere (no dañar a otro). Que la medicina la reconoce como “primun non nocere” y la bioética con los principios de benefi-cencia y no maleficencia.

3. Ius sum quique tribuendi (dar a cada uno lo suyo de cada cual), que la bioética sostiene como el principio de justicia-símil en el derecho-.

Estos principios cuentan con dos pilares indispensables para la toma de de-cisiones principalmente en los temas relacionados con la utilización de biotecnología:

1. Prevención, que se debe observar cuando la aplicación del actuar mé-dico o científico tiene consecuencias que se conocen y se demuestran, donde la evidencia científica no tiene duda de sus efectos dañinos al ser humano o cualquier otro ser vivo, y

2. Precaución,38 cuando las consecuencias últimas son desconocidas, las acciones pueden llevarse a cabo con la debida prudencia para no caer en daños irreparables. Los ejemplos históricos sitúan el Principio de Precaución como la ponderación entre los bienes que se buscan para la vida humana y los riesgos que se corre de su aplicación en salud o medio ambiente, aunque no se tenga las pruebas necesarias para una evaluación definitiva.

El análisis de los riesgos y beneficios está así descrito por Vicente Belver Ca-pella:39 En condiciones de incertidumbre la toma de decisiones razonables es la prudencia, ahora conocida en diversos documentos internacionales como el principio de precaución, entre otros, el tratado de Maastricht, la Declaración de Río sobre el Medio Ambiente y el Desarrollo, la Declaración de Asilomar y más recientemente en el 2006, un grupo de biólogos se reunieron en Berkeley,

38 Para mayor información se puede consultar: Herrera Fragoso, Agustín Antonio, El Principio de Precaución como fundamento de la bioseguridad en la aplicación de alimentos transgénicos, Disponible en: http://biblat.unam.mx/ca/revista/estudios-agrarios/articulo/el-principio-de-precaucion-como-fundamento-dehttp://biblat.unam.mx/ca/revista/estudios-agrarios/articulo/el-principio-de-precaucion-como-fundamento-de-la-bioseguridad-en-la-apli-cacion-de-alimentos-transgenicosla-bioseguridad-en-la-aplicacion-de-alimentos-transgenicos, consulta: 05-12-2014. 39 Belver Capella, Vicente. Bioética y Ecología. en Tomas Garrido Gloria, M., Manual de Bioética. Barcelona: Editorial Ariel; 2001. p. 294.





352

California, con el objetivo de llamar a un código voluntario de conducta que autorregule su trabajo.40

Las organizaciones que firman la carta abierta llaman a los que trabajan en biología sintética a abandonar sus propuestas de autorregulación y a que se comprometan en un proceso incluyente de debate social global sobre las implicaciones de su trabajo.

Hay que precisar que el derecho no aspira a determinar la verdad ontoló-gica, pero sí a protegerla en la medida de los hechos que se tengan, caso en mu-chos casos se manipula para intereses diversos al fin adecuado, como es el caso, entre otros de: “pre-embrión en lugar de embrión, Organismos Genéticamente Modificados por transgénicos, muerte digna por eutanasia”, eufemismos muy usados dentro del derecho positivo.

Ahora bien, la Biojurídica como nueva disciplina; necesaria en el encau-samiento de la norma jurídica de forma adecuada y proporcional en todos los temas referidos a la vida in genere y a la vida humana en particular precisa del auxilio de otras ciencias, ya que la estructura de los preceptos jurídicos requiere tres elementos: i) supuesto de hecho (p.e. la investigación sobre los embriones humanos), ii) el valor al que tiende la actividad (aplicación a los se-res humanos realizando la justicia teniendo en cuenta el respeto a su dignidad) y iii) consecuencia jurídica dependiendo de que la actividad esté adecuada a lo establecido por el ordenamiento jurídico o, en caso contrario, se le aplique la sanción que corresponde ante el incumplimiento de la norma.

Así pues, para conocer exactamente el alcance de la investigación y la naturaleza de la realidad sobre la que se va a reflexionar es ineludible contar con conocimientos de ciencia basada en evidencia, una fundamentación an-tropológica, ética y el conocimiento de los preceptos del ordenamiento jurídico vigente aplicables al supuesto de hecho; en caso de que la norma no sea clara o no exista, se tendrán que dilucidar a través de los principios generales del de-recho, el principio precautorio y de prevención, así como de los principios que actualmente se manejan dentro de la hermenéutica de los derechos humanos, como son el pro-persona, evolutivo, de progresividad y exhaustividad.

Es importante destacar que, es fundamental el concepto de persona que tengamos, ya que el conocimiento de la persona humana deberá ser integral y veraz, pues si el conocimiento es falso, limitado o parcial, la moralidad de las

40 Información sobre la conferencia Synthetic Biology 2.0 y sus propuestas para autogobernarse, Disponible en: http://syntheticbiology.org, consulta: 16-07-2016.





353

acciones será juzgada también con falsedad y el reconocimiento jurídico puede ser arbitrario limitado y por consecuencia discriminatorio.

En esa inteligencia, el principio de razonabilidad y proporcionalidad en la interpretación apunta precisamente a eso: exigir que el operador jurídico dé cuenta de las razones que lo condujeron a decidir cómo resolver en temas transdisciplinarios, de forma integral y siempre encaminando a la sindéresis (hacer el bien y evitar el mal), núcleo duro y sentido del derecho, para buscar la plenitud de la persona humana. De allí que una interpretación pueda ser irra-zonable o arbitraria porque o bien esas razones no existen o bien existen, pero hay otras razones de mayor peso que deberían haber desplazado a las razones alegadas por el intérprete.

Por último, esta nueva rama del derecho también servirá para brindar una mejor argumentación en temas de derechos humanos, donde se está incursio-nando actualmente sobre estos temas, como se desprende de los siguientes ins-trumentos jurídicos en la materia:

i. La Declaración Universal sobre el Genoma Humano y los Derechos Humanos;ii. La Declaración sobre las Responsabilidades de las Generaciones Actua-

les para con las Generaciones Futuras; iii. La Declaración Universal sobre Bioética y Derechos Humanos, y iv. El Convenio Europeo sobre los derechos humanos y la biomedicina.

La importancia y complemento del derecho en esta nueva rama, de cara al futuro y las nuevas tecnologías, es que sienta las bases desde las que se debe acometer la regulación de los conflictos de intereses que presentan los avan-ces científicos en el campo principalmente de las biotecnologías, sin perder de vista la vida humana, con las connotaciones que por su condición de humana le son debidas, en la cumbre de la jerarquía de valores propias de un Estado de derecho democrático y garante de los derechos fundamentales.

4. Conclusión

A manera de corolario se puede señalar a la biojurídica como una nueva rama del derecho que utiliza la evidencia científica como soporte substancial para el análisis de los diversos supuestos de hecho, con la evidencia científica que se necesita para determinar casos de compatibilidad de trasplantes de órganos, los límites de la aplicación de una terapia proporcional, el momento de intervenir





354

una operación intrauterina, el determinar la infertilidad de una pareja, cuán-tos embriones implantar en la fertilización asistida, etc.; los principios éticos, bioéticos y de derecho, brindan un soporte más objetivo y coherente en la apli-cación de las nuevas investigaciones y aplicación de las tecnologías en la vida, en particular la vida humana, tomando muy en cuanta la parte axiológica del derecho, para la más adecuada ponderación en la toma de decisiones o para los casos difíciles a analizar. Así es como se observa actualmente en temas de: fer-tilización humana asistida, la clonación, la utilización de células progenitoras, manipulación genética, eugenesia, terapia génica, etc.

5. Referencias Bibigráficas:

ALEXY, ROBERT, El concepto y validez del derecho, Gedisa, Barcelona, 1997, p. 83.ALEXY, ROBERT, Derecho y Razón práctica, fontamara, México, 2010.BELVER CAPELLA VICENTE. Bioética y Ecologia. en Tomas Garrido Gloria M. Manual

de Bioética. Barcelona: Editorial Ariel; 2001. p. 294. BLÁZQUEZ, N., Bioética. La nueva ciencia de la vida. B.A.C. Madrid, 2000, p. 5. BONAMIGO ELCIO, LUIZ, El principio de precaución, un nuevo principio bioético y

biojurídico, Publicia, 2015.D` AGOSTINO, Francesco, Bioética estudios de filosofía del derecho, ética y sociedad,

en ediciones internacionales universitarias, Madrid, 2003, p.14. DURAND, GUY. La Bioética. Desclée de Brouwer. Bilbao, 1992.DWORKIN, RONALD, Los derechos en serio, Ariel, Barcelona, 1984.ENGELHARDT, H. T. La fundamentación de la bioética. Paidós. Barcelona, 1995. GARY B., SANDY, 12,500 Frases célebres, grupo editorial Tomo I, México, 2005, p. 466. GOLDIM, José Roberto, Revisiting the Beginning of Bioethics: The Contribution of Fritz

Jahr (1927), Perspectives in Biology and Medicine 52, 2009, pp. 377-380. HANS-MARTIN, Sass, Fritz Jahr’s 1927 Concept of Bioethics, Kennedy Institute of

Ethics Journal 17, 2008, pp. 279-295.HOOFT, PEDRO FEDERICO, Bioética y Derechos Humanos, Desalma, Buenos Aires,

1999, p. 43. JONAS, HANS, El Principio de responsabilidad: ensayo de una ética para la civilización

tecnológica, edit. Herder, España, 1995. KELSEN, HANS, El contrato y tratado, analizados desde el punto de vista de la teoría

pura del derecho, traducción de Eduardo García Máynez, México, Imprenta Uni-versitaria, 1943, p. 56.

KUNZ, JOSEF, The maening and the range of the norm Pacta Sunt Servanda, the ameri-can journal of international law, vol. 39, num. 2, april, 1945, Washington, D.C., pp 180 y ss.

LARA PEINADO, FEDERICO Y LARA GONZÁLEZ, FEDERICO, Los primeros códigos de la humanidad, 2ª edición, Technos, Madrid, España, 2009.





355

LOLAS, FERNANADO, Bioethics and animal research. A personal perspective and a note on the contribution of Fritz Jahr, Biological Research 41 (2008), pp. 119-123.

NATACHA, Salomé Lima, Fritz Jahr y el Zeitgeist de la bioética, Aesthethika 5 (2009), pp. 4-11.

OLLERO T., ANDRES, Bioderecho, entre la vida y la muerte, Editorial Aranzadi, S.A., 2006, p. 15

PESSINA, A., Bioetica L’uomo experimental, Mondadori, Milano 1999, p. 3. POTTER, V.R., Bioethics: Bridge to the future, Prentice-Hall Inc., Englewood Cliffs, New

Jersey, 1971, pp. 1-2. POTTER V.R. Biotethics the science of survival, Perspertives in Biology and Medicine,

14.1970, pp. 127-153; Bioethics: bridge to the future, Englewood Cliffs: Prenti-ce-Hall,New York 1972.

RABELAIS, citado por MORÍN E. en el Método: La naturaleza de la naturaleza: Edicio-nes Cátedra. España, 6a edición, 2001.

REICH, W.T. (ed.), Encyclopedia of Bioethics I. The Free Press, New York 1978, XIX. RUIZ RETEQUI, ANTONIO. La Ciencia y la fundamentación de la Ética. Deontología

Biológica, Facultad de Ciencias, Universidad de Navarra, Pamplona, 1987. SGRECCIA E., Manual de Bioética, Diana, México, 1996, p. 17. SIMÓN VÁZQUEZ, CARLOS (director) Diccionario de bioética, editorial monte Carmelo,

Burgos, España, 2006, p. 122. TOMAS GLORIA, María y POSTIGO Solana, Elena (coordinadoras), Bioética Personalis-

ta: ciencia y controversias, Madrid, España 2007, p. 16. VILA-CORO, MARÍA DOLORES, Introducción a la biojurídica, servicio de publicaciones

facultad de derecho de la Universidad Complutense de Madrid, 1995, p. 24. OTRAS FUENTES:El Derecho a la Información sobre la Asistencia Consular en el Marco de las Garan-

tías del Debido Proceso Legal. Opinión Consultiva OC-16/99 de 1 de octubre de 1999. Serie A No. 16, párr. 114, y Caso Atala Riffo y Niñas Vs. Chile, párr. 83.

El Derecho a la Información sobre la Asistencia Consular en el Marco de las Garan-tías del Debido Proceso Legal. Opinión Consultiva OC-16/99 de 1 de octubre de 1999. Serie A No. 16, párr. 114, y Caso Atala Riffo y Niñas Vs. Chile, párr. 83.

Información sobre la conferencia Synthetic Biology 2.0 y sus propuestas para au-togobernarse, se puede consultar en: http://syntheticbiology.org, consulta: 16-07-2016.

HANS-MARTIN SASS Fritz Jahr’s Bioethischer Imperativ. 80 Jahre Bioethik in Deuts-chland von 1927 bis 2007.Se puede consultar en: http://www.ethik-in-der-pra-xis.de/MM-175.pdf. 04-10-09.

HERRERA FRAGOSO, AGUSTÍN ANTONIO, El Principio de Precaución como fundamento de la bioseguridad en la aplicación de alimentos trans-génicos, se puede consultar en: http://biblat.unam.mx/ca/revista/es-tudios-agrarios/articulo/el-principio-de-precaucion-como-funda-mento-dehttp://biblat.unam.mx/ca/revista/estudios-agrarios/articulo/





356

el-principio-de-precaucion-como-fundamento-de-la-bioseguridad-en-la-apli-cacion-de-alimentos-transgenicosla-bioseguridad-en-la-aplicacion-de-alime-ntos-transgenicos, consulta: 05-12-2014.

SCHAEFER RIVABEM, FERNANADA, Biodireito: uma disciplina autônoma?, Rev. bioét. (Impr.). 2017; 25 (2): 282-9, se puede consultar en: http://dx.doi.org/10.1590/1983-80422017252188 05/10/2019.




357


El uso de la inteligencia artificial en la mediación: ¿quimera o realidad?*The use of artificial intelligence in mediation: chimera or reality?

Jorge Luis Ordelin Font**

resumen:El presente artículo tiene como objetivo analizar las posibilidades de uso de sistemas de inteligencia artificial en el procedimiento de mediación. Para su realización se parte de la distinción entre mediación y mediación electrónica, y entre esta y la que utiliza inteligencia artificial. El análisis se realiza desde dos perspectivas, a) la sustitución de la figura del mediador por el sistema y b) la utilización de este último como auxilio en el proceso de mediación. Se concluye que estos sistemas presentan limitaciones tecnológicas que inciden en la naturaleza del procedimiento por lo cual la existencia de procedimientos totalmente automatizados significaría su desnaturalización como mecanismo alternativo de resolución de controversias, al menos desde el actual desarrollo de la tecnología.

palabras clavesMediación, inteligencia artificial, mediador.

abstractThis article aims to analyze the possibilities of using systems of artificial intelligence systems in the mediation procedure. For its realization it is based on the distinction between mediation and electronic mediation, and between it and the one that uses artificial intelligence. The analysis is carried out from two perspectives, a) the replacement of the mediator’s figure by the system and b) the use of this system as an aid in the mediation process. It is concluded that these systems have technological limitations that affect the nature of the procedure and the main characteristics of this, so that the existence of fully automated procedures means a denaturation of this alternative dispute resolution mechanism, at least since the current development of the technology.

keywordsMediation, artificial intelligence, mediator.

*Artículo de Investigación postulado el 20 de febrero de 2020 y aceptado el 11 de noviembre de 2020**Becario postdoctoral en el Instituto de Investigaciones Jurídicas de la Universidad Nacional Autónoma de México. ([email protected]) orcid.org/0000-0001-8778-882X




J O R G E L U I S O R D E L I N F O N T

358

SUMARIO1. Introducción2. Mediación electrónica: principales peculiaridades.3. Inteligencia artificial y Administración de Justicia 3.1) Limitaciones tecnológicas de la inteligencia artificial. 3.2) Mediación e inteligencia artificial. 4. El uso de la inteligencia artificial en la solución alternativa de conflictos. 5. Conclusiones6. Referencias

1. Introducción

En el año 2019 en British Columbia se utilizó el desarrollo Smartsettle ONE del doctor Ernest Thiessen para lograr un acuerdo de mediación. El uso de este ro-bot mediador a partir de la inteligencia artificial (IA) permitió resolver un con-flicto de tres meses en menos de una hora. Un entrenador personal le reclamaba a un cliente dos mil libras esterlinas por un curso de asesoramiento personal. Las partes decidieron utilizar el sistema de tribunal de reclamos de dinero en línea luego de un intento fallido de mediación telefónica y de una audiencia. Adoptaron el acuerdo a partir de la utilización de un sistema de ofertas y con-traofertas que se identificaba con banderas de colores verde y amarillo como fuente de conocimiento.1

El sistema de IA utilizado permitió presentar las mejores ofertas sin que las partes las conocieran, de tal forma que premió a aquella que realizó un mayor esfuerzo para alcanzar el acuerdo. Sus creadores consideraron que el sistema podía ser atractivo para las compañías de seguros en casos de lesiones personales rutinarias. Entre las principales ventajas se mencionan, la rapidez de las ofertas, la reducción de los honorarios legales y la posibilidad de realizar ofertas de maneras secretas.2

Este supuesto ha traído a debate, nuevamente, el tema de la mediación electrónica y la posibilidad de que un sistema de IA pueda ser utilizado en

1 Harbeyps, Se resuelve un caso de mediación usando inteligencia artificial por primera vez, 29 de marzo de 2019, [Consultada 10 de diciembre de 2019], Disponible en: https://metodosderesoluciondeconflictos.wordpress.com/2019/03/29/se-resuelve-un-caso-de-mediacion-usando-inteligencia-artificial-por-primera-vez/2 Hilborne, Nick, Robot mediator settles first ever court case, 19 de febrero de 2019, [Consultada 10 de diciembre de 2019], Disponible en: https://www.legalfutures.co.uk/latest-news/robot-mediator-settles-first-ever-court-ca-se; Hyde John, Mediator claims online dispute first to be settled by algorithm, 25 February 2019, [Consultada 10 de diciembre de 2019], Disponible en: https://www.lawgazette.co.uk/news/mediator-claims-online-dispu-te-first-to-be-settled-by-algorithm-/5069393.article




E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L E N L A M E D I A C I Ó N : ¿ Q U I M E R A O R E A L I D A D ?

359

dicho procedimiento. Al respecto surgen múltiples interrogantes, en particular hasta dónde puede esta tecnología sustituir o no la figura del mediador sin que ello suponga una desnaturalización del procedimiento de mediación como mecanismo alternativo de resolución de conflictos.

Para ello consideramos que debe distinguirse entre resolución extrajudi-cial de conflictos en línea, también llamados ODR (online dispute resolution), la mediación, la mediación electrónica y la mediación que utiliza sistemas de inteligencia artificial. Son estos los principales temas que serán abordados en el presente artículo que tiene como objetivo, analizar la utilización de sistemas de inteligencia artificial en el procedimiento de mediación. Para su realiza-ción se utilizaron los métodos de investigación, inducción –deducción, exegé-tico-jurídico y teórico-jurídico, los que permitieron distinguir entre mediación y mediación electrónica, y entre esta y la que utiliza inteligencia artificial, to-mando como punto de partida las limitaciones tecnológicas y jurídicas que al respecto existen.

La resolución extrajudicial de conflictos a partir del uso de las nuevas tec-nologías y la mediación electrónica es una relación género-especie, de la que también forman parte la negociación, el arbitraje y otros medios de resolu-ción de controversias. Aun cuando su desarrollo se ha visto asociado con la contratación electrónica, no se limita a esta y obedece a interrelaciones más complejas como es la inserción de la aplicación de la justicia en el sector digital. Lo que sin duda se revierte en un “redimensionamiento del concepto de tutela judicial efectiva, en el que tenga lugar una “idea más amplia de “acceso a la justicia” y en la promoción de otras vías de resolución de controversias”,3 los denominados tribunales multipuertas, en los que la reclamación sea “analizada de manera primaria pero suficiente, para determinar la vía más adecuada para intentar su resolución”,4 u otro tipo de acuerdos en mecanismos heterocom-positivos como la audiencia previa del juicio ordinario o la mediación en el sistema arbitral de consumo, entre otros.

3 Bujosa Vadell, Lorenzo y Palomo Vélez, Diego, “Mediación electrónica: Perspectiva europea”, Revista Ius et Praxis, Año 23, Nº 2, 2017, p. 52.4 Bujosa Vadell, L. y Palomo Vélez, D., “Mediación… cit., p. 54. También se habla de las denominadas plataformas multiventanas que le permiten realizar distintos procedimientos para resolver una disputa.





360

2. Mediación electrónica: principales peculiaridades

Como afirma Sáez de Heredia “uno de los mayores desafíos que nos encontra-mos a la hora de diseñar y ejecutar un proceso de resolución de disputas en red, es equilibrar e integrar el componente humano con la dimensión automatizada del proceso”.5 En este sentido aparecen al menos dos posibles soluciones, que el sistema complemente las competencias del ser humano o simplemente las sus-tituya. Este último supuesto es más complejo y requiere un análisis profundo sobre sus efectos en el sistema de administración de justicia.

En el ordenamiento jurídico español, por ejemplo, el artículo 24 de la Ley 5/ 2012 de 6 de julio sobre mediación en asuntos civiles y mercantiles, estable-ce que las partes pueden acordar que todas o alguna de las actuaciones de la mediación se lleven a cabo por medios electrónicos, dígase videoconferencia u otro medio análogo de transmisión de voz e imagen, siempre y cuando quede garantizada la identidad de los intervinientes y el respeto a los principios de la mediación previstos en la Ley.6 Sin embargo, cuando la reclamación consista en una cantidad que no exceda de 600 euros la norma considera que se debe desarrollar preferentemente por medios electrónicos, salvo que el empleo de estos no sea posible para alguna de las partes.7 Este es el conocido como proce-dimiento simplificado de mediación, y cuya definición, según Bueno De Mata se refiere a la automatización, aun cuando a juicio del propio autor, ésta no se exprese claramente.8 El hecho es que en un mismo artículo estamos en presen-cia de dos supuestos, la mediación electrónica y la solución de controversias utilizando sistemas automatizados, los cuales tienen similitudes, pero también marcadas diferencias.

La mediación supone “la incorporación de un profesional especializado en resolución de conflictos, a un sistema dinámico de relaciones conflictivas entre dos o más personas, con el fin de ayudarlas a encontrar alternativas de solución. Este tercero es capaz de modificar la dinámica de poder de la rela-ción conflictiva”.9 Sin embargo, cuando se realiza de manera electrónica no

5 Sáez de Heredia, Ramón Alzate, “Mediación en línea”, Revista de Mediación, Año 1, No. 1, marzo 2008, p. 10.6 Art. 24.1 de la Ley 5/2012, de 6 de julio, de mediación en asuntos civiles y mercantiles, Boletín Oficial del Estado, No. 162: 7 de julio de 2012.7 Art. 24.2 Ley 5/2012, de 6 de julio, de mediación en asuntos civiles y mercantiles, Boletín Oficial del Estado, No. 162: 7 de julio de 20128 Bueno de Mata, Federico, “Mediación electrónica e inteligencia artificial”, Actualidad civil, Nº 1, 2015, Editorial Wolters Kluwer.9 Luz Clara, Bibiana Beatriz, “La mediación en entornos electrónicos”, Ius Revista del Instituto de Ciencias Jurídicas de Puebla, Vol. 12, No. 41. enero - junio de 2018, p. 347.





361

es más que un “instrumento de resolución extrajudicial de conflictos, que si-guiendo los principios de toda mediación (voluntariedad, neutralidad…) tiene como nota o característica autónoma o sui generis la utilización de las nuevas tecnologías (en todo o parte del proceso) de manera que todas o algunas de las sesiones pueden llevarse a cabo de manera virtual a través de procedimientos electrónicos”.10

La mediación electrónica también denominada en la literatura como me-diación online es entendida como “el proceso de mediación llevado a cabo a distancia, en forma virtual, en que el mediador y las partes utilizan medios electrónicos para comunicarse, es decir, que se desarrolla vía Internet en lu-gar del tradicional ambiente físico en el cual el procedimiento se lleva ‘cara a cara'”.11 Aunque, autores como Talavera Hernández consideran que el término online puede ser ambiguo, al poder ser entendido como tal cuando las sesiones se realicen online, y no referirse otros aspectos del procedimiento que pueden ser realizados utilizando medios electrónicos.

Tampoco puede entenderse que todo procedimiento realizado online es necesariamente mediación. El uso de los medios tecnológicos para dirimir controversias puede utilizar algunos de los principios de este mecanismo. Así acontece, en la regulación de la resolución de litigios en línea en materia de consumo, también denominada mediación de consumo en el Reglamento (UE) No. 524/2013 del Parlamento Europeo y del Consejo, de 21 de mayo de 2013. La normativa comunitaria establece una plataforma europea de resolución de liti-gios en línea que facilita la resolución extrajudicial de litigios entre consumi-dores y comerciantes en línea de forma independiente, imparcial, transparente, eficaz y equitativa.12 Si bien algunos autores se refieren a este procedimiento como mediación de consumo en línea, es cierto, como afirma Franco Conforti, que ello es una interpretación errada del Reglamento debido a que éste no se refiere a la mediación de consumo, sino solo a la resolución de litigios en línea, por lo cual no es dable confundir uno con otro, el género con la especie.

Otro de los aspectos más polémicos sobre el tema es si la mediación elec-trónica debe ser realizada durante todo el proceso utilizando los recursos tec-nológicos o solo en parte. Para Guardiola Salmerón la utilización de las TIC

10 Guardiola Salmerón, Miriam, El proceso de mediación electrónica, 3 de marzo de 2016, [Consultada el 5 de enero de 2020], Disponible en: https://www.amediar.info/proceso-mediacion-electronica/11 Talavera Hernández, José Antonio, “La figura del Mediador en la Mediación online”, Revista Aranzadi de derecho y nuevas tecnologías, Nº. 38, 2015, p. 311. 12 Art. 1 Reglamento (UE) No 524/2013 del Parlamento Europeo y del Consejo de 21 de mayo de 2013 sobre reso-lución de litigios en línea en materia de consumo y por el que se modifica el Reglamento (CE) no 2006/2004 y la Directiva 2009/22/CE, Diario Oficial de la Unión Europea L 165/1: 18 de junio de 2013.





362

puede ser en todo o en parte.13 Aunque debe precisarse que la mera gestión electrónica del expediente no puede ser entendida como mediación electrónica, si bien el carácter electrónico del mecanismo puede recaer en el tratamiento, transmisión, envío y/o recepción de datos. Se trata de utilizar los recursos de la tecnología para crear el espacio de entendimiento que las partes precisan para gestionar el conflicto.

Precisando la particularidad de la mediación electrónica como tipo de me-canismo de solución de conflictos en línea, se debate la relación que existe entre la mediación tradicional o presencial y la mediación electrónica. Desde una perspectiva global del procedimiento debemos apuntar que aun cuando sea electrónico, no impide el respeto de los principios de la mediación, todo lo contrario. Como afirma Sáez de Heredia “la mediación en red tiene más seme-janzas y similitudes a la mediación presencial, que diferencias”.14

Como acertadamente señala Luz Clara “conlleva los mismos rasgos que la mediación en general, pero se lleva a cabo mediante herramientas electrónicas en línea” y al igual que aquella deberá respetar sus mismos principios.15 Aunque no debe perderse de vista, según Guardiola Salmerón que a las características propias de la mediación deben sumarse otras formas de dirimir controversias como es la intervención de un tercero (mediador) formado en mediación y TIC, quien además “garantizará la privacidad, seguridad, confidencialidad, identi-dad de las partes y autenticidad de los sistemas de verificación de las mismas”.16

Al respecto debemos señalar que la tecnología es solo un instrumento, la denominada cuarta parte del procedimiento. Además de la experiencia tecno-lógica es necesario tener en cuenta otros elementos como los efectos psicológi-cos que provocan su realización a distancia, el uso de los medios tecnológicos por parte de las partes y la propia capacidad del mediador para acercar a cada una de las partes durante el procedimiento. A partir de estas particularidades se hace referencia a las ventajas y desventajas de su utilización.

Entre los principales beneficios se mencionan las posibilidades de uso en la resolución de conflictos transfronterizos, la eliminación de las barreras geo-gráficas y lingüísticas, como es el caso de los conflictos que tienen lugar en materia de derechos de autor en el orden digital, aunque, como afirman Bujosa Vadell y Palomo Vélez, “los métodos alternos de solución de controversias no

13 Guardiola Salmerón, Miriam, El proceso de mediación electrónica, 3 de marzo de 2016, [Consultada el 5 de enero de 2020], Disponible en: https://www.amediar.info/proceso-mediacion-electronica/14 Sáez de Heredia, R. A., “Mediación…, cit., p. 8. 15 Luz Clara, B. B., “La mediación en entornos…, cit., p. 350.16 Guardiola Salmerón, M., El proceso de mediación…, cit.





363

evitan los problemas que existen en relación con la jurisdicción.17 En este sen-tido hay que apuntar que, si bien resuelven los dilemas que pueden existir en relación con el sometimiento de las partes a jurisdicciones extranjeras que pue-den incluso llegar a ser desconocidas, no quedan superados los diferentes in-convenientes que surgen al momento de la ejecución del acuerdo de mediación.

Otras de las ventajas de la utilización de la tecnología es la posibilidad de garantizar el acceso de las personas con discapacidad,18 garantizar el acceso al mecanismo en aquellos supuestos donde las partes no quieran reunirse, o existe algún tipo de temor infundado o riesgo de violencia. En este último caso puede devenir un medio ideal para resolver el conflicto cuando el afrontamien-to entre las partes interfiere en la dinámica de la relación. Al propio tiempo y sin que sea contradictorio, facilita el contacto entre las partes y el mediador, hace más ágil al procedimiento. Como afirma Guardiola Salmerón “Dispone la mediación electrónica de una sólida cobertura que hace factible y segura su desarrollo, al existir herramientas TIC diseñadas ad hoc para esta nueva de-manda de la sociedad imperante, cual es la resolución alternativa de conflictos a través de las nuevas tecnologías”.19

Por otro lado, entre las principales desventajas se señalan la falta de in-terpretación de lenguaje corporal y la gestión emocional, la existencia de ries-gos en la suplantación de la identidad y la garantía de la confidencialidad, los dilemas que pudieran existir en relación con la normativa aplicable durante la ejecución del acuerdo, la identidad del mediador, el carácter ejecutivo del acuerdo y los costos del procedimiento que pueden o no estar en relación con el conflicto.

También se señala como desventaja la posible falta de inmediatez que tie-ne lugar cuando las partes no se pueden oír ni ver en tiempo real, ello depende de si la mediación es sincrónica o asincrónica. En este último supuesto la cone-xión es diferida, por lo que no se espera una respuesta inmediata de las partes. Para Franco Conforti, aun cuando la utilización de los dispositivos electrónicos

17 Bujosa Vadell, L. y Palomo Vélez, D., “Mediación electrónica…, cit., p. 52. 18 V.gr. Investigadores de la Universidad Carlos III de Madrid (UC3M) crearon una plataforma electrónica de media-ción y arbitraje para la resolución jurídica de conflictos, como parte del proyecto Sistema Electrónico de Mediación y Arbitraje para Personas con Discapacidad (SEMADISC). Según la descripción no es más que una herramienta electró-nica para la intermediación y el arbitraje centrado en las personas con problemas de accesibilidad. Dado que según la información publicada y disponible es necesario un equipo jurídico que asesore y realice el papel de mediador, así como la colaboración de otros participantes en el proyecto que permitan proporcionar un servicio gratuito a la per-sona que tiene algún tipo de discapacidad. Son los mediadores los que se encargar de estudiar la solicitud y ponerse en contacto con las partes. Cfr. “Desarrollan un nuevo sistema online para la mediación jurídica”, [Consultada el 9 de enero de 2020], Disponible en: http://portal.uc3m.es/portal/page/portal/actualidad_cientifica/noticias/semadisc19 Guardiola Salmerón, M., El proceso de mediación…, cit.





364

lo permitan no existen razones para convertir la mediación electrónica en asin-crónica, al respecto argumenta, que no existe justificación para esta transfor-mación que incide en los principios de mediación y seguridad, todo ello, si se parte, a juicio del autor de que la mediación se define como un encuentro entre las partes.20 No deja de tener razón el autor dado que ciertamente el argumento de la celeridad fundamenta la aplicación de la tecnología en el uso de la media-ción, pero no en el respeto de los principios que la rigen.

No obstante, algunos autores como Sáez de Heredia valoran positivamen-te que la comunicación pueda llegar a ser asincrónica, dado que supone que las partes puedan, “reflexionar más sobre sus respuestas, sin dejarse influir por la espera, gestos y otros elementos presentes en los intercambios presenciales”.21

Es cierto que ello permite brindar respuestas más pausadas, más pensadas y con mejor forma, sin incidir en el escalamiento del conflicto.

Otro argumento que se utiliza es la valoración de relación que debe existir entre las partes y el mediador y que se sustenta en la confianza. Sin embargo, no existe información que fundamente la eficacia de la mediación presencial sobre la mediación electrónica en la generación y consolidación de esta re-lación. Para Sáez de Heredia el propio hecho de que miles de disputas se re-suelvan a través del medio digital cuestiona el hecho de que se considere que la presencia física y la comunicación presencial sea superior a cualquier otro medio comunicativo.22 Tampoco ha sido comprobada la afirmación de que el uso de los medios de resolución de conflictos no sea apropiado cuando se trata de cuestiones familiares y otras disputas interpersonales. En este último caso el verdadero reto se halla no en el medio utilizado en el procedimiento, sino en el tipo de conflicto a resolver.

Las limitaciones que existen en la materia objeto de mediación deberán ser aplicadas en los supuestos de mediación electrónica. No son todos los con-flictos que se pueden resolver por mediación. Como se ha reconocido por la doctrina y la legislación solo pueden ser objeto de mediación aquellos con-flictos donde no quede comprometido el orden público.23 La mediación solo tiene lugar en materias disponibles de naturaleza privada, como es el Derecho Civil y el mercantil y no para aquellos supuestos en los cuales existe o pudiera existir un interés público como cuestiones de Derecho de Familia, sin embargo,

20 Franco Conforti, Oscar Daniel, “Mediación on-line: de dónde venimos, dónde estamos y a dónde vamos”, InDret. Revista para el análisis del Derecho, No. 4, 2015, p. 17.21 Sáez de Heredia, R. A., “Mediación en línea…, cit., p. 11.22 Sáez de Heredia, R. A., “Mediación en línea…, cit., p. 8. 23 Luz Clara, B. B., “La mediación en entornos…, cit., p. 347.





365

en algunos países comienzan a existir excepciones en determinados conflictos. Debe precisarse que no hay razones que impidan utilizar este tipo de meca-nismos de solución de controversias para solucionar conflictos que tengan su origen en el ámbito digital.

3. Inteligencia artificial y Administración de Justicia

Una vez que hemos abordado el alcance y relación de la mediación y la su rea-lización de forma electrónica es preciso que nos adentremos en la utilización de sistemas de inteligencia artificial para resolver conflictos en este ámbito, haciendo especial referencia a la incidencia del uso de esta tecnología en el procedimiento de mediación.

El uso de sistemas de IA en la Administración de Justicia no es nuevo. Los denominados sistemas de expertos jurídicos, basados en el conocimiento, constituyen, al decir de Martínez Bahena, la principal aplicación de la inteli-gencia artificial al campo del Derecho y a la toma de decisiones judiciales. Una particularidad de estos sistemas es su capacidad para resolver determinados conflictos con características particulares. Para la autora estos sistemas pueden plantear “posibles soluciones a determinados asuntos jurídicos aplicando el conocimiento experto en la materia, así como explicar sus razonamientos”.24

Existen varios tipos de sistemas expertos jurídicos, entre los que podemos mencionar aquellos que están basados en regla de producción, el modelo posi-tivista explícito subyacente (sustentado en el denominado silogismo jurídico), el modelo constructivista y el modelo de razonamiento legal basado en casos, que trata de retomar la capacidad de resolver problemas por analogía propia de los humanos, buscando similitudes con otros problemas a los que se haya enfrentado, siempre y cuando encuentre algo semejante.25 Parece ser este úl-timo modelo el que se ha desarrollado y utilizado con más frecuencia. Estos sistemas constituyen herramientas de apoyo a la actividad jurídica, dígase en sede de tribunales, procuradurías u oficina de abogados. Podemos mencionar como ejemplos, entre otros:

El proyecto Prometea promovido por el Ministerio Público Fiscal de la Ciu-dad Autónoma de Buenos Aires (CABA), que no es más que un sistema diseña-do para predecir la solución de expedientes jurídicos simples. Aunque es váli-do señalar que solo es aplicable en casos sobre los que ya existe información

24 Martínez Bahena, Goretty Carolina, “La Inteligencia artificial y su aplicación al campo del Derecho”, Alegatos, No. 82, México septiembre/diciembre de 2012, p. 833. 25 Martínez Bahena, G. C., “La Inteligencia artificial…, cit., p. 833.





366

previa, donde la justicia se ha pronunciado, su uso tiene lugar en supuestos idénticos o similares, que no poseen un alto grado de complejidad. El sistema no es quien adopta la decisión final dado que existe una persona que determina si la propuesta es adecuada.26

En China un juez basado en tecnologías inteligentes ayudará a completar el trabajo que se considera básico y repetitivo, como la recepción de litigios. Se prevé que el sistema, dotado con imagen, voz y expresiones faciales femeni-nas realice acciones basadas en una persona real. Entre estas se encuentran: la ayuda a los usuarios a utilizar la plataforma de litigios en línea, la relación de comunicaciones inteligentes de preguntas y respuestas con estos, basadas en datos del conocimiento profesional y la orientación de jueces.27

De forma similar en Estonia el Ministerio de Justicia ha pedido que se dise-ñe un “juez robot” que pueda resolver disputas de reclamos menores de €7,000, con el fin de eliminar la acumulación de casos pendientes. Centrado en la re-solución de disputas contractuales se prevé que las partes puedan cargar docu-mentos e información relevante para que el sistema pueda emitir una decisión que pueda ser apelada ante un juez humano.28

3.1 Limitaciones tecnológicas de la inteligencia artificial

Pese a los avances señalados es importante que seamos capaces de compren-der las limitaciones de esta tecnología y sus sesgos. Lo primero que debemos precisar es que nos encontramos ante un concepto muy amplio que abarca múltiples ámbitos, entre los que podemos mencionar la Computación, Física, Neurociencias y Humanidades. Aun cuando el objeto de este campo científico es “verificar si un ordenador convenientemente programado es capaz o no de tener conducta inteligente de tipo general”,29 lo cierto es que, dado el actual estado de la tecnología, no es posible una equiparación con la humana. Ello en parte obedece a nuestras propias limitaciones para comprender qué acontece

26 Magro Servet, Vicente, “La aplicación de la inteligencia artificial en la Administración de Justicia”, Diario La Ley, No. 9268, de 27 de septiembre 2018, Editorial Wolters Kluwer, p. 2.27 Liangyu, “Beijing Internet court launches AI judge”, Xinhua, 27 de junio de 2019, [Consultada 27 de diciembre de 2019], Disponible en: http://www.xinhuanet.com/english/2019-06/27/c_138178826.htm28 Niiler, Eric, “Can AI Be a Fair Judge in Court? Estonia Thinks So”, 23 de marzo de 2019, [Consultada 19 de enero de 2020], Disponible en: https://www.wired.com/story/can-ai-be-fair-judge-court-estonia-thinks-so/29 López de Mántaras, Ramón, “El futuro de la IA: hacia inteligencias artificiales realmente inteligentes”, ¿Hacia una nueva Ilustración? Una década trascendente, Madrid, BBVA, 2018 [Consultada el 5 de enero de 2020], Disponible en:https://www.bbvaopenmind.com/articulos/el-futuro-de-la-ia-hacia-inteligencias-artificiales-realmente-inteli-gentes/





367

con la inteligencia humana, lo cual impide contar con un paradigma correcto, al propio tiempo que tampoco existen los modelos teóricos necesarios para este desarrollo.

Hasta este momento solo podemos hablar de inteligencias artificiales es-pecializadas, desarrolladas a partir del acceso a enormes cantidades de datos y de computación de altas prestaciones. Según las fuentes bibliográficas consul-tadas los actuales sistemas solo permiten realizar tareas específicas, así como razonar deductivamente y aprender inductivamente, incluso mejor que los se-res humanos. Es la que se denomina IA débil en oposición a la IA fuerte que, teóricamente, se prevé llegará a ser capaz de igualar la mente humana e incluso ser superior a ésta. Aunque no debe confundirse la IA general a la IA fuerte, dado que es posible que exista IA multitareas (generales) que no son fuertes.

Como afirma López de Mántaras “toda la enorme complejidad del cerebro queda muy lejos de los modelos actuales. Esta inmensa complejidad del cere-bro también conduce a pensar que la llamada singularidad, es decir, futuras superinteligencias artificiales que, basadas en réplicas del cerebro, superarán con mucho la inteligencia humana en un plazo de unos veinticinco años, es una predicción con poco fundamento científico”.30

Pese al desarrollo alcanzado debemos ser conscientes que estos sistemas no tienen sentido común, lo cual impide la comprensión profunda del lengua-je, así como tampoco le es posible interpretar lo que capta por el sistema de percepción visual. Tampoco pueden diferenciar entre causas y efectos, las rela-ciones que tienen lugar entre los objetos y sus propiedades, ello motivado, en gran medida por el hecho de que no aprenden de relaciones asimétricas solo simétricas. Por otro lado, no tienen conocimientos ilimitados puesto que aún no son capaces de aprender de forma continua. En estos sistemas se aprecia el denominado ‘olvido catastrófico', por lo que no pueden llevar a cabo otra tarea distinta a la planificada, al menos “en el sentido humano de aprender”31. Asimismo, requieren enormes cantidades de datos para ser entrenados, lo que puede devenir en un problema al momento de aportar el conocimiento necesa-rio para la resolución de determinados conflictos. En otras palabras, aún no se logra la integración de las habilidades de percepción, representación, razona-miento, acción y aprendizaje.

Pese a las limitaciones que existen en esta tecnología no pueden dejarse de analizar los riesgos que representa, en particular a partir de su capacidad

30 López de Mántaras, R., “El futuro de la IA…, cit. 31 “El object. El camino hacia la Inteligencia Artificial empieza por comprender que sucede” [Consultada el 5 de enero de 2020], Disponible en: https://www.sinaptica-ia.es/introduccionIAalObject





368

de poder encontrar relaciones y patrones entre las diversas fuentes de datos, llegando a inferir qué pensamos y cómo nos sentimos. Por ejemplo, en una competición realizada en Reino Unido del 20 al 27 de octubre de 2017 y or-ganizada por la start-up CaseCrunch, el sistema de inteligencia artificial tuvo una efectividad del 87% en la predicción de reclamaciones comparado con el 62% de un grupo de abogados. Según la nota publicada, la razón del éxito del software es precisamente su comprensión de la importancia de los factores no legales subyacentes a los casos evaluados.32 Sin embargo, no se obtuvieron efectos positivos en la Administración de Justicia en Kentucky, donde una ley de 2011 obligó a los jueces a consultar un algoritmo antes de decidir si los acusados deberían pagar una fianza en efectivo. En este caso las personas de tez blanca fueron más beneficiados que los de tez negra.33

3.2 Mediación e inteligencia artificial

Vistas las limitaciones que existen en los sistemas de IA la pregunta que debe-mos hacernos es poder determinar si, desde un punto de vista tecnológico, la forma como el sistema soluciona el conflicto no contradice la propia esencia de la mediación, en otras palabras, si nos encontramos verdaderamente ante una solución consensuada, fruto de la voluntad de las partes.

En España, por ejemplo, el procedimiento simplificado, anteriormente referido, implica una tramitación simple con formularios electrónicos y cuya duración no debe exceder un mes. Para autores como Franco Conforti este pro-cedimiento no es más que una negociación bilateral multiatributo, en otras palabras, una especie de negociación asistida.34 Un criterio diferente sostiene Bueno De Mata para quien si es posible que hablemos de mediación, al propio tiempo que especifica que el sistema funciona “a través de una base de datos de casos similares y utilizando criterios de ponderación para las dos partes, designaría una propuesta de acuerdo, que finalmente ratificarían las partes; en el caso contrario, el sistema seguiría dando respuestas hasta llegar a una solución aceptada por ambas partes, sin un límite concreto de intentos al no especificarlo la normativa”.35

32 Cellan-Jones, Rory, “The robot lawyers are here - and they’re winning”, BBC, 1 de noviembre de 2017, [Consultada el 5 de enero de 2020], Disponible en: https://www.bbc.com/news/technology-4182953433 Simonite, Tom, “Algorithms Should’ve Made Courts More Fair. What Went Wrong?”, 9 de mayo de 2019, [Consul-tada el 5 de enero de 2020], Disponible en: https://www.wired.com/story/algorithms-shouldve-made-courts-more-fair-what-went-wrong/34 Franco Conforti, Oscar Daniel, “Mediación electrónica (e-mediación)”, Diario La Ley, 15 de abril de 2015, p. 7. 35 Bueno De Mata, F., Mediación electrónica…, cit.





369

Sin embargo, el procedimiento es mucho más complejo que depende en gran medida de la tecnología utilizada. Desde las ontologías difusas se han desarrollado moderadores virtuales en la toma de decisiones, lo cual puede ser utilizado en la solución alternativa de conflictos al facilitar el encuentro de las posiciones de consenso.36

Utilizando modelos computacionales de negociación es posible funda-mentar la argumentación y el razonamiento basado en casos; lo que permite modificar en el proceso argumentativo la solución propuesta por el mediador. Basado en un caso similar previamente resuelto se intenta buscar soluciones en casos similares. Solo cuando estos últimos no existan entonces el agente me-diador interactúa con un mediador humano para que incorpore nuevos casos en su base de datos, a los fines de poder y aportar nuevas propuestas de solu-ciones. En la arquitectura del sistema se añade el componente de los recursos y es, en virtud de estos, que se negocia la propuesta del mediador. Algunos de estos recursos son aportados por el mediador o simplemente se encuentran en posesión de las partes desde el inicio del proceso.37

La denominada mediación computacional se centra en el razonamiento sustentado en un solo paso para encontrar solución, en ella la mediación se reduce a la inferencia de seleccionar un “plan de mediación” abstracto. Desa-rrollándose mecanismos para la reestructuración de problemas a partir de obje-tivos y las relaciones entre estos dentro del paradigma de la teoría de los juegos. Este mecanismo para la automatización de la mediación utiliza la negociación basada en la argumentación (ABN).

El sistema permite argumentar por qué se rechaza una oferta determinada o proporcionar las condiciones bajo las cuales esta oferta podría ser aceptada, lo que permite que, en base a estos propios argumentos, se pueda modificar la oferta o presentar una distinta. Además de la propuesta de diferentes estrategias son esenciales los mecanismos de razonamiento y los protocolos de negociación, los primeros derivan de marcos lógicos que utilizan la argumentación, mientras

36 Un ejemplo de uso de esta tecnología es el proyecto de investigación que utiliza el conocimiento para la búsqueda del consenso entre las partes y la toma de decisiones. Liderado por los investigadores Ignacio Javier Pérez y Enrique Herrera Viedma, del laboratorio SECABA de la Universidad de Granada (UGR) y del Institute for Advanced Mana-gement Systems Research (IAMSR) de la Abo Akademi de Finlandia. El proyecto tiene como objeto desarrollar un moderador virtual que asista a la toma de decisiones para acercar las posturas de las partes en el proceso de nego-ciación. Vázquez, Andrés, Mediación e Inteligencia Artificial, 4 de mayo de 2013. [Consultada el 9 de enero de 2020], Disponible en: http://alenmediagroup.blogspot.com/2013/05/mediacion-e-inteligencia-artificial.html37 Proyecto denominado “Ayuda a la resolución de conflictos mediante un sistema de mediación automatizada basa-do en inteligencia artificial”, cuyo investigador principal es el doctor Ramon López de Mántaras. Cfr. [Consultada el 5 de enero de 2020], Disponible en: https://www.iiia.csic.es/projects/ayuda-la-resoluci%C3%B3n-de-conflictos-me-diante-un-sistema-de-mediaci%C3%B3n-automatizada-basado-en





370

que los segundos, incluyen máquinas de estado finito o funciones basadas en acciones anteriormente ejecutadas. Según Trescak et. al. el marco de ABN para la mediación permite diseñar y ejecutar un proceso de mediación realista, que utiliza el poder de la argumentación, la lógica del agente y una negociación a partir del procedimiento de búsqueda para el espacio de acuerdo común.38

Las partes resuelven la disputa negociando soluciones alternativas las cuales son presentadas al sistema mediador que debe obtener los suficientes recursos y conocimientos para poder construir una nueva solución, que deberá ser aproba-da o rechazada por las partes. Estas, además, pueden negociar sobre una posible solución para llegar a un acuerdo. El procedimiento se lleva a cabo por rondas durante las cuales es posible presentar su conocimiento al mediador, quien obtie-ne el conocimiento a partir de una determinada función. Si la solución no existe y los agentes no presentan nuevos elementos la mediación falla. Se entiende que cuando ambos agentes aceptan la solución el proceso ha culminado con éxito; si se rechaza la solución el mediador agrega solución incorrecta. En el supuesto que la solución sea rechazada por un solo agente se inicia un nuevo proceso de negociación donde se intenta llegar a un nuevo acuerdo.

Como se colige las diferencias de los sistemas tecnológicos incide en el procedimiento del mecanismo alternativo de solución de controversias. Si la toma de decisión se establece en base a criterios previamente establecidos, no es claro cómo es que se determinarán estos criterios de ponderación y una vez determinados como se controlarían, lo que sin duda se encuentra estrecha-mente relacionado con la transparencia del sistema. ¿Cuál o cuáles serían los criterios de determinación cuando hablamos de expedientes complejos y no existan precedentes similares? ¿Pudiéramos decir que el sistema es totalmente ajeno a la disputa, un tercero imparcial y neutral?

Al considerar que una propuesta práctica de negociación colaborativa asistida por un tercero, la neutralidad queda cuestionada por el interés de lo-grar el acuerdo, la aplicación del sistema de IA puede ser entendida como una forma de resolución de disputas en línea, pero no mediación.

Si bien es cierto que con la automatización del procedimiento no resulta trascendente la formación, profesión, ni experiencia de quien realiza la media-ción sí adquiere importancia determinar o tener información sobre cuáles son los parámetros que se han establecido para la selección algorítmica, así como la naturaleza de los datos que han sido utilizados para su entrenamiento o prueba.

38 Trescak, Tomas; Sierra, Carles; Simoff, Simeon y Lopez de Mantaras, Ramon, “Dispute Resolution Using Argumen-tation-Based Mediation”, CEUR Workshop Proceedings, 2014, [Consultada el 9 de enero de 2020], Disponible en: https://www.iiia.csic.es/sites/default/files/5315.pdf, p. 2.





371

Existe la posibilidad de que se reproduzcan los sesgos que están presentes en los datos a partir de los cuales ha sido entrenado el sistema, así como aquellos que se utilizarán para obtener las respectivas propuestas. La automatización de datos brinda respuesta en dependencia de los datos facilitados, ello incide preponderantemente en el “aprendizaje” de la máquina y por supuesto, está en estrecha relación con lo que de ella se demanda. Los bancos de datos son par-ticularmente importantes para realizar las pruebas de errores y la consecuente rectificación de la tecnología.

Tampoco es claro el papel de las partes para alcanzar el acuerdo. No es preciso si el sistema se limita a determinar el contenido de la decisión o solo lo propone. Según Bujosa Vadell y Palomo Vélez refiriéndose a la distinción entre mediación y conciliación, establecer las diferencias entre uno u otro me-canismo, en el hecho de la aportación de sugerencias y soluciones por parte del tercero aporta poco a la realidad práctica, dado que la posición de éste es preci-samente acercar a las partes “y estar atento a la oportunidad de sugerir, cuando lo vea prudente, posibilidades de acuerdo que lleven a la autocomposición”.39

Sin embargo, aun cuando podamos reconocer que no sería este el principal ar-gumento para fundamentar la inexistencia de un procedimiento de mediación en este tipo de tecnología, reconocemos que existen otros elementos que deben ser tenidos en cuenta, como es la sustitución de la figura del mediador y el pro-pio hecho de cómo controlar la materia que es objeto de controversia, incluida la legalidad de los acuerdos.

Ante la ausencia de disposiciones sobre cómo desarrollar el proceso de me-diación utilizando este tipo de tecnología es necesario acudir a los principios de autorregulación, empero ello no significa obviar aquellos principios que son típicos del procedimiento de mediación y que han sido positivizados. La flexibilidad como nota característica de la mediación, posibilita: 1) el respeto a la autonomía de la voluntad y, 2) la pérdida del papel central de la ley en beneficio de un principio dispositivo. Según García del Poyo la flexibilidad no se puede entender sin la participación de las nuevas tecnologías,40 empero, no queda claro como la autorregulación puede ser aplicada en el supuesto de utilización de algún tipo de sistema de inteligencia artificial.

Aun cuando se habla que las normas lo único que establecen son un míni-mo de funcionamiento, por lo que las partes pueden modificar este siempre y cuando se respete aquel mínimo, todo parece indicar que el uso de algoritmos

39 Bujosa Vadell, L. y Palomo Vélez, D., “Mediación electrónica…, cit., p. 54. 40 García del Poyo, Rafael, “La mediación electrónica”, Revista Jurídica de Castilla y León, No. 29, 2013, p. 4.





372

no conlleva necesariamente a la adaptación que es consustancial al mecanismo cuando es realizado por seres humanos. Cuando el sistema sustituye la figura del mediador el procedimiento será difícil y conflictivo, como opina Talavera Hernández “la cuarta parte no deberá usurpar el rol del mediador”.41

Si bien para Bueno De Mata “la figura del mediador no desaparece sino que existe un cambio en los esquemas inductivos que son utilizados para pro-poner una solución a las partes, pasando de una inteligencia humana a otra artificial”,42 lo cierto es que, como ya hemos afirmado anteriormente, no nos encontramos en presencia de una verdadera inteligencia. Ya hemos hecho re-ferencia a las diferencias entre el cerebro humano de los sistemas desarrollados por inteligencia artificial. Estas diferencias inciden en la capacidad del sistema para reaccionar ante situaciones inesperadas como las que podría realizar un mediador humano. Otras diferencias residen en la ausencia de creatividad para poder responder a situaciones para las cuales no existen alternativas predeter-minadas, así como la ausencia de conciencia y emociones para entender a las partes y acercarlas.43

El diálogo y la creatividad constituyen dos elementos para tener en cuenta a la hora de valorar el uso de la inteligencia artificial en verdaderos casos de mediación. Según Franco Conforti “La mediación electrónica es comunicación por sí misma. Aquí el desafío está en ir un punto más allá, en avanzar hacia el diálogo, y sólo será posible si la mediación electrónica es sincrónica”.44 En este sentido debemos precisar que el sistema de inteligencia artificial puede lograr lo primero, la comunicación, más no lo segundo, el diálogo. Al menos en el sentido que éste precisa. No obstante, debemos tener en cuenta que el sistema sí puede contribuir de forma activa e, incluso determinante, en el proceso de creatividad, en el entendido de coadyuvar a las partes a determinar aspectos similares y diferentes y la relación entre estos al punto de llegar a un nuevo resultado distinto de lo anteriormente concebido. Ello es posible a partir de que sea capaz de recibir nuevos órdenes de estructuras, ya sean objetivas como subjetivas.45

41 Talavera Hernández, J. A., “La figura del Mediador…, cit., p. 209.42 Bueno De Mata, Federico, Mediación electrónica e inteligencia artificial, Actualidad Civil, Nº 1, enero 2015, Edi-torial Wolters Kluwer.43 Ales, Javier, La inteligencia artificial versus mediación, Blog de debate y participación sobre mediación como téc-nica de resolución de conflictos, martes, 20 de marzo de 2018, [Consultada el 19 de noviembre de 2019], Disponible en http://javieralessioli.blogspot.com/2018/03/la-inteligencia-artificial-versus.html44 Franco Conforti, O. D., “Mediación on-line: …, cit., p. 18. 45 Sobre la creatividad en el proceso de mediación Vid. Franco Conforti, O. D., “Mediación on-line…, cit., p. 19.





373

La presentación de diversas propuestas tiene una especie de paralelismo con las preguntas y repreguntas que en el proceso de mediación pudiera llegar a realizar el mediador, no obstante, es imposible, al menos en el estado actual de la tecnología que el sistema pueda coadyuvar de manera efectiva a desarrollar otros aspectos que están presentes en el procedimiento de mediación como son la resiliencia, la construcción de la confianza, la generación de empatía, detec-ción de emociones, entre otras actividades que son intrínsecas a este tipo de actividad. Además, la recepción e invitación para enviar información cuando el sistema requiera más información o considere que ésta es incompleta o inexis-tente no podría ser considerada como una audiencia.

Si bien es cierto que al momento de optar voluntariamente por este me-canismo de solución de controversias las partes aceptan carecer de todas las actitudes de un ser humano, incluso de aquellas, que anteriormente hemos mencionado, no significa que estemos en presencia de un procedimiento de mediación per se, sino más bien en una especie de negociación u otro tipo de mecanismo alternativo de solución de controversias que utiliza este tipo de tecnología. No son solo las cualidades propias de los mediadores lo único que distingue a este ADR de otros mecanismos.

Todavía no es posible que estos sistemas interactúen con cada una de las partes a los fines de conocer el conflicto, analizar sus límites y posibilidades e incluso poder determinar si lo más conveniente es utilizar otro tipo de medio alternativo de solución de conflictos. No existe tampoco una capacidad de es-cucha y de comprensión de lo que la persona dice, una generación de confianza en particular de las partes con el sistema computacional. Mucho menos parece ser posible que el sistema pueda desarrollar la empatía y la comprensión entre quienes ya tenían algún tipo de relación.

Por otro lado, no puede obviarse el impacto de su uso en un contexto de multiculturalidad. Los retos que esta diversidad supone solo pueden ser supe-rados si el mediador es capaz de comprender y superar estas diferencias. Algo que los sistemas de inteligencia artificial difícilmente podrían lograr, al menos en el contexto de desarrollo actual de la tecnología.

Debemos tener en cuenta que en este supuesto lo que verdaderamente acontece no es la sustitución en el proceso de decisión, sino que realiza una propuesta en la que se tome en cuenta el particular. Siendo la mediación “crea-tiva, renovadora, preventiva, curativa” como la define Luz Clara,46 no puede decirse que exista un trabajo común de todas las partes, en el que el sistema

46 Luz Clara, B. B., “La mediación en…, cit., p.350.





374

de IA intervenga para alcanzar una solución, así como una atención conjunta para lograrla y menos a través del diálogo.

Coincidimos con Talavera Hernández en cuanto a considerar que la au-tomatización de la mediación no puede significar el rechazo de la figura del mediador, es decir su sustitución, dado que se corre el riesgo de infringir las propias garantías del procedimiento para las partes, al restar los valores hu-manos que son necesarios para aplicar este método alternativo de solución de controversias.47

Cuando el procedimiento es ciento por ciento automatizado continúa sien-do un método alternativo de solución de controversias. La negociación automá-tica no puede ser considerada como una mediación electrónica, si bien ambos son mecanismos de solución de controversias no coinciden totalmente, aun cuando tampoco podemos desconocer que tiene diversos puntos en común. Esta distinción trasciende en el ámbito de la responsabilidad, ya sea civil o penal.

Consideramos que aún falta mucho camino por recorrer para llegar al pun-to de una verdadera mediación realizada totalmente por un sistema de inteli-gencia artificial. En este sentido, nos brinda una meridiana claridad Fernando Bejerano, director del Centro de Mediación (medialCAM) en el Colegio de Abogados de Madrid cuando en una entrevista sostiene que “en la mediación, la tecnología funciona con éxito en pequeñas reclamaciones como una especie de negociación asistida”.48

Todo parece indicar que lo más factible es que el sistema sea utilizado por el mediador, siendo éste quien finalmente realiza la comunicación con cada una de las partes y con estas entre sí, es decir, se convierte en una ayuda com-putacional avanzada.49 No solo por los argumentos anteriormente expuestos sino también porque son ajenas a nuestros valores y en particular, a los proce-sos de socialización y culturización. Por ende, coincidimos con Magro Servet en cuanto a que no se trata de que la IA sea el mediador sino una ayuda, que incluso en dependencia del momento en que se aplique puede decir qué res-puesta es la que podría obtenerse ante la probable judicialización del conflicto. Todo ello “marca un camino muy positivo en la potenciación de la mediación

47 Talavera Hernández, J. A., “La figura del…, cit., p.27. 48 Amérigo, José, “Estamos lejos de que la inteligencia artificial pueda reemplazar al mediador”, 4 de diciembre de 2017, [Consultada el 9 de enero de 2020], Disponible en: https://www.observatoriorh.com/rr-ll/jose-amerigo-esta-mos-lejos-la-inteligencia-artificial-pueda-reemplazar-al-mediador.htmll49 “El object. El camino hacia la Inteligencia…, cit.





375

para que pueda ser utilizado por los mediadores tras la exposición de los datos que le proporcionan las partes del conflicto”.50

Para Sáez de Heredia la denominada cuarta parte del proceso de media-ción, la tecnológica, “no reemplaza a la persona mediadora y no tiene la misma influencia, pero funciona como un aliado, colaborador y compañero”.51 Inclu-so algunos autores como Bueno De Mata proponen la utilización en algunos supuestos no acudir a los mecanismos electrónicos de manera integral, sino utilizar un sistema mixto donde se combinen los recursos tecnológicos con la entrevista personal entre las partes.52 Pero no es clara la existencia de límites en la utilización de este tipo de tecnología para considerar cuándo nos encon-tramos en presencia de un procedimiento mixto.

De acuerdo al estado actual de la tecnología la capacidad explicativa de estos sistemas es muy limitada y no queda claro cómo llegan a sus resultados o cuáles son las conclusiones propuestas, la intervención humana deberá con-tinuar siendo necesaria para garantizar el propio respeto de las personas que interactúan con ella.

4. El uso de la inteligencia artificial en la solución alternativa de conflictos

La existencia de mecanismos alternativos de solución de controversias total-mente automatizados para resolver algunos tipos de reclamaciones, como las de carácter financiero, si bien no pueden ser consideradas como mediación propiamente si deberán brindar las garantías jurídicas necesarias para su uti-lización. Estos sistemas deben respetar tanto aquellos requerimientos que son típicos de las plataformas tecnológicas como aquellos que son particulares de los sistemas de inteligencia artificial. En este sentido surgen interesantes inte-rrogantes en relación con aquellos riesgos que son necesarios sortear durante el proceso predictivo.

Se debe distinguir entre las diversas responsabilidades que confluyen en la prestación de este servicio, como pueden ser los titulares de la plataforma que presta el servicio y los creadores del algoritmo, especialmente en el supuesto que estos no coincidan. También debe ser tomado en cuenta quién brinda el servicio de almacenamiento de la plataforma y/o del sistema y la información alojada. Es importante que queden precisados los diversos responsables.

50 Magro Servet, V., “La aplicación de la inteligencia…, cit., p. 13. 51 Sáez de Heredia, R. A., Mediación en línea..., cit., p. 10. 52 Bueno De Mata, F., Mediación electrónica…, cit.





376

La responsabilidad implica no solo cuestiones relacionadas con el uso del sistema en el procedimiento, sino también, con el propio acuerdo al que arri-ben las partes fruto de la negociación y su posterior aplicación. Es lógico que si la inteligencia artificial es utilizada en el procedimiento de negociación nada impide que pueda ser usada en el cumplimiento del acuerdo.

Particular importancia reviste la responsabilidad jurídica respecto de la tecnología, es decir de la Inteligencia Artificial. Constituye ésta una materia que se encuentra aún en construcción y debate ante los constantes cambios que tienen lugar. La Unión Europea ha hecho énfasis en diversos instrumentos comunitarios sobre la importancia de que se regule esta tecnología en materia de responsabilidad, transparencia y rendición de cuentas a partir de valores humanos y principios éticos básicos.53

Un paradigma que puede ser tomado en cuenta en esta materia son las Normas de Derecho civil sobre robótica del Parlamento Europeo donde efecti-vamente se ha reconocido que, si bien el aprendizaje automático ofrece enor-mes ventajas económicas e innovadoras a la sociedad, existen determinados retos como: velar por la no discriminación, las garantías procesales, la trans-parencia y la inteligibilidad de los procesos decisorios.54

La Unión Europea ha planteado la necesidad que los robots que participan en la toma de decisiones puedan ser objeto de reconstrucción y trazabilidad, para ello recomienda que exista una máxima transparencia en su programa-ción y su comportamiento sea previsible, no obstante, reconoce que, desde el diseño, es preciso tener en cuenta la incertidumbre en su interpretación y acción, así como posibles fallos.55 Asimismo, hay que tener en cuenta la res-ponsabilidad de estos sistemas de inteligencia artificial cuando intervienen en decisiones que afectan a particulares o son emitidas por autoridades adminis-trativas, judiciales y organismos públicos. Así se reconoce que es necesario que las partes puedan oponerse al ejercicio en la toma de decisiones automatizadas.

La utilización de los sistemas de inteligencia artificial en la solución al-ternativa de conflictos implica que sea necesario “justificar cualquier decisión que se haya adoptado con ayuda de la inteligencia artificial y que pueda tener

53 Comisión Europea, Grupo de expertos de alto nivel sobre inteligencia artificial, Directrices éticas sobre una IA confiable, Bruselas: 2019·[Consultada 19 de diciembre de 2019], Disponible en: ec.europa.eu › dae › document54 Apartado H. Resolución del Parlamento Europeo, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), Estrasburgo: de 16 de febrero de 2017. [Consultada 19 de diciembre de 2019], Disponible en:http://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.pdf55 Resolución del Parlamento Europeo, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)).





377

un impacto significativo sobre la vida de una o varias personas”.56 En este sen-tido es necesario que se registren los datos de todas las operaciones efectuadas por la máquina, incluidos la explicación de los pasos lógicos que conducen a la formulación de decisiones.

Debe quedar delimitado con claridad quién es el responsable del trata-miento de los datos, así como cuáles son los que tienen autorización para di-cho tratamiento. Es imprescindible tener en cuenta los términos y condiciones de uso de las aplicaciones que ofrecen servicios, sean estos gratuitos o paga-dos, para saber si efectivamente ofrecen las condiciones idóneas de seguridad y protección de datos personales. No es recomendable asimilar la gratuidad con la falta de seguridad, ni lo contrario, que siendo pagado el servicio éste es totalmente seguro. Los protocolos deben ofrecer las garantías de seguridad y privacidad necesarias para poder cumplir con los requerimientos de los meca-nismos alternativos de solución de controversias.

Es preciso que la plataforma que se utilice sea abierta y promueva un mo-delo de licencia innovador que garantice la seguridad y privacidad desde el diseño, la interoperabilidad entre los sistemas, los dispositivos y servicios en la nube. Por supuesto, el hecho de que sea abierta no puede ser entendido como una violación de la confidencialidad que es consustancial a este tipo de proce-dimiento. El carácter abierto debe ser visto como una condición sine qua non para garantizar la transparencia del sistema, la interoperabilidad y el acceso al código fuente. Cualquier sistema que sea utilizado debe también consagrar principios éticos de beneficencia, no maleficencia, autonomía y justicia, así como el respeto a la dignidad humana, la igualdad, equidad, la vida privada, el consentimiento informado y ser responsable por los daños ocasionados, no solo desde un ámbito individual sino también marcadamente social.

Además de las cuestiones de índole tecnológica debe existir acuerdo de voluntades sobre las consecuencias jurídicas de la utilización de estos sistemas. Es decisión de las partes someterse o no a este tipo de procedimiento de manera informada, teniendo en cuenta no solo aspectos de la tecnología utilizada sino también las propias características del procedimiento. En todos los supuestos es imprescindible que las partes conozcan y consientan el uso de una decisión totalmente automática. El consentimiento sobre el uso del dispositivo debe ser informado y transparente, debe existir pleno conocimiento de los efectos de su utilización, mientras que, por otro, los usuarios, e incluso el propio mediador,

56 Apartado 12 Resolución del Parlamento Europeo, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica. (2015/2103(INL)),





378

debieran conocer cuan transparente es el sistema, siempre que ello sea posible. Antes de someterse al uso de esta tecnología deben tener pleno conocimiento de los datos de entrada, disponibilidad de los detalles de construcción, especi-ficidades de su funcionamiento, disponibilidad, fiabilidad, seguridad y protec-ción en términos sencillos y comprensibles.

La interfaz de la plataforma debe ser sencilla y amigable, pero sobre todas las cosas debe brindar las condiciones de confidencialidad necesaria. El acceso debe estar delimitado por el rol de cada uno, quedando claro los permisos y autorizaciones que se conceden para su uso y la propia política de Privacidad del sitio. Dada la trascendencia que reviste adquiere particular importancia el hecho de que la aceptación de participar en el proceso sea corroborada con una certificación de identidad digital, debido a que existe un riesgo, nada des-preciable, de suplantación de la identidad. Las disposiciones sobre seguridad deben incluir las diversas bases de datos que pueden ser utilizadas, como son las del sistema de resolución de litigios, la de los usuarios de la plataforma, entre otras.

En ningún supuesto el uso de esta tecnología puede suponer una vulne-ración de la confidencialidad como garantía del procedimiento, aun cuando las partes no lleguen a un acuerdo y sea necesario acudir a los tribunales para resolver el conflicto. Hay que pensar con detenimiento cuáles podrían ser las consecuencias de la aplicación de este tipo de tecnología cuando las propues-tas realizadas por el sistema no sean aceptadas y el conflicto deba ser dirimido en sede jurisdiccional.

También deberán ser tenidas en cuenta las garantías para lograr el cumpli-miento del acuerdo cuando este ha sido alcanzado. En la actualidad es necesa-rio que se utilicen instrumentos tecnológicos para ellos como los certificados digitales. Al igual que acontece con el procedimiento de mediación electrónica, en estos casos la firma digital brinda un plus de seguridad a este tipo de do-cumentos, al dotarlos de las características de autenticidad, integridad y no repudio.57

5. Conclusiones

El uso de la inteligencia artificial en la solución alternativa de controversias es todavía un tema de debate, los constantes cambios que sufre esta tecno-logía inciden directamente en la eficacia de cualquier procedimiento. Lo que

57 Luz Clara, B. B., “La mediación en entornos…, p.354.





379

conlleva a ser necesario una revisión de su aplicación para mantener los nive-les de seguridad jurídica necesarios para garantizar los derechos de las partes implicadas. Tomando este punto de partida y el análisis realizado podemos arribar a algunas conclusiones:

Con excepción de las particularidades del medio en que se realiza, la me-diación electrónica no se diferencia de la mediación que tiene lugar en contex-tos presenciales. La tecnología no solo le impregna velocidad al mecanismo de solución de controversias, sino también posibilita un mayor acceso siempre y cuando las partes cuenten con las capacidades tecnológicas y de conocimiento necesarias para ello. No siempre rapidez significa mayor eficacia.

El sistema de inteligencia artificial puede ser utilizado sustituyendo a la figura del mediador o como un auxiliar de éste. En el primer supuesto por las limitaciones de la tecnología nos encontramos en un procedimiento que tiene mayores similitudes con la negociación asistida que con la mediación. Asi-mismo, su uso solo será posible en casos simples y comunes en los que existen datos previos. Aún no encontramos las condiciones necesarias para hablar de una total sustitución de la figura del mediador en el procedimiento sin que ello signifique la pérdida de las características de este procedimiento.

No obstante, lo anterior es imposible desconocer la importancia que los sistemas de IA pueden adquirir en la resolución de controversias, facilitando la obtención de acuerdos para resolver los conflictos desde los propios intereses de las partes y la búsqueda de intereses comunes.

Cualquier uso que se realice de esta tecnología en la solución alternativa de controversias debe partir de una delimitación de responsabilidad de los di-versos actores o sujetos que participan en el procedimiento, incluyendo dentro de estos a los propios diseñadores del sistema quienes deben garantizar que las partes conozcan y tengan acceso a él de forma transparente, respetando en todo momento la privacidad, seguridad y confidencialidad de las personas que lo utilizan, ya sea en condición de partes o como mediadores.

Referencias bibliográficas

Ales, Javier, La inteligencia artificial versus mediación, Blog de debate y participación sobre mediación como técnica de resolución de conflictos, martes, 20 de marzo de 2018, [Consultada el 19 de noviembre de 2019], Disponible en http://javiera-lessioli.blogspot.com/2018/03/la-inteligencia-artificial-versus.html

Amérigo, José, “Estamos lejos de que la inteligencia artificial pueda reem-plazar al mediador”, 4 de diciembre de 2017, [Consultada el 9 de enero de 2020], Disponible en: https://www.observatoriorh.com/





380

rr-ll/jose-amerigo-estamos-lejos-la-inteligencia-artificial-pueda-reempla-zar-al-mediador.htmll

Bueno de Mata, Federico, “Mediación electrónica e inteligencia artificial”, Actualidad civil, Nº 1, 2015, Editorial Wolters Kluwer.

Bujosa Vadell, Lorenzo y Palomo Vélez, Diego, “Mediación electrónica: Perspectiva eu-ropea”, Revista Ius et Praxis, Año 23, Nº 2, 2017.

Cellan-Jones, Rory, “The robot lawyers are here - and they’re winning”, BBC, 1 de noviembre de 2017, [Consultada el 5 de enero de 2020], Disponible en: https://www.bbc.com/news/technology-41829534

Comisión Europea, Grupo de expertos de alto nivel sobre inteligencia artificial, Direc-trices éticas sobre una IA confiable, Bruselas: 2019·[Consultada 19 de diciembre de 2019], Disponible en: ec.europa.eu › dae › document

Flores, Jessica, “Inteligencia artificial, ¿útil en una mediación?”, Diario de Mediación, [Consultada 19 de diciembre de 2019], Disponible en: https://www.diariodeme-diacion.es/inteligencia-artificial-util-en-una-mediacon/

Franco Conforti, Oscar Daniel, “Mediación electrónica (e-mediación)”, Diario La Ley, 15 de abril de 2015.

Franco Conforti, Oscar Daniel, “Mediación on-line: de dónde venimos, dónde estamos y a dónde vamos”, InDret. Revista para el análisis del Derecho, No. 4, 2015.

García del Poyo, Rafael, “La mediación electrónica”, Revista Jurídica de Castilla y León, No. 29, 2013.

Guardiola Salmerón, Miriam, El proceso de mediación electrónica, 3 de marzo de 2016, [Consultada el 5 de enero de 2020], Disponible en: https://www.amediar.info/proceso-mediacion-electronica/

Hyde John, Mediator claims online dispute first to be settled by algorithm, 25 February 2019, [Consultada 10 de diciembre de 2019], Disponible en: https://www.law-gazette.co.uk/news/mediator-claims-online-dispute-first-to-be-settled-by-al-gorithm-/5069393.article

Harbeyps, Se resuelve un caso de mediación usando inteligencia artificial por prime-ra vez, 29 de marzo de 2019, [Consultada 10 de diciembre de 2019], Disponi-ble en: https://metodosderesoluciondeconflictos.wordpress.com/2019/03/29/se-resuelve-un-caso-de-mediacion-usando-inteligencia-artificial-por-prime-ra-vez/

Hilborne, Nick, Robot mediator settles first ever court case, 19 de febrero de 2019, [Consultada 10 de diciembre de 2019], Disponible en: https://www.legalfutures.co.uk/latest-news/robot-mediator-settles-first-ever-court-case

Liangyu, “Beijing Internet court launches AI judge”, Xinhua, 27 de junio de 2019, [Con-sultada 27 de diciembre de 2019], Disponible en: http://www.xinhuanet.com/english/2019-06/27/c_138178826.htm

López de Mántaras, Ramón, “El futuro de la IA: hacia inteligencias arti-ficiales realmente inteligentes”, ¿Hacia una nueva Ilustración? Una década trascendente, Madrid, BBVA, 2018 [Consultada el 5 de





381

enero de 2020], Disponible en:https://www.bbvaopenmind.com/articulos/el-futuro-de-la-ia-hacia-inteligencias-artificiales-realmente-inteligentes/

Luz Clara, Bibiana Beatriz, “La mediación en entornos electrónicos”, Ius Revista del Instituto de Ciencias Jurídicas de Puebla, Vol. 12, No. 41. enero - junio de 2018.

Magro Servet, Vicente, “La aplicación de la inteligencia artificial en la Administración de Justicia”, Diario La Ley, No. 9268, de 27 de septiembre 2018, Editorial Wol-ters Kluwer.

Martínez Bahena, Goretty Carolina, “La Inteligencia artificial y su aplicación al campo del Derecho”, Alegatos, No. 82, México septiembre/diciembre de 2012.

Niiler, Eric, “Can AI Be a Fair Judge in Court? Estonia Thinks So”, 23 de marzo de 2019, [Consultada 19 de enero de 2020], Disponible en: https://www.wired.com/story/can-ai-be-fair-judge-court-estonia-thinks-so/

Sáez de Heredia, Ramón Alzate, “Mediación en línea”, Revista de Mediación, Año 1, No. 1, marzo 2008, p. 10.

Simonite, Tom, “Algorithms Should’ve Made Courts More Fair. What Went Wrong?”, 9 de mayo de 2019, [Consultada el 5 de enero de 2020], [Disponible en: https://www.wired.com/story/algorithms-shouldve-made-courts-more-fair-what-went-wrong/].

Talavera Hernández, José Antonio, “La figura del Mediador en la Mediación online”, Revista Aranzadi de derecho y nuevas tecnologías, Nº. 38, 2015, pp. 203-230

Trescak, Tomas; Sierra, Carles; Simoff, Simeon y Lopez de Mantaras, Ramon, “Dispute Resolution Using Argumentation-Based Mediation”, CEUR Workshop Procee-dings, 2014, [Consultada el 9 de enero de 2020], Disponible en: https://www.iiia.csic.es/sites/default/files/5315.pdf

Vázquez, Andrés, Mediación e Inteligencia Artificial, 4 de mayo de 2013. 4th May 2013 [Consultada el 9 de enero de 2020], Disponible en: http://alenmediagroup.blogspot.com/2013/05/mediacion-e-inteligencia-artificial.html

Desarrollan un nuevo sistema online para la mediación jurídica, [Consultada el 9 de enero de 2020], Disponible en: http://portal.uc3m.es/portal/page/portal/actualidad_cientifica/noticias/semadisc

“El object. El camino hacia la Inteligencia Artificial, empieza por comprender que suce-de” [Consultada el 5 de enero de 2020], Disponible en: https://www.sinaptica-ia.es/introduccionIAalObject

“AyudA A lA resolución de conflictos mediAnte un sistemA de mediAción AutomAtizAdA bAsAdo en inteligenciA ArtificiAl”, cuyo investigAdor principAl es el doctor rAmon lópez de mán-tArAs. cfr. [consultAdA el 5 de enero de 2020], disponible en:

https://www.iiiA.csic.es/projects/AyudA-lA-resoluci%c3%b3n-de-conflictos-mediAn-te-un-sistemA-de-mediAci%c3%b3n-AutomAtizAdA-bAsAdo-en

Resolución del Parlamento Europeo, con recomendaciones destinadas a la Comisión sobre normas de Derecho civil sobre robótica (2015/2103(INL)), Estrasburgo: de 16 de febrero de 2017. [Consultada 19 de diciembre de 2019], Disponible en: http://www.europarl.europa.eu/doceo/document/TA-8-2017-0051_ES.pdf





382

Ley 5/2012, de 6 de julio, de mediación en asuntos civiles y mercantiles, Boletín Oficial del Estado, No. 162: 7 de julio de 2012.

Reglamento (UE) No 524/2013 del Parlamento Europeo y del Consejo de 21 de mayo de 2013 sobre resolución de litigios en línea en materia de consumo y por el que se modifica el Reglamento (CE) no 2006/2004 y la Directiva 2009/22/CE, Diario Oficial de la Unión Europea L 165/1: 18 de junio de 2013.

Real Decreto 980/2013, de 13 de diciembre, por el que se desarrollan determinados aspectos de la Ley 5/2012, de 6 de julio, de mediación en asuntos civiles y mer-cantiles, Boletín Oficial del Estado, No. 310: 27 de diciembre de 2013.




Retos para la regulación jurídica de la Inteligencia ...

Documents

Transcript of Retos para la regulación jurídica de la Inteligencia ...