D. Ricard Martínez.
Profesor Permanente Laboral Departamento de Derecho Constitucional, Ciencia Política y de la Administración. Universitat de València.
Entrevista realizada por José Mª Camarero (Periodista económico) en el marco del Proyecto de ADICAE: “Los consumidores ante los nuevos avances tecnológicos y legislativos en el E-commerce”
¿De qué debemos fiarnos, y de qué no, cuando nos enfrentamos a una aplicación de IA?
Cuando nos enfrentamos a una aplicación de inteligencia artificial, curiosamente debemos fiarnos y debemos desconfiar exactamente de las mismas cosas de las que deberíamos confiar y así respecto de cualquier entorno digital tradicional. Es decir, supuestamente deberíamos entender que si una aplicación de inteligencia artificial ha sido desarrollada de acuerdo con buenas prácticas más allá del Reglamento de Inteligencia Artificial, es decir, que si hay una metodología de análisis de riesgos en su desarrollo; si se han preocupado de balancear adecuadamente la carga de datos; si han realizado pruebas suficientes y confiables; si antes de cualquier riesgo asociado a ámbitos como por ejemplo el sesgo y parcial o desde algún punto de vista, a veces también, y también la explicabilidad…. Pues deberíamos fiarnos de la aplicación de inteligencia artificial. Sin embargo, de lo que no deberíamos fiarnos y hemos tenido experiencias antes en el mundo de Internet, es de la proliferación de herramientas de inteligencia artificial que se ponen a disposición de cualesquiera usuarios en entornos, por decirlo así, no controlados, con intención de gamificación y cuyo objetivo es obtener cuantos más datos, mejor. Y estas inteligencias artificiales se abren a los usuarios precisamente para incentivar los procesos de aprendizaje. Y debo señalar que muchas de ellas son muy claras y explican, dentro de sus condiciones legales exactamente que estás usando y para qué. Por tanto, atención, porque lo primero que debemos verificar es cuáles son las condiciones y garantías que nos ofrece el proveedor de esa herramienta. No vaya a ser que nos llevemos una sorpresa.
¿Es correcta la regulación actual sobre la inteligencia artificial tras la nueva ley de Inteligencia Artificial europea? ¿Se ha quedado corta o se ha ido lejos?
En principio debe entenderse que la legislación sobre inteligencia artificial de la Unión Europea tiene el foco puesto en dos grandes elementos. El primero tiene que ver con la garantía de la dignidad humana la garantía de los derechos fundamentales y la prevención de riesgos sistémicos para la democracia. Es decir, el legislador de la Unión Europea recuerda asuntos como Cambridge Analytica donde se manipularon elecciones.
Pero también podría haber aprendido, porque después han sucedido cosas como las que hemos visto de niños que manipulan, inteligencia artificial para fabricar películas porno con las caras de sus amiguitas, lo cual es muy grave. Por tanto, lo que la Unión Europea entiende es que estas herramientas pueden ser potencialmente lesivas afectando a la dignidad humana, a la libre autodeterminación individual e incluso al propio sistema democrático, a nuestro sistema de libertades. Y tratan de prevenir ese riesgo. Por otra parte, la Ley de Inteligencia Artificial lo que hace es considerar algo que es obvio. La inteligencia artificial, en tanto que herramientas un producto y los productos se desarrollan conforme a unas pautas preestablecidas.
Esto ocurre con los medicamentos. Esto ocurre con los motores de un coche. Esto ocurre con prácticamente cualquier ámbito de producción industrial o tecnológica que pueda generar un riesgo para las personas. Por tanto, la segunda gran capa de la legislación es el desarrollo de estrategias de diseño responsable que es validado por organismos notificados. Desde este punto de vista, la aproximación es correcta y podría decirse que el no ha ido tan lejos como se suele decir. Porque, por ejemplo, las obligaciones de verificación por un organismo notificado sólo se aplican a las herramientas de inteligencia artificial de alto riesgo, mientras que para las de bajo riesgo o medio se establecen obligaciones de diseño y principios de transparencia. Y también se trata de acotar los grandes modelos basados en grandes volúmenes de datos, lo cual es lógico cuando hablamos de IA generativa en aspectos como el lenguaje, el texto, la voz o la imagen.
Por tanto, a mi juicio, se ha quedado en un término medio, en la medida en que ha sido una norma transaccional en la que el nivel de límites que quería imponer el Parlamento no ha prosperado al final y se ha tratado de generar un ecosistema viable para la industria europea. Ahora, ¿cuál es el problema? El problema es que el ecosistema europeo es el único en este plano. Es decir, que Estados Unidos sigue queriendo correr los mismos riesgos que ya sufrió con la legislación no aplicable a las redes sociale y que ha acabado con más de 50 estados o 50 estados, presentando una demanda colectiva contra compañías como Meta o TikTok por vulnerar gravemente los derechos de los menores y causar graves daños mentales.
Así que la cuestión es. Estados Unidos sigue con su modelo innovador desregulado, pero los hechos no le dan la razón. Los hechos demuestran que cuando el desarrollo tecnológico desregulado es capaz de generar grandes empresas muy intensivas en resultados pero que no respetan las reglas, enteras generaciones de personas padecen en sus carnes graves vulneraciones de derechos fundamentales que en este caso pueden suponer graves adicciones y alteraciones del equilibrio mental. Así que, a mi juicio, Europa se sitúa en un punto intermedio, en principio razonable.
En muchos debates la IA se expone como un riesgo brutal para la sociedad. En otros sólo se le habla de las bondades. ¿Cuál es el punto óptimo de estas dos visiones?
Creo, y esto lo he mantenido en público en múltiples artículos, que debemos entender que una sociedad tecnológicamente avanzada es una sociedad que genera riesgos y que el punto óptimo reside en ser capaces de gobernar el riesgo. Creo que para esta aproximación, y le voy a contar como suelo trabajar en el desarrollo de proyectos de investigación, hay, por decirlo así, una serie de hitos que son fundamentales y que nos defenderían ese punto medio de equilibrio que es razonable. La primera fase es la fase de creación, de investigación, de innovación. No estamos hablando de nada que vaya a ir al mercado, estamos hablando de la creatividad del ser humano, generando nuevos conceptos.
En ese territorio debemos dejar correr a la imaginación y para eso el Reglamento de Inteligencia Artificial establece que hay que respetar los principios de la ética de la investigación e incluso proponer los sandboxes regulatorios. Evidentemente, en el paso intermedio entre la concepción de la idea y la fase de desarrollo, lo primero que nos preguntamos es si esa tecnología va a vulnerar no solo los derechos fundamentales, sino cualquier regla que se encuentra en nuestro ordenamiento jurídico. Si la respuesta es afirmativa, no debemos seguir. Si la respuesta, en cambio, es negativa, es decir, la finalidad es legítima, es lícita y supuestamente no vamos a generar ningún tipo de riesgo para los derechos de las personas, el punto óptimo se sitúa en cómo ser capaces de producir un producto seguro y respetuoso con los derechos fundamentales. Por tanto, el foco no tiene que ser resultadista. Sino procedimental. En términos de gestionar el riesgo. ¿Por qué? Porque si tú gestionas el riesgo desde el diseño, desde el cumplimiento normativo, supuestamente deberías prever los potenciales daños y deberías tener planes de contingencia para controlar a la tecnología cuando esta genera riesgos que no son soportables o, digámoslo así, funcionan mal.
Precisamente por esto, la idea de Human Centric Approach como supervisión humana durante el proceso de diseño, pero también como metodología en términos de contingencia, pasando de un esquema basado en analítica de datos a un esquema en reglas o directamente al control humano, se erigen en modulaciones imprescindibles para controlar la tecnología y no ser controlados por ella, en el sentido de no poder hacer frente a riesgos sistémicos que pueda generar. La respuesta a cómo podemos decir, por decirlo así, clasificar los riesgos para el consumidor, entendiendo que el consumidor se halla más desprotegido, se encuentra el Reglamento de Inteligencia Artificial. La inteligencia artificial es la que nos dice que tenemos que establecer a partir de una serie de parámetros preestablecidos bajo qué condiciones una tecnología es de riesgo alto. Esto se basa bien en una categoría de desarrollos tecnológicos que están sujetos a regulación especial y que figuran en el Anexo 1, ya sea por su, por su carácter estratégico delicado o ya por su relación directa con intereses prevalentes como pueden ser la seguridad pública o los intereses nacionales, ya sea por su contenido.
Y entonces hay que ir al Anexo 3, donde tenemos una lista bastante interesante que nos indica bajo qué condiciones podemos calificar el riesgo de una tecnología. A partir de aquí, tampoco hay que despreciar algo que la norma ha calificado como formación en IA, en el artículo cuatro, o como algo que se ha regulado como transparencia. Es decir, este tipo de tecnologías, al igual que ocurriera antes con los entornos digitales, requiere la existencia de un consumidor consciente e informado. Este es nuestro gran fracaso en el contexto actual de evolución de la sociedad de la información. Basta ver con qué red social para ver la cantidad de energúmenos que ejercen su libertad de expresión, vulnerando derechos fundamentales, muchos de los cuales ni siquiera son conscientes de estar haciendo algo malo. Es decir, la cultura tecnológica, la adaptación del consumidor a los hábitos y requisitos que impone una sociedad tecnológicamente avanzada todavía no se ha producido.
Por tanto, la inversión en educación, la conciencia del consumidor y las estrategias orientadas a la culturización, a la alfabetización digital son aquí vitales, porque si no, el mayor riesgo para el consumidor de la IA no reside en la IA en sí misma, sino en su desconocimiento.
¿Los ciudadanos se encuentran ahora más desprotegidas ante ante lo que la IA supone e debe ser,
debe ser respuesta o debe ser respondida en sentido negativo?
Depende de qué ciudadanos ciudadanos hablemos y también de ante qué retos debamos responder. Y me explicaré. Si hablamos de la IA que se comercialice en la Unión Europea bajo el Reglamento General de Protección de Datos y bajo el Reglamento de Inteligencia Artificial, el ciudadano debería encontrarse muy protegido. Es decir, el ciudadano debería encontrarse muy protegido porque el factor de disuasión que tiene en la regulación de protección de datos multas desde el 4% de los ingresos anuales brutos de una compañía, cantidad que se extiende al 6% en el caso de la inteligencia artificial, junto con el conjunto de requisitos para el desarrollo de los tratamientos de datos o el desarrollo de una IA que establecen conjuntamente ambas normas, debería hacernos pensar que existen tanto modelos de desarrollo como modelos de verificación y control que van a proteger al ciudadano ante la IA.
Otra cosa es el hecho de que en un mundo global donde las compañías están ofreciendo en abierto herramientas de inteligencia artificial sin ningún tipo de supervisión y control y en el que los hechos demuestran que nuestras autoridades particularmente, y lo digo con respeto, judiciales, son incapaces de reaccionar y de acotar adecuadamente una tecnología. Y de hecho, los tiempos de respuesta se ralentizan ante una falta de cultura en relación con lo que esa tecnología supone y ante una incapacidad a lo largo de los años de aplicar las categorías tradicionales del derecho a fenómenos nuevos, nos abocan a un cierto grado de desprotección. Por eso, creo que sería conveniente verificar qué ha ocurrido en cuanto a la actuación del Ministerio Fiscal y de los jueces en relación con el caso que conocimos hace unos meses en el que unos niños pudieran utilizar libremente una tecnología de inteligencia artificial diseñada a generar películas fake con pornografía. Porque sí que es cierto que la Ley de Inteligencia Artificial se aplicó, entró en vigor después.
Pero no es menos cierto que la conducta era una conducta que generaba daños. No es menos cierto que la compañía permitía un tratamiento orientado a la Unión Europea. No es menos cierto que la generación incluso de pornografía infantil es un delito. Y no es menos cierto que tal vez las autoridades deberían haber buscado como por tierra, mar y aire se podía atacar a esa tecnología, no solo a sus usuarios y plantearse si existía alguna estrategia de acuerdo con la legislación vigente, en virtud de la cual, por ejemplo, se pudiera bloquear el acceso a la Unión Europea de ese servicio. Yo no es que tenga la respuesta. Tengo las preguntas. Pero mis preguntas a lo que conducen es a pensar de nuevo. ¿Y cuáles han sido las estrategias de formación de los operadores jurídicos para permitirles tener capacidad de respuesta rápida ante fenómenos emergentes? Porque en la mayor parte de los casos y en el futuro no podemos esperar tres o cuatro años a que el legislador de la Unión Europea dicte un reglamento y tenemos que jugar con las armas que nos ofrece el derecho a día de hoy.
¿Cómo se establece y hasta dónde llega la ética de la inteligencia artificial?
Digamos que la ha ofrecido el propio Reglamento General de Inteligencia Artificial. En principio mi primera aproximación a esta materia es que la llamada ética de la IA, del mismo modo que operó en su día la ética de la protección de datos, los llamados fair principals, como estrategia de aproximación por parte de una compañía al desarrollo de una tecnología, desde luego, es materialmente valiosa, pero jurídicamente insuficiente. Es decir, la ética de la IA está muy bien cuando se aplica en entornos de laboratorio al desarrollo de productos que en principio y en esa fase no va a alcanzar el mercado. Sin embargo, la ética de la IA, de la mano del Reglamento de Inteligencia Artificial en muchos de sus aspectos, se ha convertido en normativa de la IA. Es decir, la ética como conjunto de valores, principios y directrices que una entidad puede aplicarse o puede obligarse a aplicar, no deja de ser un marco de referencia que no es normativo y que, por tanto, es disponible. O lo hago o no lo hago. La normatividad es la única que, dado el carácter imperativo y habida cuenta del nivel de las multas coactivo de la normativa, obliga a los sujetos a cumplir.
Por tanto, lo que se produce tras el Reglamento General de Inteligencia Artificial es un ecosistema donde gran parte de los principios éticos que desplegó el grupo de expertos de alto nivel en materia de inteligencia artificial de la Unión Europea se ha incorporado a los procesos de diseño a las metodologías de análisis de riesgos. Aspectos como la explicabilidad, como la exclusión del sesgo como la diversidad o la variedad, como la equidad, como los mecanismos de control humano o como la responsabilidad ante los daños causados, ya no son principios éticos, sino que son principios jurídicos vinculantes para quienes desarrollan la normativa. Ahora el papel que le queda a la ética es doble debe inspirar los procesos de diseño y debería ser un plus. Es decir, ahora con una norma aplicable, lo que deberían hacer las empresas y los investigadores es incorporar valores éticos adicionales que ofrezcan un plus respecto del mínimo común denominador que establece el derecho.
¿Nos podemos fiar de chat GPT?
La respuesta corta es no. La respuesta larga es tal vez si hemos visto la integración de CoPilot con el navegador Edge, establece niveles de precisión. Por otra parte, si busca otras herramientas que no sean chat GPT, aunque pueden estar construidas sobre este tipo de herramientas o sobre el propio GPT, como por ejemplo la base de la IA llamada consensus, vereemos que consciente y voluntariamente lo que hacen es acotar el espacio de búsqueda para ser más autoritativo. Es decir, si usted pregunta sobre una cuestión controvertida o complicada desde el punto de vista jurídico y utiliza el chat GPT, puede encontrarse con que la fuente de chat GPT sea un blog de un despacho de abogados, sencillamente porque fueron muy hábiles a la hora de conseguir una adecuada indexación.
Pero esto no significa que el chat GPT le estará dando a usted una respuesta de calidad. Ahora, si esa misma herramienta se integra dentro de un ecosistema que solo incluya fuentes autoritativas, como jurisprudencia, legislación y doctrina publicada en revistas confiables, el resultado de dicha GPT mejorará significativamente, que es, por ejemplo, lo que hace Consensus, donde hace sus búsquedas en publicaciones científicas debidamente referenciadas. Ahora bien, aun así existe un margen de error y por tanto no debemos fiarnos completamente aquello que nos diga no ya GPT, sino cualquier herramienta de inteligencia artificial. Teniendo en cuenta además que algunas de ellas las estamos utilizando para búsquedas como si fueran un buscador, aunque no lo son, o para, por ejemplo, la generación o el desarrollo generativo de programación informática.
Claro, en esto en la programación informática digamos que podemos haber pasado de la programación a la antigua artesana, a la utilización de compiladores y ahora vamos a la programación casi automatizada a partir de prompts que se plantean a una herramienta de inteligencia artificial. Sin embargo, hemos olvidado la importancia que tiene el experto de calidad en la depuración del código. De hecho, puede que sean más funcionales estas herramientas para depurar código que para producirlo, pero eso es la inversión de un jurista y debemos entender hasta qué punto, por decirlo así, son tecnologías que todavía deben crecer para hacernos evolucionar. O para mejorar.
¿Cómo se debe desarrollar una IA para que no caiga en un pozo repleto de mentiras y muera de éxito?
Por una parte, el universo de datos debe caracterizarse por su confiabilidad, por su diversidad, por su variabilidad y por su adecuación al fin que se persigue. Si no se hace así, es imposible. En segundo lugar, tenemos que jugar con que todo el proceso de diseño es un proceso que garantiza la confiabilidad de la aplicación, la reproducibilidad de sus resultados y la fiscalización de los mismos.
¿Qué acciones debe realizar la administración española en todo lo relativo a regular la IA?
Me atrevo a señalarle una muy básica que ni siquiera se ha cumplido con el Reglamento General de Protección de Datos: Formar a todas sus plantillas. Si usted indaga, descubrirá que la mayor parte de plantillas de las administraciones públicas españolas no han recibido un curso básico de protección de datos, mucho menos un curso autoritativo y capacitado en materia de inteligencia artificial. Así que la primera tarea que debe citar la Administración es garantizar la formación del personal. Pocas iniciativas legislativas para adaptarlo a la realidad del país, es un reglamento de la Unión Europea. Por tanto, el margen de apreciación es muy limitado y las capacidades de la Administración para interaccionar con esta materia son muy bajas. Donde sí tiene la Administración un enorme potencial es en la fijación de las condiciones que va a imponer a los proveedores y las condiciones en las que va a licitar, ya sea la adjudicación de un servicio, ya sea el desarrollo de una solución propia. Creo que ahí es donde más poder tiene la Administración para operar como tractor, garantizando un desarrollo adecuado del reglamento de Inteligencia Artificial y una confiabilidad en las aplicaciones que se contraten.
Debemos entender que la protección de los consumidores. Me refiero a la actuación de los poderes públicos. Primero, puede ser gestionada desde la educación. Pero por otra parte, no debemos olvidar que los productos de inteligencia artificial van a entrar en un contexto de presencia de poli- reguladores de múltiples reguladores. Por un lado, vamos a tener a la Comisión Nacional de los Mercados y de la Competencia. Por otro lado, vamos a ordenar las competencias de los ministerios en materia de consumo de los sistemas de mediación de los consumidores cuando se les produce un daño. Y adicionalmente vamos a tener al regulador especializado en inteligencia artificial y al regulador especializado en protección de datos. Por lo tanto, la batería de armas de las que van a disponer los consumidores y la cantidad de entidades que además pueden actuar de oficio cuando constaten un problema en orden a proteger a esos consumidores es particularmente amplia.
¿La regulación de la IA va por detrás de la realidad de lo que eran los ciudadanos en su día a día?
Lo cierto es que toda regulación, por su propia naturaleza, va por detrás de la realidad. En muchas ocasiones, porque si surge con el motivo de disciplinar una realidad que es nueva. Aquí la cuestión que se debe afirmar es que la regulación de la IA se ha adaptado o ha pretendido acotar la realidad en su dimensión actual y que las lecciones aprendidas nos obligan a considerar que el sistema jurídico, el ordenamiento jurídico desde la perspectiva de su completud y desde la perspectiva de ofrecer criterios multidisciplinares en las distintas áreas del Derecho para acotar la realidad y los problemas que surgen, debe entenderse y debe aplicarse como un todo. Y sobre todo debemos capacitar a los operadores jurídicos. Por muy interesante que sean las condiciones de desarrollo de una inteligencia artificial. Y por mucho que veamos que es necesario adaptar mediante una directiva europea las condiciones para la exigencia de responsabilidad extracontractual, la responsabilidad contractual y extracontractual de nuestro Código Civil siguen vigentes y deben ser aplicadas hasta nueva orden a la inteligencia Artificial. Esa es la cuestión a plantearse respecto de la regulación.
¿Cómo se debe desarrollar la IA para que no caiga en un pozo repleto de mentiras y muera de éxito?
Ese precisamente el objetivo del Reglamento General de Inteligencia Artificial asegurarse de que los ciudadanos socialmente más vulnerados más vulnerables no se vean perjudicados y expuestos a los peligros de la IA. De ahí que sea aconsejable mirar las prohibiciones del artículo 5, donde precisamente la protección de las personas vulnerables frente a cualquier tipo de manipulación de su conducta o decisión, o mediante la generación de cualquier impacto negativo, basado precisamente en esta vulnerabilidad, se encuentra radicalmente prohibida. Del mismo modo, la protección de los ciudadanos socialmente más vulnerables aparece expresamente regulada en el Anexo 3. Cuando determinados sistemas de inteligencia artificial que pueden utilizarse en ámbitos muy sensibles como la justicia, la inmigración o la selección o la selección de personal, o la definición de políticas públicas particularmente relevantes, obliga a tener en cuenta estas situaciones de vulnerabilidad y a garantizar que no se les causa ningún daño o perjuicio. Por tanto, debemos entender que el Reglamento de Inteligencia Artificial ha tratado de cubrir este espacio.
