D. Ricard Martínez.

Profesor Permanente Laboral Departamento de Derecho Constitucional, Ciencia Política y de la Administración. Universitat de València.

Entrevista realizada por José Mª Camarero (Periodista económico) en el marco del Proyecto de ADICAE: “Los consumidores ante los nuevos avances tecnológicos y legislativos en el E-commerce”

¿De qué debemos fiarnos, y de qué no, cuando nos enfrentamos a una aplicación de IA?

Cuando nos enfrentamos a una aplicación de inteligencia artificial, curiosamente debemos fiarnos y debemos desconfiar exactamente de las mismas cosas de las que deberíamos confiar y así respecto de cualquier entorno digital tradicional. Es decir, supuestamente deberíamos entender que si una aplicación de inteligencia artificial ha sido desarrollada de acuerdo con buenas prácticas más allá del Reglamento de Inteligencia Artificial, es decir, que si hay una metodología de análisis de riesgos en su desarrollo; si se han preocupado de balancear adecuadamente la carga de datos; si han realizado pruebas suficientes y confiables; si antes de cualquier riesgo asociado a ámbitos como por ejemplo el sesgo y parcial o desde algún punto de vista, a veces también, y también la explicabilidad…. Pues deberíamos fiarnos de la aplicación de inteligencia artificial. Sin embargo, de lo que no deberíamos fiarnos y hemos tenido experiencias antes en el mundo de Internet, es de la proliferación de herramientas de inteligencia artificial que se ponen a disposición de cualesquiera usuarios en entornos, por decirlo así, no controlados, con intención de gamificación y cuyo objetivo es obtener cuantos más datos, mejor. Y estas inteligencias artificiales se abren a los usuarios precisamente para incentivar los procesos de aprendizaje. Y debo señalar que muchas de ellas son muy claras y explican, dentro de sus condiciones legales exactamente que estás usando y para qué. Por tanto, atención, porque lo primero que debemos verificar es cuáles son las condiciones y garantías que nos ofrece el proveedor de esa herramienta. No vaya a ser que nos llevemos una sorpresa.

¿Es correcta la regulación actual sobre la inteligencia artificial tras la nueva ley de Inteligencia Artificial europea? ¿Se ha quedado corta o se ha ido lejos?

En principio debe entenderse que la legislación sobre inteligencia artificial de la Unión Europea tiene el foco puesto en dos grandes elementos. El primero tiene que ver con la garantía de la dignidad humana la garantía de los derechos fundamentales y la prevención de riesgos sistémicos para la democracia. Es decir, el legislador de la Unión Europea recuerda asuntos como Cambridge Analytica donde se manipularon elecciones.

Pero también podría haber aprendido, porque después han sucedido cosas como las que hemos visto de niños que manipulan, inteligencia artificial para fabricar películas porno con las caras de sus amiguitas, lo cual es muy grave. Por tanto, lo que la Unión Europea entiende es que estas herramientas pueden ser potencialmente lesivas afectando a la dignidad humana, a la libre autodeterminación individual e incluso al propio sistema democrático, a nuestro sistema de libertades. Y tratan de prevenir ese riesgo. Por otra parte, la Ley de Inteligencia Artificial lo que hace es considerar algo que es obvio. La inteligencia artificial, en tanto que herramientas un producto y los productos se desarrollan conforme a unas pautas preestablecidas.

Esto ocurre con los medicamentos. Esto ocurre con los motores de un coche. Esto ocurre con prácticamente cualquier ámbito de producción industrial o tecnológica que pueda generar un riesgo para las personas. Por tanto, la segunda gran capa de la legislación es el desarrollo de estrategias de diseño responsable que es validado por organismos notificados. Desde este punto de vista, la aproximación es correcta y podría decirse que el no ha ido tan lejos como se suele decir. Porque, por ejemplo, las obligaciones de verificación por un organismo notificado sólo se aplican a las herramientas de inteligencia artificial de alto riesgo, mientras que para las de bajo riesgo o medio se establecen obligaciones de diseño y principios de transparencia. Y también se trata de acotar los grandes modelos basados en grandes volúmenes de datos, lo cual es lógico cuando hablamos de IA generativa en aspectos como el lenguaje, el texto, la voz o la imagen.

Por tanto, a mi juicio, se ha quedado en un término medio, en la medida en que ha sido una norma transaccional en la que el nivel de límites que quería imponer el Parlamento no ha prosperado al final y se ha tratado de generar un ecosistema viable para la industria europea. Ahora, ¿cuál es el problema? El problema es que el ecosistema europeo es el único en este plano. Es decir, que Estados Unidos sigue queriendo correr los mismos riesgos que ya sufrió con la legislación no aplicable a las redes sociale y que ha acabado con más de 50 estados o 50 estados, presentando una demanda colectiva contra compañías como Meta o TikTok por vulnerar gravemente los derechos de los menores y causar graves daños mentales.

Así que la cuestión es. Estados Unidos sigue con su modelo innovador desregulado, pero los hechos no le dan la razón. Los hechos demuestran que cuando el desarrollo tecnológico desregulado es capaz de generar grandes empresas muy intensivas en resultados pero que no respetan las reglas, enteras generaciones de personas padecen en sus carnes graves vulneraciones de derechos fundamentales que en este caso pueden suponer graves adicciones y alteraciones del equilibrio mental. Así que, a mi juicio, Europa se sitúa en un punto intermedio, en principio razonable.

En muchos debates la IA se expone como un riesgo brutal para la sociedad. En otros sólo se le habla de las bondades. ¿Cuál es el punto óptimo de estas dos visiones?

Creo, y esto lo he mantenido en público en múltiples artículos, que debemos entender que una sociedad tecnológicamente avanzada es una sociedad que genera riesgos y que el punto óptimo reside en ser capaces de gobernar el riesgo. Creo que para esta aproximación, y le voy a contar como suelo trabajar en el desarrollo de proyectos de investigación, hay, por decirlo así, una serie de hitos que son fundamentales y que nos defenderían ese punto medio de equilibrio que es razonable. La primera fase es la fase de creación, de investigación, de innovación. No estamos hablando de nada que vaya a ir al mercado, estamos hablando de la creatividad del ser humano, generando nuevos conceptos.

En ese territorio debemos dejar correr a la imaginación y para eso el Reglamento de Inteligencia Artificial establece que hay que respetar los principios de la ética de la investigación e incluso proponer los sandboxes regulatorios. Evidentemente, en el paso intermedio entre la concepción de la idea y la fase de desarrollo, lo primero que nos preguntamos es si esa tecnología va a vulnerar no solo los derechos fundamentales, sino cualquier regla que se encuentra en nuestro ordenamiento jurídico. Si la respuesta es afirmativa, no debemos seguir. Si la respuesta, en cambio, es negativa, es decir, la finalidad es legítima, es lícita y supuestamente no vamos a generar ningún tipo de riesgo para los derechos de las personas, el punto óptimo se sitúa en cómo ser capaces de producir un producto seguro y respetuoso con los derechos fundamentales. Por tanto, el foco no tiene que ser resultadista. Sino procedimental. En términos de gestionar el riesgo. ¿Por qué? Porque si tú gestionas el riesgo desde el diseño, desde el cumplimiento normativo, supuestamente deberías prever los potenciales daños y deberías tener planes de contingencia para controlar a la tecnología cuando esta genera riesgos que no son soportables o, digámoslo así, funcionan mal.

Precisamente por esto, la idea de Human Centric Approach como supervisión humana durante el proceso de diseño, pero también como metodología en términos de contingencia, pasando de un esquema basado en analítica de datos a un esquema en reglas o directamente al control humano, se erigen en modulaciones imprescindibles para controlar la tecnología y no ser controlados por ella, en el sentido de no poder hacer frente a riesgos sistémicos que pueda generar. La respuesta a cómo podemos decir, por decirlo así, clasificar los riesgos para el consumidor, entendiendo que el consumidor se halla más desprotegido, se encuentra el Reglamento de Inteligencia Artificial. La inteligencia artificial es la que nos dice que tenemos que establecer a partir de una serie de parámetros preestablecidos bajo qué condiciones una tecnología es de riesgo alto. Esto se basa bien en una categoría de desarrollos tecnológicos que están sujetos a regulación especial y que figuran en el Anexo 1, ya sea por su, por su carácter estratégico delicado o ya por su relación directa con intereses prevalentes como pueden ser la seguridad pública o los intereses nacionales, ya sea por su contenido.

Y entonces hay que ir al Anexo 3, donde tenemos una lista bastante interesante que nos indica bajo qué condiciones podemos calificar el riesgo de una tecnología. A partir de aquí, tampoco hay que despreciar algo que la norma ha calificado como formación en IA, en el artículo cuatro, o como algo que se ha regulado como transparencia. Es decir, este tipo de tecnologías, al igual que ocurriera antes con los entornos digitales, requiere la existencia de un consumidor consciente e informado. Este es nuestro gran fracaso en el contexto actual de evolución de la sociedad de la información. Basta ver con qué red social para ver la cantidad de energúmenos que ejercen su libertad de expresión, vulnerando derechos fundamentales, muchos de los cuales ni siquiera son conscientes de estar haciendo algo malo. Es decir, la cultura tecnológica, la adaptación del consumidor a los hábitos y requisitos que impone una sociedad tecnológicamente avanzada todavía no se ha producido.

Por tanto, la inversión en educación, la conciencia del consumidor y las estrategias orientadas a la culturización, a la alfabetización digital son aquí vitales, porque si no, el mayor riesgo para el consumidor de la IA no reside en la IA en sí misma, sino en su desconocimiento.

¿Los ciudadanos se encuentran ahora más desprotegidas ante ante lo que la IA supone e debe ser,

debe ser respuesta o debe ser respondida en sentido negativo?

Depende de qué ciudadanos ciudadanos hablemos y también de ante qué retos debamos responder. Y me explicaré. Si hablamos de la IA que se comercialice en la Unión Europea bajo el Reglamento General de Protección de Datos y bajo el Reglamento de Inteligencia Artificial, el ciudadano debería encontrarse muy protegido. Es decir, el ciudadano debería encontrarse muy protegido porque el factor de disuasión que tiene en la regulación de protección de datos multas desde el 4% de los ingresos anuales brutos de una compañía, cantidad que se extiende al 6% en el caso de la inteligencia artificial, junto con el conjunto de requisitos para el desarrollo de los tratamientos de datos o el desarrollo de una IA que establecen conjuntamente ambas normas, debería hacernos pensar que existen tanto modelos de desarrollo como modelos de verificación y control que van a proteger al ciudadano ante la IA.

Otra cosa es el hecho de que en un mundo global donde las compañías están ofreciendo en abierto herramientas de inteligencia artificial sin ningún tipo de supervisión y control y en el que los hechos demuestran que nuestras autoridades particularmente, y lo digo con respeto, judiciales, son incapaces de reaccionar y de acotar adecuadamente una tecnología. Y de hecho, los tiempos de respuesta se ralentizan ante una falta de cultura en relación con lo que esa tecnología supone y ante una incapacidad a lo largo de los años de aplicar las categorías tradicionales del derecho a fenómenos nuevos, nos abocan a un cierto grado de desprotección. Por eso, creo que sería conveniente verificar qué ha ocurrido en cuanto a la actuación del Ministerio Fiscal y de los jueces en relación con el caso que conocimos hace unos meses en el que unos niños pudieran utilizar libremente una tecnología de inteligencia artificial diseñada a generar películas fake con pornografía. Porque sí que es cierto que la Ley de Inteligencia Artificial se aplicó, entró en vigor después.

Pero no es menos cierto que la conducta era una conducta que generaba daños. No es menos cierto que la compañía permitía un tratamiento orientado a la Unión Europea. No es menos cierto que la generación incluso de pornografía infantil es un delito. Y no es menos cierto que tal vez las autoridades deberían haber buscado como por tierra, mar y aire se podía atacar a esa tecnología, no solo a sus usuarios y plantearse si existía alguna estrategia de acuerdo con la legislación vigente, en virtud de la cual, por ejemplo, se pudiera bloquear el acceso a la Unión Europea de ese servicio. Yo no es que tenga la respuesta. Tengo las preguntas. Pero mis preguntas a lo que conducen es a pensar de nuevo. ¿Y cuáles han sido las estrategias de formación de los operadores jurídicos para permitirles tener capacidad de respuesta rápida ante fenómenos emergentes? Porque en la mayor parte de los casos y en el futuro no podemos esperar tres o cuatro años a que el legislador de la Unión Europea dicte un reglamento y tenemos que jugar con las armas que nos ofrece el derecho a día de hoy.

¿Cómo se establece y hasta dónde llega la ética de la inteligencia artificial?

Digamos que la ha ofrecido el propio Reglamento General de Inteligencia Artificial. En principio mi primera aproximación a esta materia es que la llamada ética de la IA, del mismo modo que operó en su día la ética de la protección de datos, los llamados fair principals, como estrategia de aproximación por parte de una compañía al desarrollo de una tecnología, desde luego, es materialmente valiosa, pero jurídicamente insuficiente. Es decir, la ética de la IA está muy bien cuando se aplica en entornos de laboratorio al desarrollo de productos que en principio y en esa fase no va a alcanzar el mercado. Sin embargo, la ética de la IA, de la mano del Reglamento de Inteligencia Artificial en muchos de sus aspectos, se ha convertido en normativa de la IA. Es decir, la ética como conjunto de valores, principios y directrices que una entidad puede aplicarse o puede obligarse a aplicar, no deja de ser un marco de referencia que no es normativo y que, por tanto, es disponible. O lo hago o no lo hago. La normatividad es la única que, dado el carácter imperativo y habida cuenta del nivel de las multas coactivo de la normativa, obliga a los sujetos a cumplir.

Por tanto, lo que se produce tras el Reglamento General de Inteligencia Artificial es un ecosistema donde gran parte de los principios éticos que desplegó el grupo de expertos de alto nivel en materia de inteligencia artificial de la Unión Europea se ha incorporado a los procesos de diseño a las metodologías de análisis de riesgos. Aspectos como la explicabilidad, como la exclusión del sesgo como la diversidad o la variedad, como la equidad, como los mecanismos de control humano o como la responsabilidad ante los daños causados, ya no son principios éticos, sino que son principios jurídicos vinculantes para quienes desarrollan la normativa. Ahora el papel que le queda a la ética es doble debe inspirar los procesos de diseño y debería ser un plus. Es decir, ahora con una norma aplicable, lo que deberían hacer las empresas y los investigadores es incorporar valores éticos adicionales que ofrezcan un plus respecto del mínimo común denominador que establece el derecho.

¿Nos podemos fiar de chat GPT?

La respuesta corta es no. La respuesta larga es tal vez si hemos visto la integración de CoPilot con el navegador Edge, establece niveles de precisión. Por otra parte, si busca otras herramientas que no sean chat GPT, aunque pueden estar construidas sobre este tipo de herramientas o sobre el propio GPT, como por ejemplo la base de la IA llamada consensus, vereemos que consciente y voluntariamente lo que hacen es acotar el espacio de búsqueda para ser más autoritativo. Es decir, si usted pregunta sobre una cuestión controvertida o complicada desde el punto de vista jurídico y utiliza el chat GPT, puede encontrarse con que la fuente de chat GPT sea un blog de un despacho de abogados, sencillamente porque fueron muy hábiles a la hora de conseguir una adecuada indexación.

Pero esto no significa que el chat GPT le estará dando a usted una respuesta de calidad. Ahora, si esa misma herramienta se integra dentro de un ecosistema que solo incluya fuentes autoritativas, como jurisprudencia, legislación y doctrina publicada en revistas confiables, el resultado de dicha GPT mejorará significativamente, que es, por ejemplo, lo que hace Consensus, donde hace sus búsquedas en publicaciones científicas debidamente referenciadas. Ahora bien, aun así existe un margen de error y por tanto no debemos fiarnos completamente aquello que nos diga no ya GPT, sino cualquier herramienta de inteligencia artificial. Teniendo en cuenta además que algunas de ellas las estamos utilizando para búsquedas como si fueran un buscador, aunque no lo son, o para, por ejemplo, la generación o el desarrollo generativo de programación informática.

Claro, en esto en la programación informática digamos que podemos haber pasado de la programación a la antigua artesana, a la utilización de compiladores y ahora vamos a la programación casi automatizada a partir de prompts que se plantean a una herramienta de inteligencia artificial. Sin embargo, hemos olvidado la importancia que tiene el experto de calidad en la depuración del código. De hecho, puede que sean más funcionales estas herramientas para depurar código que para producirlo, pero eso es la inversión de un jurista y debemos entender hasta qué punto, por decirlo así, son tecnologías que todavía deben crecer para hacernos evolucionar. O para mejorar.

¿Cómo se debe desarrollar una IA para que no caiga en un pozo repleto de mentiras y muera de éxito?

Por una parte, el universo de datos debe caracterizarse por su confiabilidad, por su diversidad, por su variabilidad y por su adecuación al fin que se persigue. Si no se hace así, es imposible. En segundo lugar, tenemos que jugar con que todo el proceso de diseño es un proceso que garantiza la confiabilidad de la aplicación, la reproducibilidad de sus resultados y la fiscalización de los mismos.

¿Qué acciones debe realizar la administración española en todo lo relativo a regular la IA?

Me atrevo a señalarle una muy básica que ni siquiera se ha cumplido con el Reglamento General de Protección de Datos: Formar a todas sus plantillas. Si usted indaga, descubrirá que la mayor parte de plantillas de las administraciones públicas españolas no han recibido un curso básico de protección de datos, mucho menos un curso autoritativo y capacitado en materia de inteligencia artificial. Así que la primera tarea que debe citar la Administración es garantizar la formación del personal. Pocas iniciativas legislativas para adaptarlo a la realidad del país, es un reglamento de la Unión Europea. Por tanto, el margen de apreciación es muy limitado y las capacidades de la Administración para interaccionar con esta materia son muy bajas. Donde sí tiene la Administración un enorme potencial es en la fijación de las condiciones que va a imponer a los proveedores y las condiciones en las que va a licitar, ya sea la adjudicación de un servicio, ya sea el desarrollo de una solución propia. Creo que ahí es donde más poder tiene la Administración para operar como tractor, garantizando un desarrollo adecuado del reglamento de Inteligencia Artificial y una confiabilidad en las aplicaciones que se contraten.

Debemos entender que la protección de los consumidores. Me refiero a la actuación de los poderes públicos. Primero, puede ser gestionada desde la educación. Pero por otra parte, no debemos olvidar que los productos de inteligencia artificial van a entrar en un contexto de presencia de poli- reguladores de múltiples reguladores. Por un lado, vamos a tener a la Comisión Nacional de los Mercados y de la Competencia. Por otro lado, vamos a ordenar las competencias de los ministerios en materia de consumo de los sistemas de mediación de los consumidores cuando se les produce un daño. Y adicionalmente vamos a tener al regulador especializado en inteligencia artificial y al regulador especializado en protección de datos. Por lo tanto, la batería de armas de las que van a disponer los consumidores y la cantidad de entidades que además pueden actuar de oficio cuando constaten un problema en orden a proteger a esos consumidores es particularmente amplia.

¿La regulación de la IA va por detrás de la realidad de lo que eran los ciudadanos en su día a día?

Lo cierto es que toda regulación, por su propia naturaleza, va por detrás de la realidad. En muchas ocasiones, porque si surge con el motivo de disciplinar una realidad que es nueva. Aquí la cuestión que se debe afirmar es que la regulación de la IA se ha adaptado o ha pretendido acotar la realidad en su dimensión actual y que las lecciones aprendidas nos obligan a considerar que el sistema jurídico, el ordenamiento jurídico desde la perspectiva de su completud y desde la perspectiva de ofrecer criterios multidisciplinares en las distintas áreas del Derecho para acotar la realidad y los problemas que surgen, debe entenderse y debe aplicarse como un todo. Y sobre todo debemos capacitar a los operadores jurídicos. Por muy interesante que sean las condiciones de desarrollo de una inteligencia artificial. Y por mucho que veamos que es necesario adaptar mediante una directiva europea las condiciones para la exigencia de responsabilidad extracontractual, la responsabilidad contractual y extracontractual de nuestro Código Civil siguen vigentes y deben ser aplicadas hasta nueva orden a la inteligencia Artificial. Esa es la cuestión a plantearse respecto de la regulación.

¿Cómo se debe desarrollar la IA para que no caiga en un pozo repleto de mentiras y muera de éxito?

Ese precisamente el objetivo del Reglamento General de Inteligencia Artificial asegurarse de que los ciudadanos socialmente más vulnerados más vulnerables no se vean perjudicados y expuestos a los peligros de la IA. De ahí que sea aconsejable mirar las prohibiciones del artículo 5, donde precisamente la protección de las personas vulnerables frente a cualquier tipo de manipulación de su conducta o decisión, o mediante la generación de cualquier impacto negativo, basado precisamente en esta vulnerabilidad, se encuentra radicalmente prohibida. Del mismo modo, la protección de los ciudadanos socialmente más vulnerables aparece expresamente regulada en el Anexo 3. Cuando determinados sistemas de inteligencia artificial que pueden utilizarse en ámbitos muy sensibles como la justicia, la inmigración o la selección o la selección de personal, o la definición de políticas públicas particularmente relevantes, obliga a tener en cuenta estas situaciones de vulnerabilidad y a garantizar que no se les causa ningún daño o perjuicio. Por tanto, debemos entender que el Reglamento de Inteligencia Artificial ha tratado de cubrir este espacio.

D. Juan Carlos Hernández Peña.

Profesor de Derecho Administrativo e investigador en el Instituto de Ciencia de Datos e IA (DATAI) de la Unversidad de Navarra.

Entrevista realizada por José Mª Camarero (Periodista económico) en el marco del Proyecto de ADICAE: “Los consumidores ante los nuevos avances tecnológicos y legislativos en el E-commerce”

 

¿De qué debemos fiarnos, y de qué no, cuando nos enfrentamos a una aplicación de IA?

La experiencia que hemos acumulado estos años de desarrollo nos llevan a pensar que para fiarnos de aplicaciones de IA, están deben ser transparentes, robustas y fiables.

Debemos ser proactivos y verificar que los sistemas nos ofrezcan información clara sobre su funcionamiento, así como sus límites y usos para los que fueron desarrollados.

Aunque aún está en desarrollo, podremos fiarnos más de aquellos sistemas que cumplan con las normas técnicas que se están e irán aprobando, y en el caso de los sistemas de riesgo alto de aquellos que cuenten con declaraciones de conformidad. Es más que previsible que también se desarrollen sellos éticos, vinculados a mecanismos de auditoria de sistemas y algoritmos, que otorgarán un plus de fiabilidad dado que no sólo exigirán que se cumplan con la normativa, sino que fijarán estándares éticos.

Evidentemente, si son sistemas que recopilen y traten datos personales, sólo podemos confiar en ellos si presentan una política de privacidad transparente y clara dónde nos indiquen con que fines se realiza el tratamiento y las medidas que utilizan para protegerlos.

En sentido contrario, todo sistema o aplicación que opera con opacidad, explicando deficientemente su funcionamiento, exigirá elevar nuestra cautela.

¿Es correcta la regulación actual sobre la IA, tras la nueva Ley de Inteligencia Artificial europea? ¿Se ha quedado corta o ha ido demasiado lejos?

La regulación europea de IA es pionera, y su enfoque se centra en promover un estándar elevado de los derechos fundamentales y la IA humanocéntrica, por lo que desde mi perspectiva es un acierto. La IA debe estar al servicio del ser humano, y no ser un medio para esclavizarlo, limitar su libertad o recortar derechos.

Ahora bien, al encontrarnos en un momento crítico del desarrollo y posicionamiento competitivo global, es necesario aquilatar la regulación para no ahogar la innovación. Desde esa perspectiva, el RIA es prudente porque valora que usos o aplicaciones de la IA no son admisibles o conformes con los valores europeos y las prohíbe. El resto las somete a mayores o menores obligaciones legales, según el nivel de riesgo. Es decir, aplica un enfoque basado en riesgos, e imponiendo cargas regulatorias.

Hay cuestiones, no obstante que no están del todo resueltas y generan inseguridad, pero deben irse clarificando con el desarrollo de normativa complementaria. Por ejemplo, en el caso de los sistemas prohibidos, se puede generar cierta confusión al entender que se entiende por emociones según el reglamento o qué debe entenderse por sistema que analiza emociones. Los reguladores nacionales y la propia Comisión, con la Oficina de IA a la cabeza, elaborarán listados que ejemplifiquen y clarifiquen cuestiones como éstas.

Si debe señalar que al tratarse de la primera regulación intensa de la IA se corre el riesgo de no acertar y perder competitividad frente a China o EE.UU. que han adoptado medidas regulatorias más laxas y menos restrictivas. No obstante, se espera que el RIA genere una suerte de efecto Bruselas y termine siendo el estándar global a semejanza de los ocurrido con el RGPD.

En todo caso, aunque haya aspectos mejorables o cuestiones a clarificar, debo señalar que priorizar los derechos de las personas es un acierto y un avance al que no debe renunciarse. No veo que haya necesariamente una colisión entre proteger a los ciudadanos y promover la competitividad europea de la IA. Si esta es la duda, quizás tendríamos que cambiar la pregunta ¿Queremos la IA a cualquier precio, incluso transando nuestros derechos?

En muchos debates, la IA se expone como un riesgo brutal para la sociedad. En otros debates, solo se habla de las bondades de la tecnología. ¿Cuál es el punto óptimo en estas dos visiones antagónicas?

La IA es una tecnología que está llamada a tener un impacto profundo en la sociedad. Nos puede ayudar a resolver los grandes retos a los que nos enfrentamos, pero su uso puede tener también un impacto negativo, no sólo en casos como el ‘predicting policing’ o la videovigilancia. Todos hemos oído casos de uso de algoritmos de IA que discriminan o que han aprendido que pueden incrementar las ganancias de aerolíneas sentando automáticamente a familias que viajan con niños, obligando así a pagar más por los billetes o asientos. Es una tecnología muy permeable en todas las fases y procesos productivos y, por tanto, si no es ético o robusta nos impactará negativamente.

Creo que el enfoque adecuado parte por reconocer que es una buena tecnología, pero que aún no la conocemos del todo y estamos experimentando socialmente con ella.

Eso exige que la promovamos, pero que seamos cautos. En cierta medida que la ‘domestiquemos’. Para eso contamos con un arsenal regulatorio, técnico y ético que no es exclusivo de la IA. Ya estamos habituados a introducir riesgos en la sociedad y controlarlos con instrumentos legales. Pensemos en los medicamentos. Sus verdaderos riesgos sólo se materializan cuando están en el mercado e interactúan con miles de variables. Si no es seguro o tiene efectos adversos admisibles, se retira del mercado. Eso mismo se plantea para la IA con el Reglamento aprobado.

¿Cómo debemos clasificar y definir los riesgos de la IA para el consumidor, ante un impacto tan extenso como el que tiene esta tecnología actualmente?

Creo que la propuesta de la UE acierta en este sentido y nos brinda una respuesta. Debemos clasificarlas en atención al impacto sobre los derechos fundamentales de las personas, su seguridad o salud. A mayor riesgo, mayores restricciones, mayores medidas de transparencia, más información para que los usuarios puedan tomar decisiones sobre el uso o no de una determinada aplicación o sistema de IA.

Como ya comentaba, los reguladores desarrollarán listados ejemplificativos para ayudarnos a entender el riesgo de los sistemas, así como aquellos que no son admisibles e intolerables desde la perspectiva de los valores europeos. La labor de alfabetización en materia de IA, debería ayudar a comprender no sólo los riesgos sino también los derechos de los consumidores.

¿Los ciudadanos se encuentran ahora más desprotegidos que antes ante lo que les ofrece la IA?

Con la aprobación del Reglamento de IA y con todo el resto de paquetes normativos que está aprobando la UE, como la DSA o DMA, pienso que es todo lo contrario. Ahora tenemos más derechos. Por ejemplo, tenemos derecho a exigir transparencia, a que nos informen sobre la lógica de los algoritmos, que nos expliquen si se toman medidas automatizadas que afecten nuestros derechos. Todo esto se ha construido con el marco normativo que ha promovido la UE en los últimos años.

Lo que si es cierto es la normativa puede estar sometida a una cierta obsolescencia debido a la rapidez de los avances tecnológicos. Esto puede generar ámbitos de afectación de derechos que quizás no estén cubiertos adecuadamente. De ahí la importancia de que se cuenten con normativa resiliente e incluso que, en casos dónde previsiblemente se generarán riesgos inadmisibles, el RIA no se aplique como un instrumento reactivo sino que se apliquen los mecanismos que permiten respuestas preventivas.

Usted elabora auditorías de modelos de IA. ¿Cuáles son las fortalezas, riesgos y amenazas que está vislumbrando en esos estudios pormenorizados?

Las auditorías de IA son esenciales para identificar posibles sesgos, o errores en los modelos. Para valorar la opacidad o explicabilidad de los modelos, así como su ajuste a la normativa y los derechos fundamentales. En definitiva para garantizar que sean trasparentes y robustos, especialmente para el caso de aquellos sistemas que pueden tener un impacto directo sobre el acceso a bienes o servicios esenciales, o que afecten directamente derechos fundamentales como el empleo o la educación.

Como fortalezas destacaría que aunque nos estamos encontrando con modelos mejorables u opacos, las personas están aplicando salvaguardias y son prudentes en su uso. Existe preocupación, tanto en desarrolladores como implementadores, de que los modelos se ajusten y anticipen a la normativa europea, aunque las dudas de cómo se aplicará o cómo deben entenderse muchas de las previsiones del Reglamento son habituales.

Quizás los principales riesgos y amenazas se centran en el diseño adecuado y robusto. Existe un principio que se repite como mantra y es fundamental en el entrenamiento de modelos: Garbage In, Garbage Out. Si los datos de entrenamiento no tienen calidad adecuada, los output del modelo serán deficientes. Esto suele explicar la presencia de sesgos.

También hay riesgo con el tratamiento de datos personales. Con cumplir los elevados estándares que establece el RGPD. Muchos científicos de datos no comprenden adecuadamente principios como la privacidad o la protección de datos desde el diseño o el principio de minimización, y realizan tratamientos extensivos para entrenar modelos que no son realmente necesarios.

¿Cómo se establece hasta dónde llega la ética de la IA?

No entiendo del todo la pregunta, pero respondo según lo que intuyo – aunque puede ser errado mi enfoque.

Creo que debemos diferenciar por una parte los mandatos y prescripciones legales, de las directrices éticas. El RIA no obstante, se diseña teniendo como base una serie de principios éticos recogidos en las Directrices É)cas para una IA Fiable. Entre ellos, el respecto a la autonomía humana, de ahí la prohibición de sistemas que manipules; la prevención del daño, lo que supone que el RIA se base en un enfoque basado en riesgo

y prohíba sistemas que pueden causar daños inadmisibles; la equidad y la explicabilidad, que se traducen en mandatos de transparencia, robustez, etc.

Los principios éticos, no obstante, son mandatos de muy alto nivel. Es decir, que nos brindan enunciados generales que deben interpretarse en atención a las circunstancias concretas, por lo que genera problemas para los ciudadanos y las organizaciones. De ahí la importancia de que sean operativizados, tanto a través de las normas jurídicas (el RIA y su norma de desarrollo), y las normas técnicas, que establecen criterios de naturaleza técnicas que aterrizan estos principios. Por ejemplo, ¿Qué es un sistema de IA robusto? ¿Qué métricas debemos considerar para valorar si un LLM no está sesgado? La respuesta parte de aplicar esos principios de alto nivel, pero la norma jurídica y las normas técnicas completan el dibujo final.

Usted ha comentado en varias ocasiones en sus intervenciones que uno de los puntos sobre los que hay que incidir es la investigación básica que, en ocasiones, “se tiene algo descuidada”. ¿Podría aclarar estos términos?

La investigación básica es fundamental para los avances de la actividad científica en general. La IA, ciencia con décadas de desarrollo, no escapa de esa dinámica.

Muchos de los avances que vemos y veremos estarán impulsados con ánimo de llegar al mercado. De monetizarse, cuestión legítima. Por ejemplo, las capacidades de los modelos de IA Generativa se incrementarán porque los desarrolladores quieren llevar al mercado nuevas funcionalidades que les permitan incrementar la cuenta de resultados.

No obstante, hay cuestiones cómo la explicabilidad de los modelos de caja negra para las que quizás no hay un incentivo económico tan claro por parte de las empresas. También puede pensarse en el desarrollo de algoritmos de IA verdes (que consuman menos energía). Avances de este tipo exigen muchos esfuerzos que no se verán monetizados en el corto plazo, pero que asegurarán una IA fiable en el futuro. Aquí, es necesario contar con la financiación pública, las universidades y centros de investigación que pueden dedicar recursos al desarrollo de aplicaciones no comerciales. La investigación básica ayudará a entender mejor los límites y capacidades de la IA, a profundizar en sus riesgos o diseñar y desarrollar nuevas medidas para hacerla robusta y segura. En definitiva, contribuiría a garantizar una IA fiable, ética y sostenible.

Para muchos ciudadanos, sobre todo jóvenes, ChatGPT se ha convertido en una tecnología básica en su día a día. ¿Nos podemos fiar de todo lo que nos diga esta herramienta?

ChatGPT es lo que se conoce como un gran modelo de lenguaje natural o LLM. Se basan en una arquitectura de deep learning desarrollada por Google, que denominaron ‘Transformer’. Aprenden del conjunto de datos con el que se entrenó, entienden su distribución estadistica y nos dan una respuesta razonable imitando lo que han ‘leído’.

Tienen la ventaja de permitirnos interactuar con ellos de forma simple y fluida utilizando lenguaje natural, y su respuesta también es conversacional por lo que se suple la curva de aprendizaje técnica que exige otros modelos de IA, donde hay que saber código e interpretarlo.

Si consideramos, además, que tienen una capacidad muy potente para interpretar texto o imágenes y darnos respuestas coherentes y razonables; que pueden gestionar mucha mayor cantidad de información en escaso tiempo; y que son muy eficientes para determinadas labores dónde el aporte creativo es limitado o se trata, sin más, de tareas repetitivas. No resulta sorprendente que se estén adoptando con una rapidez sin precedente, especialmente entre los jovenes.

Sin embargo, siguen siendo inteligencias artificiales y siguen respondiendo a las mismas limitaciones del resto de sistemas de IA. Por tanto, si en el universo de datos de entrenamiento hay un porcentaje de datos de poca calidad, es probable que nos encontremos con resultados cuestionables o sesgados. Es decir, Garbage In Garbage Out. Esto explica que en ocasiones los resultados sean inadecuados, inexactos o sesgados. De hecho en las condiciones de uso de ChatGPT la propia OpenAI avisa de estos riesgos inherentes a las distintas versiones del modelo.

Por otra parte, estos modelos tienen riesgos específicos. No son deterministas, por lo que sus respuestas no son únicas. Si hacemos la misma pregunta varias veces, en cada ocasión nos dará una versión diferente. Tampoco saben decir que no, por lo que si no tiene datos de suficiente calidad para dar la respuesta puede darnos un output o salida aproximada interpretando erróneamente la información. Por eso es frecuente escuchar casos en los que estos modelos ‘alucinan’, bien interpretando equivocadamente la información o bien directamente inventándola. Son muy conocidos los casos en los que, por ejemplo, se ha inventado referencias bibliográficas o incluso sentencias judiciales.

Mi consejo para los jóvenes es el mismo que doy respecto a la información en internet. Que sean escépticos y ejerciten su espíritu crítico, contrastando el resultado con otras fuentes que sean fiables. Esto sin ir más lejos, es a lo que se refiere el RIA cuando aconseja el ‘human in the loop’, es decir, la mediación humana para valorar críticamente los resultados de un modelo de IA y decidir en atención a su competencia y capacidad.

¿Cómo se debe desarrollar la IA para que no caiga en un pozo repleto de mentiras y muera de éxito?

Creo que en general recogiendo lo que hemos comentado. Incorporando los principios éticos desde el diseño. De ellos considerando fundamental la perspectiva humanocéntrica. Que se diseñen modelos que potencien y ayuden a las personas a desarrollarse, a mejorar sus capacidades. Una IA por y para las personas.

También la transparencia y la supervisión son claves para el desarrollo sostenible de la IA responsable. Los procesos de auditorías, también ya comentados, pueden contribuir a asegurar una IA segura y ética.