Así es como la IA llega a ser racista

Hoy es un sistema de inteligencia artificial quien va a decidir si usted es merecedor de un crédito o no lo es. Es el que está ordenando la compra o venta de sus valores en Bolsa. Y mañana decidirá sobre su salud o si su caso es o no es operable.

Sin llegar a estas decisiones importantes, la inteligencia artificial le ayudará a elegir gafas, ropa, qué seguro le conviene, cuál es la mejor ruta para llegar al restaurante en el que han quedado para cenar... y también es la encargada de analizar rostros, imágenes, matrículas, calificarle como sospechoso o dejarle entrar en un recinto...

Muchas de estas decisiones que, en principio, deberían ser neutras no lo son. Están determinadas por los mismos sesgos que nos condicionan a los humanos. Porque, en definitiva, la inteligencia artificial no se autoprograma ni se autoenseña.

Ella, la inteligencia artificial no tiene la culpa de sus fallos. La tenemos los humanos, que, queriendo o sin querer, le hemos trasladado nuestros propios prejuicios tanto en la selección de datos con la que la alimentamos como con los algoritmos con los que funciona.

Hay una buena media docena de casos que se han hecho famosos por discriminación debida a fallos de los sistemas de inteligencia artificial. Aunque siendo puristas, como dice Xabi Uribe-Etxebarria, creador y CEO de Sherpa, "la Inteligencia Artificial, en sí, no tiene sesgos. Los sesgos los tienen los datos".

Uno de los ejemplos de sesgo más habituales es el traductor de Google. Si se le pide que traduzca "nurse" del inglés al castellano, el resultado será "enfermera" no "enfermero", y cuando traduce "doctor", será "doctor", pero no "doctora".

Puede que este ejemplo no sea especialmente clarificador, pero la cosa cambia si un sistema de inteligencia artificial está adiestrado para reconocer personas sólo con imágenes de caras blancas, e interpreta el rostro de un negro como el de un gorila. O, como recoge el documental "Sesgo codificado", de Netflix, cuando cuenta que una investigadora negra del MIT tuvo que ponerse una máscara blanca para que el sistema de reconocimiento facial la aceptase.

O si decide contratar sólo a hombres. La automatización del sistema de contratación de Amazon resultó tan desviada que estuvo activa menos de un año, entre 2014 y 2015. El sistema había sido entrenado con datos del personal contratado por Amazon de 2004. En ese momento, la mayoría del personal eran hombres y dedujo que eso sería porque son mejores. Así que descalificó a las mujeres.

Ejemplos de libro

Esther Paniagua, periodista tecnológica, profesora y autora de 'Error 404' (Debate, 2021), recoge en su libro un buen puñado de casos sonados como "el de COMPAS, una herramienta de análisis de riesgo delictivo basada en IA que aprende de todas las sentencias dictadas anteriormente. Su función es evaluar la probabilidad de que un delincuente acusado reincida. Un análisis de ProPublica demostró en 2016 que a los acusados negros se les asignaba con mucha mayor propensión un riesgo de reincidencia alto, mientras que, a los acusados blancos, erróneamente, se les atribuía con mayor frecuencia un bajo riesgo de reincidencia. Es decir, el sistema discriminaba a las personas de color. No funcionaba correctamente ni resolvía nada que no hubiera problematizado en primer lugar, dado que el sesgo racial es matemáticamente inevitable".

En "Error 404", el libro de Esther Paniagua, se citan también casos vinculados con temas tan sensibles como la salud. En 2016, Arkansas (Estados Unidos) decidió que un sistema de decisión automatizado (ADM, por Automated Decision-Making) fuera el encargado de decidir cuáles de los solicitantes acogidos al programa estatal de discapacidad tenían derecho a recibir a un cuidador personal en sus casas. Las horas de asistencia domiciliaria cayeron en picado. Pero no porque no las necesitaran, sino por un error de la máquina.

Sin salir de Estados Unidos, un algoritmo que se utiliza con 200 millones de usuarios no reconocía a la mitad de los pacientes negros que requerían atención sanitaria adicional. Eso pasaba en 2019, a las puertas de la pandemia. Y también volvió a fallar el programa empleado para decidir quién puede acceder a una vacuna contra la COVID-19.

Pero eso no quiere decir en modo alguno que la Inteligencia Artificial y la salud estén reñidas. Regina Barzilay puede ser un claro ejemplo. Esta científica del Instituto Tecnológico de Massachusetts (MIT) la utiliza para desarrollar sistemas capaces de detectar el cáncer.

Sociedad vigilada ¿rigurosamente?

La privacidad y la seguridad son dos áreas muy sensibles. Cada día hay más cámaras vigilándonos, mirándonos a los ojos y midiendo las facciones de nuestras caras. Basándose en Inteligencia Artificial, el año pasado se puso en marcha un programa que podría reducir los delitos anticipándose a ellos, casi en línea con lo que se describe en la película Minority Report. Fue retirado hace un año porque las tasas de error oscilaban entre el 49 y el 82%. Es decir, que en el mejor de los casos sólo acertaba la mitad de las ocasiones. Y también tuvieron que acabar, por acusaciones de racismo arraigado, con el programa de asistencia a la asignación de visados.

Precisamente para denunciar estos casos de racismo achacables a sistemas de Inteligencia Artificial ha nacido Algorace (https://algorace.org), un grupo interdisciplinar para analizar los sesgos de los algoritmos.

¿Quieren un ejemplo más gráfico y menos serio? Mientras estoy escribiendo este texto (comienzos de julio) se ha hecho famosa una aplicación en las redes sociales. Se trata de Dall-E mini, hermana pequeña de Dall-E 2, un programa desarrollado por OpenAI, compañía a su vez apoyada por Elon Musk, propietario de Tesla y protagonista del culebrón de la compra de Twitter, que convierte textos en imágenes.

Las redes se han llenado de capturas de pantalla (hay un botón en la propia página para que no haya que molestarse en pulsar ImpPt) con los resultados. Las hay de políticos nacionales e internacionales, han sido base de memes... Pero lo que me ha movido para traerla es que supone un ejemplo visual del sesgo por sexo de un sistema de inteligencia artificial. Si uno le pide a Dall-E mini imágenes de "nurse", siempre serán mujeres. Es cierto que, a pesar de que la traducción del inglés es tanto enfermera como enfermero, también es ama de cría... y generalmente se asocia mayoritariamente con mujeres. Pero si le pedimos "doctor", el resultado serán siempre doctores, ni una mujer.

Si conocemos todos estos problemas inherentes a la toma de datos y a la programación de algoritmos, "¿por qué utilizar algoritmos cuando los humanos llevamos tomando decisiones millones de años?". La pregunta la plantea durante una entrevista telefónica Nuria Oliver, ingeniera en telecomunicaciones, doctora por el Media Lab del Instituto Tecnológico de Massachusetts, cofundadora y directora de la Fundación ELLIS Alicante, y una de nuestras mayores expertas en Inteligencia Artificial."La respuesta es porque las decisiones humanas tampoco son prefectas. Los humanos tenemos unos 200 sesgos inconscientes, somos susceptibles a la corrupción, tenemos amigos y enemigos, tenemos hambre, tenemos sueño, podemos tener un mal día... Todos estos factores impactan nuestras decisiones y hacen que muchas veces no sean las óptimas ni las más justas. La idea, la premisa, es si los datos son una representación objetiva de una realidad subyacente, y si somos capaces de desarrollar algoritmos que aprendan a partir de esos datos, como los algoritmos no tienen hambre ni tienen sueño ni son susceptibles a la corrupción, en teoría las decisiones que estos algoritmos podrían informar deberían ser más justas que las decisiones tomadas por los humanos".

El sesgo como herramienta

A pesar de que todavía existan negacionistas del sesgo, está ahí. Y no se trata de algo monolítico. La mayoría podría ser involuntario, pero también los hay intencionales. Como comenta Laura Martín-Pérez, lingüista computacional en NTT Data, "en el marco de la Unión Europea se recogen las directrices éticas para una Inteligencia Artificial creíble. En este marco se indica que pueden surgir diferentes tipos de sesgo, según la disciplina de IA que se desarrolle. Dentro del campo del aprendizaje automático, se crean sesgos en la recogida de datos, si estos no contemplan todos los escenarios. En los sistemas lógicos, aquellos basados en normas, surgen sesgos como consecuencia del conocimiento del implementador acerca de las reglas que se aplican en un dominio concreto".

"El aprendizaje automático", continúa Laura Martín-Pérez, "depende fundamentalmente del conjunto de datos que se ha recopilado del mundo. Este conjunto de datos por sí mismo puede contener exclusión, desigualdad u otro tipo de discriminación, porque existen en la sociedad. También los programadores que diseñan los algoritmos podrían introducir sesgo, ya se voluntario o involuntario".

Esther Paniagua insiste en la idea: "Debemos hacer una distinción entre sesgo intencionado y no intencionado. El segundo es un efecto buscado. Por ejemplo, sabemos que algunos buscadores de viajes o de venta de tickets muestran precios más caros a usuarios de iPhone y Mac o a personas que viven en barrios más ricos". 

Pregunta: ¿Podría utilizarse ese sesgo intencionadamente con fines políticos, sociales y / económicos?

Xabi Uribe-Etxebarria es tajante y escueto: "Claro que puede utilizarse en el ámbito político o social, o del tipo que puedas imaginarte". "Los modelos aprenden de datos. Y estos datos pueden estar sesgados intencionada o no intencionadamente. Son los datos y las personas que construyen y desarrollan servicios con la IA quienes tienen que evitar esos sesgos, conscientes o inconscientes, de manera deliberada o no. Que una máquina diga a qué clientes se les tiene que conceder un préstamo, y a cuáles no, lo dice una máquina, pero porque quien ha construido ese modelo ha introducido lo que a esa entidad financiera le interesa en ese momento".

Igual de tajante se muestra Nuria Oliver en la respuesta a esa pregunta. "Sí, es importante entender la ubicuidad de los algoritmos en nuestra vida. Entender que desde que nos levantamos hasta que nos acostamos estamos interaccionando con algoritmos que deciden qué información encontramos, qué películas vemos, qué libros compramos, qué música escuchamos... qué amigos tenemos, por dónde vamos, pero también deciden qué noticias leemos y, evidentemente, estos algoritmos en su inmensa mayoría han sido desarrollados por empresas con intereses económicos que no podemos obviar, porque un factor clave en el desarrollo de estos algoritmos es lo que se conoce como maximizar el engagement de los usuarios, maximizar la cantidad de tiempo que nos pasamos usando esos servicios porque nuestra atención, nuestro tiempo, que al final se traduce en nuestros datos, es lo que tiene un inmenso valor monetario".

Parece que hay acuerdo en que el sesgo en la captura de datos y / o en la programación de los algoritmos genera sesgos, buscados o involuntarios, en los sistemas de Inteligencia artificial que cada día, aunque no lo sepamos, influyen y controlan más nuestras vidas y nuestras decisiones.

Entonces, ¿no hay nada que hacer? ¿Nos rendimos ante sistemas de toma de decisiones que pueden ser racistas, machistas, homófobos, integristas, clasistas...?

Muy al contrario. Todos los expertos vinculados con la Inteligencia Artificial en diversas facetas consultados, creen que se puede y se debe controlar. Así, Laura Martín-Pérez, lingüista computacional en NTT Data, alude a las normas desarrolladas por la Unión Europea "bajo un marco de gobernanza para la Inteligencia Artificial cuyos pilares son la responsabilidad, la transparencia, la equidad y la seguridad". Y continúa: "Desde las empresas se proponen evaluaciones y pruebas obligatorias de los sistemas de IA, sobre todo de los de alto riesgo (sistemas de justicia); y aumentar la inversión en investigación y formación para los desarrolladores, para que comprendan y reconozcan cómo pueden introducirse involuntariamente sesgos".

La autora del exitoso Error 404 pone el foco en "enriquecer las bases de datos para que sean representativas de todos los grupos de población, poniendo especial atención en las minorías". Y en "formar equipos más inclusivos en género, trayectoria académica, procedencia social, etc. (menos de un 20% de las personas formadas en IA son mujeres)".

A pesar de que, en último término, los algoritmos reflejen los sesgos existentes en la sociedad, "podemos detectarlos en los algoritmos de forma más clara. Esto supone una oportunidad para identificar y corregir ciertos errores en los procedimientos existentes. También para ayudar a identificar las fuentes de desigualdad y conflicto, y con ello potencialmente reducir las desigualdades".

"Eliminar los sesgos es uno de los grandes retos de la Inteligencia Artificial", dice Xabi Uribe-Etxebarria, CEO de Sherpa. "Es muy complicado, pero se pueden reducir para que el impacto sea impredecible".

"Actualmente", continúa, "estamos trabajando con el neurobiólogo Rafa Yuste, en una propuesta a la que llamamos 'juramento tecnocrático', una especie de código ético que debería ser un requisito para poder dedicarse a este campo, en analogía con el juramento hipocrático de la Medicina. Estas reglas deontológicas deberían ser asumidas por todas las compañías desarrolladoras de inteligencia artificial, con el objetivo de garantizar que los avances que se consigan contribuyan a mejorar el bienestar humano y del planeta". 

Nuria Oliver: "Sí se puede. Es un área muy grande de investigación en la que nosotros estamos contribuyendo, en la fundación Ellis Alicante para conseguir que los algoritmos tengan garantías de no discriminación".

La ingeniera, una de las mayores expertas en Inteligencia Artificial de Europa, resume que básicamente existen tres familias de acercamientos técnicos a este problema: los métodos de 'preprocessing' (pre procesado), donde el principal foco es comprobar si los datos tienen sesgos y modificarlos para evitar que los tengan. Por ejemplo, si en una base hay muchos ficheros de hombres y pocos de mujeres, se debería dar más peso a los ejemplos de las mujeres para que la muestra esté balanceada y el algoritmo no piense que las mujeres son una anomalía y que lo común es ser hombre.

Las técnicas 'in processing', consisten en incluir una métrica de justicia algorítmica en el propio algoritmo. Y, por último, las de 'postprocessing'. "Los humanos no tenemos por qué directamente aplicar la decisión que nos diga el algoritmo. Si las decisiones están sesgadas, siempre podemos modificar esas decisiones para minimizar los sesgos. No tenemos por qué creer ciegamente lo que esté diciendo el algoritmo", concluye.

"Obviamente, se pueden usar las tres técnicas a la vez, puedes balancear los datos, puedes tener un algoritmo que tenga un componente de justicia algorítmica y puedes incluso verificar y evaluar hasta qué punto las decisiones tienen sesgos y compensarlos en la parte de postprocesado", remata.

Tal y como plantea Xabi Uribe-Etxebarria, "el avance científico y tecnológico no va a parar, por lo que debemos asegurarnos de que todo se haga en la dirección correcta". Y esta dirección puede ser, como apunta Nuria Oliver, la inteligencia aumentada. "Lo ideal", dice, "es un modelo de lo que se conoce como el aumento de la inteligencia humana. A diferencia de la sustitución de la inteligencia humana: mejorar las decisiones humanas apoyándonos en algoritmos, pero no necesariamente eliminar a los humanos de los procesos de las tomas de decisiones".

Apoyos1. - Una fundación y un juramento ´tecnocrático’. Inteligencia Artificial, pero ética

Retengamos estos dos conceptos: "Inteligencia Artificial ética" y "juramento tecnocrático". Son dos caminos que permitirían eliminar o minimizar los efectos de los sesgos.

La Fundación ELLIS Alicante es uno de los exponentes de la búsqueda de una IA ética. De hecho, es uno de sus principios: "centrada en la investigación ética de la Inteligencia Artificial enfocada en la relación entre las personas y los sistemas inteligentes".

 ELLIS Alicante, cofundada y dirigida por Nuria Oliver, forma parte de la exclusiva red europea de centros de investigación que buscan la excelencia y aportar una visión europea al estudio de la Inteligencia Artificial.

La investigación de ELLIS Alicante está diseñada para "contribuir al progreso, estudiando la intersección entre la IA y las personas en tres ámbitos": IA que nos entiende, que interactúa con nosotros y en la que confiamos. Y es en este último punto en el que se aborda directamente el sesgo: "abordando los desafíos éticos que plantea la IA, como la discriminación algorítmica, la violación de la privacidad, la opacidad, la falta de veracidad o la manipulación subliminal del comportamiento humano". Y todo ello con el objetivo de contribuir al bien social.

Xabi Uribe-Etxebarria, por su parte, es uno de los impulsores, junto con el neurobiólogo Rafael Yuste, promotor a su vez de la fundación Neurorights, de la Universidad de Columbia, del juramento tecnocrático, un código ético, un juramento profesional con el que se comprometan todos los que trabajen en este campo. "Partimos de la base de que la ciencia y la tecnología son de por sí neutras", dice el fundador de la compañía de Inteligencia Artificial Sherpa, "pero, como todo, corren el riesgo de que se utilicen también con fines no beneficiosos. Debemos tratar de fomentar que ocurran los mejores escenarios y evitar que ocurran los distópicos. Por lo que debemos sentar las bases éticas y legales que lo permitan".

2.- Pero ¿existe la neutralidad?

A riesgo de banalizar, hay incluso más tipos de sesgos que preferencias a la hora de pedir un café en la barra de un bar español. Se dice que en nuestro país hay tantos tipos de café como españoles. Pues lo mismo podríamos decir del sesgo.

Si bien a la hora de acotar las directrices éticas para una Inteligencia Artificial fiable, la Unión Europea, como recuerda Laura Martín-Pérez, indica que se pueden dar diferentes tipos de sesgos, según la disciplina que se desarrolle, "los humanos tenemos unos 200 sesgos inconscientes", en palabras de Nuria Oliver.

Básicamente, se pueden diferenciar en siete tipos de sesgo que afectan al ser humano directamente o bien a través del uso de ciertas herramientas. De esta manera podríamos hablar de sesgos cognitivos, por conflicto de interés, sesgos estadísticos, prejuicios, contextuales, de aplicación de la ley, en los medios y, todavía, otro grupo en el que cabrían el educativo, de información privilegiada...

Como describe la Wikipedia en un extenso artículo dedicado a los tipos de sesgo, "el cognitivo es un error repetitivo o básico en pensar, evaluar, recordar u otros procesos cognitivos". Se podría definir como que el observador crea una realidad social subjetiva propia a partir de sus percepciones.

Ejemplos claros de conflicto de interés se pueden ver en dos de los subgrupos de sesgo por este criterio: el soborno y el favoritismo.

En estadística también se definen sesgos. En general, el sesgo estadístico es la diferencia que se produce entre un estimador matemático y su valor numérico, una vez realizado un análisis, pero dentro de él se pueden hacer subdivisiones: de pronóstico, efecto observador-expectativa, selección...

Para la población que no trabajamos en Inteligencia Artificial ni somos matemáticos o ingenieros... el sesgo más fácil de entender y al que acude nuestra mente cuando escuchamos sobre ello son los prejuicios: tener una opinión antes de conocer los hechos relevantes de un caso. Aquí es donde se incardinan el racismo, el sexismo, el clasismo y los prejuicios sobre la apariencia física.

Otro grupo lo forman los sesgos contextuales: el académico, el del experimentador, el de financiación, incluso el de publicación.

Así que no, a pesar de que alguien insista en que es neutral, lo más seguro es que no lo sea de forma absoluta y que necesite establecer mecanismos de control si de verdad quiere que sus conclusiones sean neutrales.

MUY INTERESANTE.

Temas relacionados: