La IA, ¿un amplificador de la discriminación?

“La dominación machista de las nuevas tecnologías está deshaciendo décadas de progreso en los derechos de la mujer”. Es una alerta de la propia ONU: “La igualdad de género es una cuestión de poder y hoy, tras más de 100 años en los que el poder se había ido haciendo cada vez más inclusivo, la tecnología está revirtiendo la tendencia”. Por este motivo, es importante desarrollar medidas para garantizar el papel de la mujer en el ámbito tecnológico, donde el desarrollo de los algoritmos de la inteligencia artificial (IA) incluye sesgos de género (aunque también culturales, raciales, socioeconómicos...), creando una nueva forma de “discriminación”.

“La mayor parte de los sistemas de IA utilizan métodos de aprendizaje automático y aprenden conjuntos de datos existentes del mundo real, que contienen los propios sesgos que existen en la sociedad”, apunta Susana Ladra, profesora titular del Departamento de Ciencias de la Computación y Tecnologías de la Información de la Universidade de A Coruña y vicepresidenta del Colexio Profesional de Enxeñaría en Informática de Galicia (CPEIG): “Cuando los sistemas de IA aprenden con ese conjunto de datos no solo reproducen esos sesgos, sino que los amplifican”.

“No debería salir al mercado un producto basado en sistemas de IA que perpetuasen estos sesgos y hay que tomar medidas para evitarlos”, sostiene. Así, hay formas de controlar dichos sesgos, “como ir al punto de partida, que son los conjuntos de datos, e intentar ampliarlos”. “Por suerte”, prosigue, “algunas compañías están empezando a tener en cuenta estas cuestiones e incorporan efectos mitigadores que permiten aumentar la diversidad de las respuestas, pero no todos son así”. “Estamos rodeados por sistemas basados en IA que sí incorporan estos sesgos, y no solo en cuanto a cuestiones de género, también incorporan sesgos culturales, acentos..., y es la tecnología la que tiene que adaptarse al conjunto de la sociedad, al uso y beneficio para las personas, y no que las personas nos adaptemos a la tecnología”, destaca.

"Cualquier chica puede ser expuesta": los desnudos falsos creados por inteligencia artificial se disparan

Un mayor número de mujeres en las carreras tecnológicas podría ayudar a nivelar este desequilibrio: “Incorporar diversidad en los equipos de desarrollo es bueno. Aportar otras visiones es muy adecuado y no solo por justicia social. Se ha demostrado que la diversidad aporta una mayor innovación y que de ella salen productos mejores”.

Insiste, además, en que “formándose en estos ámbitos uno es capaz de detectar los posibles problemas de los sistemas que se está utilizando”. “Si estos sistemas de IA son como una caja negra para el usuario, no va a poder saber si el resultado que está obteniendo es correcto o si está sujeto a algún tipo de sesgo. Por eso es bueno tener unos conocimientos mínimos de cómo funciona y, sobre todo por parte de las administraciones, exigir transparencia: saber qué tipos de datos utilizan, cómo son esos datos, de dónde provienen, etc.”. Ladra afirma que “se están dando pasos para intentar buscar una IA más justa, transparente, sostenible, más ética, más verde... Estamos en un momento en el que la tecnología avanza muy rápidamente, pero debemos encontrar el compromiso entre la innovación, pero también la seguridad y la ética hacia las personas”.

“Si se entrena con patrones de comportamiento sesgados, la algoritmia replicará este sesgo. Es más, dado el impacto tan elevado de la IA (expansión global en un período muy corto de tiempo), estos sesgos se exportarán de una forma muy efectiva”, explica Rebeca Pilar Díaz Redondo, directora de la Escuela de Ingeniería de Telecomunicación de la Universidad de Vigo. “Existen varios ejemplos de ello, en diferentes sectores”, prosigue. “Por ejemplo, la controversia que surgió hace unos años con los sistemas de reconocimiento facial, que no eran capaces de identificar la presencia de caras de mujeres de tez oscura, cuando sí lo hacían con las caras de hombres de tez clara con una eficacia cercana al 100%. Los estudios de Joy Boulamwini –informática y activista digital– en este campo provocaron que varias empresas del sector que estaban ya comercializando estos productos tuviesen que replantear la manera en que estaban entrenando sus algoritmos. La buena noticia es que mejoraron el software para ofrecer un producto más eficaz tanto para caras masculinas como femeninas y con diferentes rasgos faciales”, expone.

Un programa de inteligencia artificial ayudará en la lucha contra la violencia de género

Otro caso bastante controvertido fue, prosigue Díaz Redondo, “el algoritmo que usaba una gran tecnológica para evaluar currículums. Al utilizar datos históricos para el entrenamiento y, dado que tradicionalmente la representación femenina en puestos de responsabilidad en este sector es mucho más baja, el algoritmo perpetuaba este hecho, recomendando mayoritariamente currículums de hombres para puestos de dirección. Tras conocerse este hecho, la empresa desistió de esta algoritmia de apoyo”.

“Teniendo en cuenta que la IA está permeando todos los sectores, no hay ningún ámbito que quede libre de estos sesgos potenciales”, advierte. “Quizá los que más nos preocupan a la ciudadanía sean el médico y el educativo. Cabe resaltar que ya antes de la existencia de algoritmos de IA existían sesgos muy notables en el tratamiento de dolencias médicas entre hombres y mujeres. Es muy popular el de la sintomatología de un infarto cardíaco, que es diferente en hombres y mujeres, siendo el conjunto de síntomas de los hombres el que se ha venido utilizando para los protocolos de emergencias. Esto ha tenido un efecto muy negativo en la detección temprana de un infarto en mujeres”, expone.

Mientras sostiene que “la diversidad en los equipos de trabajo es un factor muy positivo”, apunta que “disponer de algoritmos sin sesgos permitiría un tratamiento de los datos más equitativo para la ciudadanía. Es una oportunidad que no debemos dejar pasar para, además, minimizar el impacto de los sesgos individuales, que es muy complicado que dejen de existir”.

“Hay distintas razones por las cuales la IA, tal y como está diseñada, no responde por igual a las necesidades de unas personas frente a otras, y ya no solo hablamos de diferencias de género, podemos hablar de muchos otros ejes de diversidad que hay en la sociedad y que no se reflejan de forma igualitaria”, destaca Soledad Torres Guijarro, profesora en la Escuela de Ingeniería de Telecomunicación de la Universidad de Vigo. “Lo que está claro es que, tanto en el diseño que se hace de estas tecnologías como en su aplicación, si no somos conscientes de esos sesgos no se va a resolver el problema. Y esa conciencia es difícil que permee dentro de equipos de desarrollo y de toma de decisiones que son poco diversos”.

“Creo que en cualquier ámbito hay que aplicar una mirada de género, y aquí hablamos de una mirada de género, pero hay que entenderlo de una forma cada vez más intersectorial; no solo en función de su género, hay que ver cómo esa variable combina con otros ejes de desigualdad para poder identificar otro tipo de discriminaciones o de sesgos: personas de color, con discapacidades, con distinta formación o distinto extracto social...”, enumera.

“Es urgente que, en todos los ámbitos de la vida, tanto en el personal, profesional, político... empecemos a pensar cómo afecta la IA a nuestras vidas, y hagamos una crítica de estas herramientas, pero una crítica constructiva. No se trata de abolir, algo que sería impensable y que supondría un retraso gigantesco en todos los ámbitos de conocimiento; está aquí para quedarse, cada vez va a ir a más, lo que tenemos que hacer es una revisión, una vigilancia y una crítica permanente de cómo están funcionado estos sistemas y cómo se pueden mejorar, porque, desde luego, hay un margen de mejora muy importante”, prosigue.

“La aceleración del desarrollo de este tipo de herramientas es difícilmente compatible con una revisión crítica, pausada, y con el desarrollo de un control normativo, legislativo, que nos defienda frente a posibles perversiones o efectos negativos que puedan tener”, reconoce Torres, que, sin embargo, está convencida de que “las posibilidades que abren estas herramientas para mejorar son muchas”. “El sistema VioGén, por ejemplo, utiliza la IA analizando casos pasados para extraer de ahí el conocimiento que le permite predecir cuál es la probabilidad de que una determinada víctima sufra una agresión. Es mejorable, pero es una herramienta muy valiosa y cuyo fin es loable”, cita como ejemplo. “En Europa existe una preocupación creciente y hay una iniciativa a nivel europeo para legislar, cosa que no sucede en otras partes del mundo. Eso es una buena noticia, pero existe una diferencia de ritmos: los productos y servicios basados en IA salen como setas en otoño mientras que la legislación europea va a tardar tiempo en pulirse y en trasladarse luego a las legislaciones de los países miembros. Entonces, hay que moverse antes. Hay que denunciar desde los medios, desde la ciudadanía, los abusos o funcionamientos de estas tecnologías para forzar, en cierta medida, que se corrijan”.

“A tecnoloxía, en xeral, ten nesgos”, apunta Eva Cernadas, profesora titular da área de Ciencias da Computación e Intelixencia artificial e investigadora vinculada ó Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS) na Universidade de Santiago de Compostela. “Hai moitos sistemas que sen usar a IA tamén teñen nesgos de xénero”, apunta. “O tema da discriminación dos algoritmos é, ata certo punto, normal, en base a como se están a deseñar eses sistemas”, explica. “Un sistema que aprende automaticamente o que fai é aprender en base a exemplos. Se temos un sistema que queremos que recoñeza a voz temos que proporcionarlle a ese modelo, para que aprenda, moitos audios e a saída desexada. Iso é algo que decidimos nós, as persoas. Tendo moitos exemplos, o modelo adéstrase para que cando lle pasamos un audio dunha persoa distinta, o recoñeza. Por que entón recoñecen mellor as voces dos homes que os das mulleres? Porque os exemplos que se lle presentaron foron maioritariamente de homes”, explica: “Hai moitos nesgos, de xénero, culturais, económicos, de idade, de raza... A cuestión é que o nesgo de xénero está intersecando a tódolos demais, porque homes e mulleres hai en tódolos colectivos, polo que a desigualdade e a discriminación de xénero que teñen os sistemas é máis sangrante que outras desigualdades e outras discriminacións”.

¿Qué se puede hacer entonces? “A variña máxica da solución probablemente non a teña ninguén, alomenos a longo prazo”, dice Cernadas. “Eu creo que hai cousas nas que podemos ser máis coidadosos, como ter un equipo de desenvolvemento máis diverso, que consiga facer uns sistemas acordes con tódolos colectivos”, expone. “Porque, unha vez poño a funcionar un sistema de IA, quen o avalía? Quen di que está ben e que está mal?”, se pregunta. “Haberá que preguntar a todo o mundo, non solo vale que o digan os homes brancos, que agora mesmo son os que teñen o poder sobre a tecnoloxía e son os que deciden”.

Es la tecnología la que debe adaptarse al conjunto de la sociedad

Susana Ladra

— Vicepresidenta del CPEIG

No hay ningún ámbito que quede libre de esos sesgos potenciales

Rebeca P. Díaz Redondo

— Telecomunicaciones UVigo

Debemos hacer una revisión, crítica y vigilancia permanente

Soledad Torres

— Telecomunicaciones UVigo

“A solución é complicada porque, tal e como funcionan os sistemas de aprendizaxe automático internamente, o que nos vai a predicir sempre é o maioritario, o predominante, dentro dos exemplos que lle mostramos antes. E se nós lle mostramos algo que está nesgado o que vai a predicir é algo nesgado, pero amplificado. A esencia diso é moi perigosa porque se nós temos algo que se sae da norma non o vai a considerar, porque vai a pensar que é ruído”. De este modo, para Eva Cernadas existe un riesgo añadido: “So predí o maioritario e, como na sociedade existe moita discriminación de xénero, as poucas iniciativas ou innovacións en cuestións de igualdade que haxa, o sistema de IA non as vai a potenciar, todo o contrario. Para min iso ten una preocupación moi grande porque os sistemas de IA poden estar retrocedendo dereitos fundamentais que as mulleres acadaron ata o momento, porque tódalas cousas diferentes de cada a igualdade que se vaian xerando van a quedar enmascaradas dentro dese aprendizaxe”, subraya.

La incorporación de más mujeres a las carreras tecnológicas es, para la investigadora del CiTIUS, “un tema candente”. “Si cada vez hai máis mulleres se incorporan ás carreiras tecnolóxicas se irán infiltrando máis nestes equipos de deseño da tecnoloxía, polo tanto, espérase que mellore”. Y, para demostrar dicha necesidad, pone un ejemplo muy claro sobre una aplicación de seguimiento médico que no controlaba el ciclo menstrual de las mujeres. “A única explicación diso é que no equipo de desenvolvemento non había ningunha muller e iso non se contemplaba nos deseños”, explica.

“Eu creo que ten que haber un cambio de mentalidade na sociedade en xeral. Non soamente en quen deseña, senón en quen consume. Se a sociedade sabe como se deseña exactamente isto, igual ó mellor di ‘pois a min isto non me gusta’”, expone: “Non é que eu non crea na IA, hai moitas tarefas que pode facer moi ben que non teñen ningunha contraindicación ética, pero cando estamos falando de que detrás diso hai persoas, aí é cando entran os conflitos, porque realmente as decisións que tome ese sistema ó que lle damos todo o poder ten repercusións, e poden ser moi graves”.

Estes sistemas poden estar retrocedendo dereitos

Eva Cernadas

— Investigadora do Citius

Hai que ter en conta cales son os colectivos máis vulnerables

Elena Vázquez

— Decana de Matemáticas

“É moi importante tratar de facer as cousas ben dende o principio: evitar que se incorran en certos nesgos”, apunta la decana de la Facultade de Matemáticas de la Universidade de Santiago (USC), María Elena Vázquez Cendón. “Se non nos poñemos esas lentes moradas tamén no ámbito da IA e collemos os datos e non temos eses filtros para producir resultados que sexan correctos para un mundo diverso como no que estamos, haberá nesgos”, advierte. Y, en este contexto, habla sobre la investigación de la profesora en la Universidad Pública de Navarra Paula Gordaliza Pastor, que recibió el premio de Investigación Matemática Vicent Caselles 2023, que tenía por objetivo diseñar y analizar métodos de aprendizaje automático que detecten, controlen y corrijan los datos en segados en los que a menudo se basan ya que sus conclusiones pueden discriminar a ciertos colectivos. “É algo no que hai que anticiparse”, apunta la decana.

“Os algoritmos teñen que ter en conta a diversidade porque senón os nosos mozos e mozas serán fillos duns datos que xa tiñan nesgos en partida”, añade: “Dentro de toda a ética e normativa que se está xerando en torno á IA hai que ter en conta cales son os colectivos máis vulnerables”.

“A IA debería de servirnos para destruír desigualdades, fomentar a equidade e apostar pola diversidade porque, ademais, na diversidade está a riqueza. Temos que tela en conta sempre porque sería unha mágoa que con esta nova revolución volvamos a estereotipos de antes”, advierte: “Os algoritmos teñen nais e pais e se non os pensamos tendo en mente a diversidade van nacer cos nesgos da xenética nos que foron concibidos e iso pode ser de novo tóxico”.

Suscríbete para seguir leyendo