La IA puede ser machista, racista y xenófoba. ¿Qué son las auditorías algorítmicas?
Aunque pueda ser cierto que, en muchos ámbitos, la Inteligencia Artificial es mucho más eficaz que el ser humano y obtiene resultados mejores y más precisos, lo cierto es que todavía hay algunos sectores en que los algoritmos distan mucho de ser perfectos. "Nos estamos saltando un montón de pasos en términos de entender los riesgos de estos nuevos mundos tecnológicos que estamos abriendo".
Gemma Galdón es directora y fundadora de Éticas Consulting, una fundación con servicios de consultoría cuyo objetivo es combatir el sesgo y la discriminación de la tecnología sobre algunos colectivos vulnerables. Sí, un algoritmo también puede ser machista, racista o xenófobo. Y esta es precisamente la diana a la que apunta el equipo de Galdón, quien elaboró su tesis doctoral en Sociología sobre políticas tecnológicas y se dio cuenta de que la tecnología dice mucho de nosotros como sociedad.
Los algoritmos se basan en la experiencia pasada
Entender la sociedad a través de la tecnología es un terreno fascinante que todavía tiene mucho por explorar. La sociedad actual sigue anclada en unos pilares altamente tradicionales y esto se ve reflejado de forma inexorable en las innovaciones que van apareciendo con los años. Uno de los ejemplos más claros es la IA, cuyos algoritmos se basan en experiencias pasadas para saber actuar en casos presentes y futuros. Estas experiencias pasadas han bebido del funcionamiento de la sociedad y no han podido evitar incorporar la discriminación en el desarrollo de los algoritmos. "Me encontré un gran interés por parte de entidades colaboradoras y de financiación cuando me centré en tratar temas sociales desde el punto de vista tecnológico. Era algo muy poco habitual cuando me doctoré y lo sigue siendo", reconoce la experta, en declaraciones a la Fundación Formación y Futuro.
El objetivo de Éticas Consulting es proteger a las personas de algunos procesos tecnológicos sesgados y lo hacen desde enfoques prácticos, efectuando auditorías de los sistemas algorítmicos de empresas y comprobando que no se vean perjudicados determinados colectivos por el hecho de ser vulnerables en la sociedad del 1.0. "A través de un equipo de personas del ámbito sociotécnico como yo, nos arremangamos y empezamos a pensar cómo podemos traducir preocupaciones sociales, valores y leyes en especificaciones técnicas", comenta Galdón.
Ejemplo práctico
Lo que hacen los datos es capturar dinámicas sociales. Galdón pone el ejemplo más claro de discriminación tecnológica: los algoritmos bancarios. "Lo que haces con el algoritmo es entrenarlo con datos históricos. Por tanto, el algoritmo toma decisiones en base a lo que ha sucedido en el pasado, que son los datos con los que tu lo has alimentado".
"Dado que hasta hace poco el representante económico de la familia era el hombre, históricamente los hombres están sobrerepresentados en las bases de datos. El algoritmo busca lo más habitual, que es lo que considerará más normal y, por tanto, eso es lo que privilegiará. Así pues, dará más créditos y más confianza a los que entran dentro de esta idea de normalidad. Como las mujeres estamos infrarepresentadas, el algoritmo entiende que las mujeres tenemos más riesgo porque en el pasado se nos han dado menos servicios bancarios".
Gemma Galdón. Socióloga experta en consultoría tecnológica
En lugar de entender que esta situación es una consecuencia de la discriminación histórica, el algoritmo entiende que debe de haber algún motivo para que esto haya sido así y por tanto convierte al colectivo de mujeres en lo que se denomina outliers (valores atípicos dentro de la muestra). En resultas, las mujeres reciben menos servicios bancarios. La posibilidad de recibir una negativa, aunque tengan el mismo historial económico y personal que un hombre, es superior en las mujeres. "Hay muestras de algoritmos que capturan dinámicas sociales de machismo, de racismo, de aporofobia... Encontramos discriminaciones de todo tipo, y no siempre contra colectivos vulnerables. A veces hemos detectado que los sistemas han tomado malas decisiones frente a colectivos de determinadas franjas de edad", explica Galdón.
Humanos contra máquinas
El método de los técnicos para detectar estos sesgos no se basa tanto en tecnologías de análisis y auditoría, sino que se cimienta en la experiencia y habilidad de los profesionales para poner a prueba al algoritmo.
"Muchas veces no es necesario que una empresa nos abra el código. A menudo, simplemente con hacerle preguntas al sistema y jugar con los datos tenemos suficiente. Lo que hacemos es desplazarnos a la sede del cliente para jugar con sus sistemas, sin necesidad de llevarnos nada. De hecho, muchas veces no llegamos ni a tener visibilidad de cómo funcionan los algoritmos a nivel general. Lo que hacemos es identificar determinados colectivos vulnerables y ver cómo se comporta el sistema sobre ellos".
Gemma Galdón. Socióloga experta en consultoría tecnológica.
De hecho, auditar un algoritmo técnicamente sería un fracaso para detectar prejuicios sociales. "Si contrataras un sistema para analizarlo automáticamente, te diría que un algoritmo racista es un algoritmo perfecto, porque reproduce fielmente las condiciones de la realidad. El problema es que a menudo queremos que no reproduzca fielmente estas condiciones porque muchas veces son ilegales o no son óptimas en términos de impacto social", aclara la directora de Éticas Consulting.
Doble beneficio
Las auditorías algorítmicas benefician tanto a la empresa que las solicita como a los clientes de la firma auditada. En el primer caso porque una toma de decisiones discriminatoria puede suponer un duro revés en la imagen corporativa, mientras que el cliente final, por su parte, tendrá garantizado un trato informático justo. Y es que normalmente, estos sistemas los desarrolla un proveedor externo que solo se basa en los datos históricos fríos, y la empresa final se limita a implementarlos.
Éticas Consulting está trabajando activamente en conseguir un sello de homologación de algoritmos justos avalado por las principales instituciones mundiales de normalización.
