Paula Guerra Cáceres. Responsable de Incidencia de AlgoRace. (Des)racializando la IA
El lanzamiento de ChatGPT en 2022 por parte de la empresa OpenAI terminó de consolidar a la inteligencia artificial (IA) como el nuevo producto de moda en esta época gobernada por los algoritmos. Cada día vemos cómo surgen nuevas herramientas y aplicaciones tecnológicas para todo tipo de cuestiones, desde las más simples que nos ayudan en nuestro día a día y usamos en nuestros móviles, hasta las más complejas, utilizadas en campos como la medicina y la ingeniería. En medio de esta vorágine y euforia que provoca la IA hay quienes llevan tiempo investigando y analizando la forma en que los usos de tecnologías de inteligencia artificial y sistemas algorítmicos están reproduciendo patrones históricos de poder.
¿Es neutral la inteligencia artificial?
La narrativa oficial nos dice que la IA, por tratarse de un conjunto de operaciones matemáticas, es una herramienta neutral que produce resultados objetivos. ¿Qué hay de cierto en esta afirmación? Un sistema de inteligencia artificial está compuesto por una serie de algoritmos que se instalan en un ordenador y que, combinados entre sí, intentan reproducir procesos cognitivos de la inteligencia humana, como tomar decisiones o evaluar el entorno. Pero para que estos algoritmos hagan su trabajo deben ser “entrenados” con bases de datos, y son seres humanos quienes deciden qué datos se van a utilizar y cuáles se van a descartar, personas de carne y hueso que tienen sus sesgos de raza, clase, género, etc.
Esta decisión que toman personas reales hace que la IA sea todo menos neutral. De hecho, la mayoría de los desarrollos tecnológicos y algorítmicos están geopolíticamente situados en el norte global y los suelen llevar a cabo hombres blancos de clase media y media alta, contratados por grandes empresas tecnológicas, la mayoría de ellas -o las más importantes- con sede en Silicon Valley, Estados Unidos. Allí operan compañías como Google, Apple, LinkedIn, Amazon, Intel, Microsoft, X Corp. (dueña de la red social X, antes Twitter) y Meta (dueña de Facebook, Instagram y WhatsApp).
Que estas empresas tengan perfiles tan endogámicos y poco diversos en sus plantillas explica en parte por qué estas tecnologías están reproduciendo un sistema-mundo que sigue privilegiando a los privilegiados y oprimiendo a poblaciones ya vulnerables.
Por ello, es necesario preguntarse ¿qué relación existe entre IA y discriminación?, ¿entre IA y racismo?, ¿entre IA y precariedad?
¿Qué es un algoritmo y qué es la inteligencia artificial?
Antes de nada, es necesario diferenciar entre lo que es un algoritmo, un sistema algorítmico y un sistema de IA. Un algoritmo es cualquier conjunto de instrucciones o pasos que se siguen de forma ordenada y sucesiva con el fin de resolver un problema u obtener un resultado. Por ejemplo, los pasos que se siguen para calcular el promedio de notas de una alumna son un algoritmo: a cada prueba o test se le asigna un porcentaje o ponderación, luego se hace un cálculo de todas las pruebas en base a esa ponderación y por último se obtiene la nota final. Los algoritmos pueden ser expresados de muchas maneras, con lenguaje natural, con diagramas y en lenguaje de programación para ordenadores, que es la forma más conocida por las personas.
A partir de esta definición de algoritmo tenemos entonces que un sistema algorítmico es un conjunto de varios algoritmos, es decir, de varios pasos e instrucciones que se han formulado/programado para que, combinados entre sí, obtengan un resultado.
Por otro lado, un sistema de inteligencia artificial viene siendo lo mismo que un sistema algorítmico, pero con una diferencia: aquí los algoritmos tienen la capacidad de aprender de sí mismos con el fin de mejorar sus resultados, mediante el análisis y la búsqueda de patrones en los datos proporcionados, a través de lo que se conoce como machine learning (aprendizaje automático) y deep learning (aprendizaje profundo).
Por tanto, todo sistema de inteligencia artificial está compuesto por algoritmos, pero no todo sistema algorítmico es inteligencia artificial, aunque ambos se han utilizado de igual forma, y desde hace años, para automatizar desigualdades sistémicas.
Algoritmos e inteligencia artificial como mecanismos de racialización y discriminación
Una de las primeras cosas que llama la atención cuando se estudian los impactos de estos sistemas en la población, es que llevan muchos años ejecutándose. Conocido es el caso de la Escuela de Medicina del Hospital St. George´s, en Reino Unido, que en los años setenta comenzó a utilizar un sistema algorítmico para seleccionar a las personas que querían entrar a estudiar medicina en esta facultad. El programa informático que diseñaron analizaba, entre otras variables, el nombre y el lugar de nacimiento del candidato/a. En 1988, una década después de su implementación, la Comisión de Igualdad Racial de Reino Unido acusó a esta escuela de medicina de haber discriminado por raza y sexo en sus pruebas de admisión, que descartaban de forma automática solicitudes que contenían nombres de mujeres y nombres de varones de origen no europeo.
La forma en que estos sistemas racializan a la población se encuentra en varios ejemplos en distintos lugares del mundo. Además del mencionado arriba, está el caso de PredPol (abreviatura de predictive police), el sistema de policía predictiva utilizado en algunas ciudades de Estados Unidos y que ha provocado una sobre presencia policial en barrios de personas negras y latinas.
PredPol es un sistema diseñado en 2011 por el Departamento de Policía de Los Ángeles de Estados Unidos y la Universidad de Los Ángeles, con el fin de predecir dónde y cuándo es más probable que se cometa un delito, de manera que la policía patrulle esas zonas. Uno de los principales problemas de PredPol es que fue entrenado con denuncias de delitos del pasado, y debido a que los delitos que se suelen denunciar son los menores, como hurtos o tráfico de estupefacientes, que además se suelen producir en barrios de clases obreras, el sistema se empezó a retroalimentar: mientras más patrullas envia a esos barrios, más denuncias se recogen y por tanto más patrullas se siguen enviando. Cabe preguntarse qué zonas señalaría PredPol si en su entrenamiento se hubiesen incluido delitos de guante blanco, como blanqueo de capitales o evasión de impuestos.
PredPol ha sido duramente cuestionado por el resultado racista y clasista de sus “predicciones”. Tal como se afirma en un artículo del MIT Technology Review, en los sistemas de policía predictiva “los modelos de aprendizaje automático están entrenados con datos policiales sesgados” y que “lejos de evitar el racismo, simplemente lo ocultan mejor” al utilizar herramientas que tienen apariencia de objetividad.
Estos perfilamientos raciales a través de sistemas de IA se observan también en los sistemas utilizados para evaluar la probabilidad de reincidencia de personas presas que quieren acceder a un permiso de libertad vigilada. Es el caso de Compas (Gestión de perfiles de presos para medidas alternativas), en Estados Unidos, y Riscanvi (acrónimo resultante de unir las palabras en catalán “risc” que significa riesgo y “canvi” que significa cambio), en Cataluña.
El primero fue desarrollado por una empresa privada y se utiliza en el sistema de justicia penal de Estados Unidos. Compas evalúa 137 parámetros en las personas detenidas mediante la aplicación de un cuestionario. Entre las preguntas que se formulan están si la persona vive en un barrio peligroso, si algún miembro de su familia ha sido arrestado o cometido un crimen y si tiene algún amigo que pertenezca a una pandilla. También se les pregunta por su historial académico y laboral.
Varias investigaciones, entre ellas una de 2016 del medio de comunicación ProPublica de Estados Unidos, han concluido que Compas penaliza de forma sistemática a personas negras, asignándoles siempre una mayor probabilidad de reincidencia en comparación con personas blancas. Estás investigaciones han realizado estudios de casos que demuestran cómo hombres negros que fueron señalados por el algoritmo con una alta probabilidad de reincidencia, no reincidieron; y al contario, cómo hombres blancos a los que Compas asignó una baja probabilidad de reincidencia, terminaron reincidiendo.
Riscanvi funciona de un modo parecido. Este sistema fue diseñado por el Grupo de Estudios Avanzados en Violencia de la Universidad de Barcelona, en colaboración con servicios penitenciarios, y es utilizado por el Departamento de Justicia de Catalunya. Riscanvi evalúa 43 factores de riesgo que se agrupan en 5 categorías: criminal, biográfico, social, médico y psicológico. Al igual que Compas, Riscanvi termina penalizando variables que en realidad deberían ser atenuantes porque obedecen a desigualdades estructurales y sistémicas.
Hace poco, el medio de comunicación El Confidencial publicó un extenso reportaje en el que desgrana la forma en que Riscanvi genera una puntuación de riesgo en función de las características de la persona, y cuenta el caso de un joven senegalés sin papeles y con problemas de alcoholismo que entró en una de las prisiones catalanas en 2017 para cumplir una condena de dos años. A pesar de que la junta de tratamiento de la prisión propuso al juez un permiso de salida de tres días porque consideraban que era bueno para su rehabilitación, la fiscalía se opuso, entre otros motivos, porque Riscanvi le asignaba un “riesgo alto” de reincidir.
Compas y Riscanvi son utilizados desde 2009, lo que demuestra, por un lado, que el uso de estos sistemas lleva operando de forma opaca desde hace décadas y; por otro, que estos sistemas -junto a otros como PredPol- están actuando como un mecanismo de racialización en el sentido de que hacen desaparecer a la persona real para sustituirla por un conjunto de datos y puntuaciones, la mayoría de las veces negativas, que dificultan, o directamente anulan, su acceso a determinados derechos.
Fronteras digitales
Otro ámbito que se ve fuertemente impactado por usos de sistemas tecnológicos es el de fronteras y control de la migración. En la investigación “Fronteras SA: la industria del control migratorio”, elaborado por la organización porCausa en conjunto con El Confidencial, se detallan los millonarios contratos asignados a empresas como Indra con el fin de que proporcionen tecnología de vigilancia en fronteras, tales como cámaras de visión nocturna, sistemas de vigilancia satelital y radares para localizar pateras y cayucos.
A esto se suma el anuncio que hizo el gobierno en 2021 sobre la implementación en Ceuta y Melilla de la llamada “frontera inteligente”, a través de la cual se recogerán huellas dactilares, imágenes del rostro mediante tecnología de reconocimiento facial y datos biográficos de todas las personas no europeas que crucen por estos pasos fronterizos. El uso de este tipo de tecnologías quedará exento de supervisión cuando entre en vigor la recientemente aprobada Ley de Inteligencia Artificial, porque, a pesar de que en el texto se prohíben las tecnologías de reconocimiento facial por considerar que suponen “un riesgo inaceptable para la población”, decidieron hacer una excepción en contextos migratorios, amparándose en el concepto de “seguridad nacional”.
Además de esto, Frontex está utilizando drones para incrementar su vigilancia marítima e impedir que las embarcaciones lleguen a suelo europeo, y está probando diversas tecnologías como el “policía virtual” del proyecto IBorderCtrl, desarrollado para detectar emociones en los aeropuertos (reconocer cuando una persona está mintiendo), y el proyecto Sniffer, con el que se quiere reconocer el olor corporal de personas que intenten cruzar fronteras escondidas en coches.
Estos son solo algunos ejemplos que demuestran cómo estas herramientas siguen la lógica de poder norte-sur, perpetuando y automatizando el racismo de siempre, deshumanizando determinadas vidas, mediante sistemas tecnológicos que se nos venden como asépticos y neutrales.
Por ello es imprescindible la investigación de estos sistemas, visibilizar sus implicaciones en las poblaciones racializadas, hacer incidencia política y social y trabajar colectivamente en la elaboración de propuestas ante esta bola de nieve que no hará más que crecer.
Bibliografía
“Alegato para acabar con los algoritmos de vigilancia predictivos” (2020). MIT Technology Review.
“Fronteras SA: la industria del control migratorio” (2022). PorCausa y El Confidencial.
“Machine bias. There`s software used across the country to predict future criminal. And it´s biased against blacks” (2016). ProPublica.
MITCHEL, M. (2020). Inteligencia Artificial. Guía para seres pensantes. Capitán Swing. Madrid.
“RISCANVI. Un algoritmo define el futuro de los presos en Cataluña: ahora sabemos cómo funciona” (2024). El Confidencial.
SOUZA, M., & OLIVEIRA, M. (2021). O racismo algorítmico e a caverna de platão: como as novas tecnologias modulam o estigma do criminoso. In XII 12º CONGRESSO INTERNACIONAL DE CIÊNCIAS CRIMINAIS (CICCRIM) XX Congresso Transdisciplinar de Ciências Criminais do ITEC–RS.
“Una introducción a la IA y la discriminación algorítmica para movimientos sociales” (2022). Algorace.
Este artículo se publicó en Libre Pensamiento nº 118. Verano 2024.
