Conversación con Ana Valdivia

Ana Valdivia es una investigadora y defensora de los derechos fundamentales. Hija de migrantes andaluces, graduada en Matemáticas (UPC) y doctora en Inteligencia Artificial (UGR). Actualmente es investigadora en el King’s College de Londres, donde analiza cómo los algoritmos son utilizados para criminalizar los movimientos migratorios dentro y fuera de las fronteras.

Lo primero que quiero preguntarte es sobre la carrera que estudiaste: Matemáticas. ¿Lo tenías claro cuándo tomaste la decisión? ¿Cuál era tu motivación?

Sí, siempre he sido una persona de ideas claras. Era la única asignatura de Bachillerato que disfrutaba de entender y hacer los ejercicios. Recuerdo que cuando comenté entre mis círculos que quería estudiar Matemáticas, las preguntas que me hacían eran: ¿y eso para qué sirve? ¿pero eso es solo para ser profesora? En mi generación, la carrera de Matemáticas era poco conocida y no llamaba mucho la atención. Luego llegó la crisis, el boom del Big Data y las cifras del paro de esta carrera la convirtieron en una de las más demandadas en la actualidad.

En 2019 realizaste un Doctorado en Machine Learning y Natural Language Processing en la Universidad de Granada. Tu proyecto se centraba en métodos computacionales para extraer la opinión expresada en un texto. Cuéntame en qué consistió el proyecto, qué modelos exploraste y cuáles fueron tus grandes aprendizajes 

Siempre me ha motivado aplicar mi conocimiento para un bien social. Decidí estudiar cómo los métodos de análisis de opiniones, es decir, algoritmos que analizan la polaridad de una expresión (positiva o negativa), podían ayudar a entender mejor la opinión de los visitantes de monumentos culturales. Por ello, construí varias bases de datos con opiniones de visitantes de la Alhambra, la Mezquita de Córdoba o la Sagrada Família. Luego, apliqué varios algoritmos ya entrenados para analizar la correlación entre la polaridad que sacaba el algoritmo y la de la persona. Mi sorpresa fue que la correlación era muy baja, y ambas partes tendían a contradecirse. Recuerdo que me llevé un chasco, pero no estaba más que descubriendo los límites que tiene la inteligencia artificial.

De hecho, no es raro ver que hay empresas que ofrecen soluciones para el sentiment analysis. En mi caso la experiencia con estas soluciones no siempre ha sido satisfactoria (promesa versus realidad), pero me gustaría saber tu punto de vista al respecto. ¿Qué hay de mito versus qué hay de realidad?

Como he explicado en mi respuesta anterior, en mi caso los algoritmos que empleé tenían un rendimiento muy bajo. Una de las causas principales es el contexto. Si entrenas un algoritmo con opiniones de película y luego, aplicas este algoritmo en opiniones de hoteles, se debe esperar un rendimiento muy bajo ya que las expresiones que utilizamos son muy diferentes. Para ello, necesitas entrenar tu algoritmo con opiniones del dominio que estés analizando. En mi caso, debería haber etiquetado todas las opiniones que recogí de los monumentos culturales para después entrenar una algoritmo de análisis de opiniones que encontrara qué expresiones son más típicas de opiniones positivas y negativas, respectivamente.

Este hecho demuestra que para crear un algoritmo de análisis de opiniones se necesitan muchos recursos: (1) equipo de etiquetadoras que te etiquete las opiniones de tu base de datos, (2) servidor para almacenar tu base de datos y (3) potencia computacional para entrenar tus algoritmos. En muchos casos, estos recursos solo están al alcance de algunas empresas tecnológicas, que son las que actualmente están superando el estado del arte en este campo.

En los últimos tiempos he visto que en muchos modelos de NLP se opta por un enfoque basado en Transformers. ¿Qué te parece? 

Los transformers son un tipo de arquitectura computacional que permiten al algoritmo centrarse en la parte del texto que sea más relevante para realizar una tarea, como resumir un texto o traducir una frase del inglés al catalán. Si mal no recuerdo, el primer artículo científico que lo propuso fue “Attention is All You Need” el cual supuso una mejora en el estado del arte de ciertas tareas en NLP. No obstante, debemos mirar a estos modelos con una perspectiva crítica: ¿qué aportación a la sociedad realizan realmente estos modelos? ¿Qué impacto sobre el medioambiente tienen? ¿a quién van a servir?

¿Y qué piensas de GPT-3? 

GPT-3 es un modelo de NLP, que utiliza transformers, que tiene como objetivo producir un texto. Mi opinión sobre este tipo de modelos es bastante crítica , alejada de opiniones tecno optimistas y muy influenciada por el artículo ‘Stochastic Parrots’ el cual refleja de manera muy brillante cuáles son los límites y consecuencias negativas de estos algoritmos.

Una de las críticas al GPT-3 es la gran huella de carbono que implica entrenar estos algoritmos. Se necesita una gran cantidad de datos y de tiempo de computación para entrenar este tipo de arquitectura algorítmica, algo que consume mucha energía. Entonces, en el estado de emergencia climática en el que nos encontramos, me pregunto: ¿cómo va a mejorar la sociedad este tipo de “avances” tecnológicos? ¿al servicio de quién van a estar?

¿Qué lecturas recomiendas para estar al día de los avances de NLP?

Recomiendo leer los papers publicados en los congresos top de NLP como: EMNLP, ACL, COLING o NAACL. La serie de libros de O'Reilly sobre NLP y Python también es muy recomendable para aprender a programar.

¿Cuál sería tu recomendación para afrontar con éxito un proyecto de NLP?

Depende cómo definamos el concepto de “éxito”, ¿para quién y para qué? Si entendemos “éxito” como un proyecto que ayude a hacer de nuestra sociedad un lugar socialmente más justo, mi recomendación es evaluar y considerar como dicha tecnología va alcanzar este objetivo. Entender el contexto de dónde se va aplicar, y sobre todo ¿es realmente necesario este proyecto de NLP? Analizar las consecuencias políticas y medioambientales en el diseño de la tecnología y realizar un ejercicio de rendición de cuentas algorítmico.

¿Y qué grandes avances esperas en el campo del NLP en los próximos 5-10 años?

Espero más avances de grandes empresas tecnológicas, siguiendo la tendencia que estamos ya viviendo. Pero poca innovación por universidades públicas ya que carecen de infraestructura y financiación para realizar proyectos tan costosos. También espero un avance de la sociedad civil y la comunidad académica hacia una conciencia más crítica ante este tipo de mega modelos computacionales del lenguaje que no sabemos cómo van a ayudarnos a enfrentarnos a uno de los mayores retos que nunca se ha enfrentado la humanidad: la emergencia climática.

De un tiempo a esta parte estás trabajando en el proyecto Security Flows en King’s College University. Cuéntame cuáles son los objetivos principales de este trabajo de investigación

El proyecto de Security Flows se basa en analizar cómo fluyen los datos que se recogen en las fronteras y cuáles son sus consecuencias prácticas, políticas y éticas. Además, también estamos analizando qué tipos de tecnologías se implementan para el control migratorio y la seguridad fronteriza y cómo afecta a las personas que cruzan fronteras según su estatus legal y social.

¿Y en qué consiste tu participación en el proyecto? 

Mi participación en el proyecto consiste en dos tareas. La primera está relacionada con el uso de algoritmos para esclarecer qué tipo de datos se recogen y qué tecnologías se diseñan. Por ejemplo, en el marco del proyecto he diseñado un algoritmo que es capaz de recoger automáticamente todos los contratos europeos que se anuncian para implementar tecnología en la frontera de la Unión Europea. Gracias a este sistema, hemos sido capaces de analizar qué empresas se llevan dichos contratos, cuánto dinero nos está costando la digitalización de las fronteras y qué tipo de soluciones se está implementado. Por otro lado, mi rol en el proyecto también es el de trasladar el conocimiento de la inteligencia artificial a las ciencias sociales, para que mis compañeras entiendan mejor cómo funcionan algoritmos que se implementan en la frontera, como los sistemas biométricos, y ellas realicen el análisis social y político como expertas en ciencias políticas.

El análisis de los sesgos y las discriminaciones en los algoritmos es un campo que me parece crucial para definir el tipo de sociedad que queremos construir. ¿Podrías enumerar los principales riesgos que estamos corriendo? 

Para mí, el tema de los sesgos de la inteligencia artificial no es uno de los principales riesgos que estamos corriendo, porque se pueden corregir si hay voluntad. Bajo mi punto de vista, el principal riesgo que estamos corriendo con la inteligencia artificial es como esta tecnología está sirviendo de herramienta para reproducir violencia estructural, vulnerar derechos fundamentales y seguir apartando de la sociedad sujetos históricamente y políticamente oprimidos.

¿Y qué respuesta deberíamos dar como sociedad? Me refiero tanto a los Gobiernos, como las empresas como la sociedad civil

Debería de haber una voluntad política para legislar esta tecnología, crear una agencia de vigilancia algorítmica totalmente independiente. Dejar siempre a la persona decidir si quiere ser parte de un sistema automatizado o no cuando va a pedir una ayuda social o va a realizar una denuncia de violencia de género.

¿Cuál es la situación que tenemos actualmente en España si lo comparamos con otros países?

El panorama en España es interesante. En los últimos años se han propuesto iniciativas como AlgoRace o AlgoRights que están poniendo en el foco un discurso crítico de esta tecnología, el cual es muy necesario. No obstante, por otro lado, tenemos noticias que nos hacen ser muy pesimistas sobre España. Hace dos meses un tribunal desestimó la demanda de Civio que pidió más transparencia en el algoritmo que utilizan las eléctricas y el gobierno para las ayudas del bono social. Una de cal y una de arena.

Termina esta frase. Un buen algoritmo es aquel

Que está al servicio de la justicia social. 

Un tema que me preocupa es la falta de mujeres en el mundo de Data en particular y STEM en general. ¿Qué podemos hacer para reducir este GAP? 

Dejar de poner el foco en las mujeres y que los hombres dentro de estas carreras (y fuera) lean a bell hooks y su libro “El deseo de cambiar”.