Conversación con Gemma Galdón

Gemma Galdón es una de las personas de referencia en la ética de la tecnología y en responsabilidad algorítmica. Es fundadora y CEO de Eticas Consulting, empresa que implementa soluciones prácticas para la protección de datos, la ética, la explicabilidad y los desafíos de sesgo en la Inteligencia Artificial. Ha concebido y diseñado el marco de auditoría algorítmica que ahora sirve como base para el producto estrella de Eticas, la auditoría algorítmica.

Cuando te conocí ya eras una de las personas de referencia en la ética en el mundo de los datos. Sin embargo, me llamó la atención descubrir que previamente habías estudiado Historia. ¿En qué momento de tu vida decides que te quieres adentrar en el mundo algorítmico y no ser historiadora? ¿Fue un giro inesperado o fue un proceso gradual?

Yo creo que cada vez veremos a más personas de las ciencias sociales dedicándose a la tecnología porque creo que es imprescindible que la tecnología se alimente también de una compresión compleja de la realidad. Con lo cual no me parece que mi trayectoria sea un trayectoria sorprendente. Lo que sí es verdad es que aún somos pocos y que hay pocos tecnólogos y poca gente que entienda el valor que aportamos desde las ciencias sociales. A nivel biográfico la verdad es que pasa bastante tiempo desde que acabo mi primera licenciatura hasta que empiezo a trabajar en tecnología. Creo que acabé la licenciatura con 21-22 años y empecé la tesis con 32, si no me equivoco, con lo cual pasan muchas vidas entre medio y muchas cosas. Y al final para mí está bastante relacionado: yo me aproximo a la tecnología desde las ciencias sociales porque es lo que me permite entender la tecnología y además es lo que me permite entender a la sociedad. Lo que hago en mi trabajo es mirar y estudiar a la sociedad a través de las opciones tecnológicas que realizamos como sociedad. Y me parece que es un punto de vista riquísimo en términos de los “insights” que te permite tener sobre estas dinámicas sociales. Y me da unas herramientas que las metodologías tradicionales de la sociología y de las ciencias sociales no me daban. Pero creo que en el futuro esta división tan brutal que tenemos entre ciencias y letras va a derrumbarse, vamos, creo que tiene  que derrumbarse para que podamos sacar realmente tanto lo mejor de las ciencias sociales como de la tecnología 

Para muchas empresas y organizaciones, la ética en el uso de los datos no es una de las prioridades y se suele limitar al cumplimiento de la legislación vigente. ¿Cómo convencerías a los directivos y directivas de una organización para que incorporen la ética en el mundo de Analytics y los Datos? ¿Qué ventajas pueden obtener? 

Pues sí, es verdad que plantearse temas de impacto social de la tecnología no parece una prioridad para la industria tecnológica. Eso creo que tiene que ver con cómo se ha desarrollado el mercado tecnológico actual, que ha creído que puede solucionar problemas complejos a través de tecnología. Yo creo que cada vez iremos viendo que no es así, iremos viendo que la mejor tecnología se hace desde una comprensión compleja de la sociedad. Iremos viendo además que el cumplimiento legal es lo que garantiza la aceptabilidad social de esas tecnologías. Pero es verdad que es un tema que requiere un tiempo, como cualquier proceso de adaptación de la innovación tecnológica a las expectativas sociales. Yo siempre pongo el ejemplo de los coches, que no necesitan ni cinturones de seguridad, ni control de velocidad, ni limitadores de emisiones de contaminantes. Sin embargo, a nadie se nos ocurriría comprarnos un coche sin cinturón de seguridad. Hemos normalizado esas añadiduras que la tecnología no necesita pero que hacen que esa tecnología sea más aceptable y que además mitigue su impacto social negativo. Creo que igual que hemos ido aceptando los cambios y la regulación y una cierta organización de nuestro entorno precisamente para proteger a las personas también aceptaremos eso. Hace cien años no había supermercados donde todos los productos que se vendían tenían que estar perfectamente validados para asegurar la salubridad de esos productos y la salud de las personas. Hace cien años no teníamos vehículos, ni códigos de circulación, ni cinturones de seguridad. No teníamos estándares para la construcción de edificios. Las sociedades democráticas son un hito en la organización de lo colectivo y en la protección de las personas. Y eso requiere que la innovación, también la tecnológica, se someta a ese ejercicio de adaptación a las expectativas sociales y de mitigación de su impacto negativo. Yo creo sinceramente que dentro de cinco años miraremos para atrás y nos echaremos las manos a la cabeza de cómo es posible que implementáramos inteligencia artificial y nuevas tecnologías con tan poco cuidado y con tan poca conciencia de su impacto como ahora cuando nos dicen que hace años se vendía cocaína en las farmacias. Toda la historia de la humanidad es la historia de ese encaje entre la innovación técnica y tecnológica y las expectativas sociales.

En los últimos años, una de las regulaciones más “ambiciosas” sobre el uso de datos ha sido el Reglamento General de Protección de Datos  (GDPR en sus siglas en inglés). ¿Cuál es tu valoración del impacto que ha tenido? No me refiero a la intención que tenía el legislador, sino a los resultados que ha tenido en la vida de los ciudadanos y los consumidores. 

Yo creo que los usuarios estamos ahora mejor protegidos que en el pasado. Es verdad que aún no hemos llegado al despliegue total de la legislación pero básicamente porque hay una situación bastante generalizada de incumplimiento. La capacidad de la industria para adaptarse a la legislación está siendo muy lenta, vamos a paso de tortuga, pero cada vez estamos más protegidos, cada vez hay más malas prácticas que se están reportando y cada vez los ciudadanos tienen más herramientas para denunciar las malas prácticas con sus datos. 

GDPR sigue siendo una ley infrautilizada tanto por parte de la industria para mejorar sus prácticas como por los ciudadanos para denunciar esas malas prácticas pero creo que es un paso en el camino adecuado y es sencillamente una cuestión de tiempo. En el pasado ha ocurrido con otras legislaciones, como en los 80 cuando se empezó a legislar en temas laborales en las obras. Por desgracia hay unas leyes que requieren más tiempo que otras para que se implementen, pero no tengo ninguna duda que en el futuro la situación en términos de protección efectiva de la ciudadanía será mucho mejor que en el momento actual. Seguramente estamos en un muy mal momento porque tenemos un nivel muy acelerado de desarrollo tecnológico con poca protección real, efectiva en términos de prácticas, de los derechos de la ciudadanía, pero esto está cambiando y ese cambio se va a ver cada vez más. Creo que los consumidores serán cada vez más conscientes de que cuentan con esa protección legal y que no se puede hacer lo que se quiera con sus datos.

GDPR ha tenido un impacto brutal global, no solo en Europa. GDPR lo que consigue es lanzar el mensaje que el regulador se toma en serio los temas vinculados a la tecnología y que los daños puede crear una mala gestión de los datos personales son daños muy reales que deben ser tenidos en cuenta y protegidos. Desde Silicon Valley se lanza el mensaje de “no me vais a regular” o “creo el producto sin tener en cuenta la regulación y después ya nadie me va a contener”; GDPR demuestra que ésto no es así y que toda innovación tecnológica tiene que acabar pasando por algún tipo de regulación, igual que toda innovación en cualquier otro tipo ámbito. En ese sentido GDPR marca un antes y un después que estamos viendo ahora como se profundiza con el debate sobre la AI Act, la Digital Services Act, la Data Governance Act, o sea una batería de legislación que corrobora la necesidad de generar seguridad jurídica

Pero hay quien defiende que muchas de estas legislaciones sobre datos no han supuesto ningún “problema real” para Google, Facebook o Amazon y que los grandes afectados han sido las empresas pequeñas. ¿Qué opinas al respecto?

Pues en realidad a quien más impacta estas legislaciones es a los grandes, lo que pasa es que los grandes han sabido defenderse y hay muchos procesos que se están retrasando porque implican llegar a juicio. Pero yo creo que es precisamente la gran industria la que está viendo su posicionamiento más cuestionado por estas nuevas legislaciones. Es verdad que hasta ahora han cambiado pocas de sus prácticas pero creo que es cuestión de tiempo. La judicatura está actuando, las multas es verdad que muchas veces no tienen una cuantía que tenga un efecto preventivo de las malas prácticas pero sí creo que estamos cambiando tanto la conciencia social como la conciencia empresarial. 

En cuanto al impacto sobre las empresas pequeñas, yo creo que hay mucha mala comprensión de GDPR. A los abogados tradicionales les cuesta mucho implementar GDPR porque es una ley muy atípica, porque requiere de un conocimiento técnico muy importante y además requiere de mucha proactividad. GDPR lo que dice es “yo no voy a controlarte ex ante, sino que lo haré ex post”, con lo cual tú tienes que hacer las cosas bien porque si algún día algo va mal y no me demuestras que tomaste las precauciones necesarias va a caer sobre ti el peso del legislador, pero GDPR deja mucho espacio precisamente para que la industria diseñe las prácticas de protección de los daños personales. Lo que pasa es que la industria está haciendo un trabajo terrible. Por ejemplo, el legislador en el tema de las cookies plantea “si una cookie es un super-programa que puede instalarse en un ordenador y espiar cómo alguien trabaja, lo que teclea, lo que visita...pues tenemos que limitar esa capacidad”. Y la industria, en lugar de entender eso, lo que hace es crear unos pop-ups terribles, en los cuales intenta siempre desincentivar que la persona se niegue a que cada entrada o cada consulta de una página web implique una pérdida de privacidad. El problema aquí no es la regulación, el problema es como la industria está adaptando esa regulación. Creo que las PYMES que sean capaces de entender lo que les pide la legislación y de innovar, podrán incorporar la protección de datos no como una carga sino como una oportunidad. Nosotros con nuestros clientes utilizamos los temas de privacidad y consentimiento como una oportunidad para crear vínculos fuertes con sus clientes. Pero por desgracia parece que la industria no ha querido tomar este enfoque más innovador y más amable. Insisto, el problema no es la legislación. Si GDPR fuera más prescriptiva, entonces la industria se quejaría que el legislador es muy intrusivo en sus prácticas. Yo creo que GDPR abre una puerta para que las empresas pequeñas busquen valor añadido a través de la protección de los derechos de sus usuarios.

Y por cerrar el tema legislativo ¿qué país o países crees que están trabajando mejor la ética de los datos?

Quien destaca a nivel global es la Unión Europea, es quien se está poniendo mucho las pilas en términos de regulación. Hay también iniciativas independientes en países europeos. Por ejemplo en Holanda algunas ciudades están haciendo registros algorítmicos. En Francia se están haciendo registros algorítmicos a nivel estatal. En España, con la ley rider, se habla de la transparencia algorítmica. Pero creo que más que un tema de países, es un tema de sectores específicos.

Alguna vez, tù y yo hemos hablado del “Weapons of Math Destruction” de Cathy O'Neil, un  libro que yo siempre recomiendo a quien entender la importancia de la ética y los datos. ¿Qué otros libros sobre Ethics & Data recomendarías?

”La automatización de la desigualdad” de Virginia Eubanks -editado en 2018- que que acaba de ser traducido al castellano. “Algorithms of Opression” de Safiya Noble. Y ya más en temas de Datos “Data & Goliath” de Bruce Schneier.

En general se habla mucho de las bondades y el potencial de la Inteligencia Artificial, pero parece que nos olvidamos de asuntos capitales como por ejemplo los sesgos y la discriminaciones que muchos modelos algorítmicos incorporan. ¿Qué opinas al respecto? 

Cualquier innovación tiene potencial y tiene riesgos. Por ejemplo, en las innovaciones médicas son conscientes del potencial y de los riesgos, y hay “clinical trials”, y nadie se pondría una vacuna que no hubiese pasado un proceso de control. Lo que es anómalo es que en la industria tecnológica nadie se plantee que hay riesgos, sesgos, discriminaciones; y que nadie esté ni creando ni implementando las medidas para controlarlo. Por suerte, las sociedades democráticas tenemos entornos regulatorios que se encargan de proteger a las personas y que aseguran que toda innovación siempre está puesta en relación con su impacto social. Muchos sectores tecnológicos continúan insistiendo que son especiales y piden que les demos este espacio de innovación sin ninguna clase de control, lo cual me parece terriblemente irresponsable. La mejor innovación es la que es capaz de mostrar toda su potencialidad incluso en entornos donde hay riesgos y estos riesgos han de ser mitigados.

¿Y qué papel pueden jugar las auditorías analíticas para mejorar nuestros modelos? 

La auditoría es una de las metodologías que nos puede permitir llevar a cabo un cierto control de cómo funcionan estos sistemas (de Inteligencia Artificial). Es una pieza más dentro de un ecosistema regulatorio -de “check & balances”- que ha de controlar que todo aquello que llegue al ciudadano, al consumidor lo haga en condiciones de seguridad o, si fuera un alimento, “salubridad”. Yo siempre pongo el ejemplo de un yoghurt, que para que llegue a un supermercado y tú lo puedas comprar, hay una serie de  controles: desde la vaca hasta el envasado, los plásticos, el proceso de traslado, el supermercado...Si después de haber comprado un alimento, alguno de estos pasos ha fallado, tú como consumidor tienes unas herramienta de defensa del consumidor que puedes utilizar. Tenemos todo un ecosistema de regulación alrededor de cualquier producto o servicio que llega al consumidor y al ciudadano. En el caso de la tecnología, dentro de todo el ecosistema de herramientas con las que contamos, la auditoría de algoritmos es una de las piezas más prometedoras para poder poner encima de la mesa estos debates que son muy necesarios.

Una pregunta un poco personal. Igual estoy equivocado, pero creo que en el mundo de los Datos las mujeres lo habéis tenido más difícil que los hombres. ¿Estás de acuerdo?  ¿Has vivido situaciones laborales injustas por el hecho de ser mujer?

Vivo situaciones injustas por el hecho de ser mujer cada día y cada momento, por desgracia. Vivimos en una sociedad en la que las mujeres, muchas de nosotras, nos consideramos seres humanos en igualdad de condiciones que el resto. Pero la sociedad constantemente nos recuerda que somos mujeres y nos pone “en nuestro sitio” a través de la sexualización, de los comentarios fuera de lugar, de quitarnos oportunidades, de darnos un trato claramente diferenciado del que nos darían si fuésemos un hombre. Por tanto, las dificultades de las mujeres en el mundo actual son muy evidentes y en el mundo tecnológico que es un mundo copado por hombres, pues todavía más, porque se crean equipos de hombres que normalizan comportamientos que nos faltan el respeto y vulneran la igualdad de oportunidades.

¿Qué deberíamos hacer para revertir esta situación? 

La discriminación de las mujeres es un tema muy complejo. Para mí una pieza clarísima es que los hombres comiencen -comencéis- a entender que todos, por activa o por pasiva, de forma más o menos consciente, o bien protagonizáis o bien sois testigos de comportamientos que nos tratan de forma desigual. Lo que falta es activismo por parte de los hombres, que sois los que veis las cosas, que accedéis a los espacios a los que nosotras no podemos acceder y que podéis comenzar a crear un cierto entorno de “tolerancia cero” con ciertos comportamientos. Y me refiero a nivel profesional. Después está todo el tema del maltrato a las mujeres, del feminicidio, que son la punta del iceberg de muchos micromachismos. Creo que los hombres podéis hacer mucho más.

Recientemente entrevisté a Macarena Estévez (socia de Deloitte) y le pedí una pregunta para la siguiente persona entrevistada, que en este caso eres tú. La pregunta es ¿Crees que es mejor tener perfiles jóvenes en el equipo o más sénior? ¿Por qué?

Creo que hacen falta perfiles juniors y seniors. Los seniors te aportan muchísimo valor, porque nada sustituye a la experiencia. Y los juniors te aportan capacidad, porque son más manos aunque con menos experiencia. Los seniors crean estructura y los juniors llenan esta estructura. Creo que es una combinación imprescindible. No me puedo imaginar un espacio solo con seniors o solo con juniors, ya que tienen funciones diferentes. Los dos son irrenunciables, pero si tuviera que escoger, creo que los seniors son imprescindibles. Sin experiencia y sin “senioridad” acabas reinventando la rueda y no es nada eficiente. Ah, y cuando hablo de senior no hablo de edad, estoy hablando de personas con más años de experiencia en un ámbito o con menos años de experiencia

Y por último ¿qué pregunta le harías a la próxima persona entrevistada?  

Le preguntaría si la ética es importante en el desarrollo tecnológico, a ver qué dice.