Conversación con Carlos “Chato” Castillo

Carlos "ChaTo" Castillo (pronombre "elle") vive y trabaja en Barcelona, donde dirige un grupo de investigación sobre aplicaciones de la informática a problemas de interés social.

Antes de empezar, una curiosidad ¿te llamo Carlos o Chato? ¿Y cuál es el origen de ese sobrenombre?

Profesionalmente uso Chato como nombre. Era mi nombre en IRC, a mediados de los 90.

Pues arranquemos la entrevista, con un viaje al año 1994, que es cuando empezaste tus estudios de Ingeniería Informática en la Universidad de Chile. ¿Tenías clara tu vocación?

Yo no tenía ninguna duda de que iba a estudiar Informática. Mis papás me regalaron un ZX80 Spectrum a los 7 años y a esa edad empecé a programar, luego tuve un Atari 130 XE, así que siempre programé, desde muy pequeño. Era mi pasión, mi hobby, junto con leer, las matemáticas, la física, pero principalmente programar. Entonces para mí no había ninguna duda de estudiar informática. Además tuve la suerte que cuando entré en la Universidad fue cuando empezó el auge de la web, así que todo el tiempo que estuve allí fue durante lo que se llamó el boom de las punto .com. Así que llegué ahí en el momento preciso para vivir esa revolución

De hecho durante tu etapa universitaria realizaste ya algún trabajo como programador web e incluso hiciste tu doctorado sobre web crawling

En el año 96 y 97 las aulas de informática estaban vacías porque todos estábamos trabajando. Todo el mundo quería hacerse una página web y se necesitaba mucha gente para programar todos esos sitios. En mi caso, solo trabajando media jornada tenía un salario que me parecía súper atractivo Trabajé como desarrollador todo ese tiempo, y además tuve un hijo a los 17 años, así que por ese lado también era importante trabajar.  

¿Cómo comparas esa primera época de Internet con la situación actual? ¿Ha habido grandes cambios?

Desde entonces hasta ahora, hemos vivido 7, o incluso 8 pánicos morales. Por ejemplo sobre el copyright y la web, sobre la verdad y los medios sociales, sobre el uso de móviles por adolescentes. O ahora el pánico moral de la Inteligencia Artificial. Yo ya me estoy acostumbrando a vivir los pánicos morales. 

Lo que ocurre es que las cosas nunca se resuelven, son reemplazadas por otro pánico moral. Los problemas desaparecen de la atención del público y luego calladamente empiezan a semi-resolverse. Normalmente las cosas no son tan terribles como se predicen. De hecho, parte de mi foco en investigación ha sido “desinformación en las redes sociales”. Pero yo creo que estamos desinformados en general, sobre todo los temas. 

¿Dirías entonces que la desinformación que vivimos ahora en redes sería un nuevo pánico moral?

Es uno antiguo, que se repite. En medios sociales el pánico moral de la desinformación empezó a finales de los 2000, cuando Twitter empezó a ser más usado. Lo que vivimos ahora es una repetición del mismo pánico moral: la diferencia es que han aparecido otras herramientas para producir contenido de desinformación a otra escala. Ya hace tiempo existían bots, que generaban contenido repetitivo. Ahora, en cambio, se puede generar contenido más variado cuando se producen estos ataques.

Y si retomamos los primeros años de tu carrera profesional, tuviste tiempo para crear tu propia empresa: Newtenberg

Sí, la fundé con el socio que me contrató en mi primer trabajo. Nos centramos también en el desarrollo de páginas web porque era algo que me interesaba muchísimo. Me gustaba (y me gusta) la idea de poner información a disposición de la gente.

¿Y en qué momento decides salir de Chile y venirte a Europa?

Vine por primera vez a Europa en el año 2002. Estuve en Italia, España y Holanda y me explotó la cabeza. Me pareció super lindo cómo estaban organizadas las cosas. Me encantó que las ciudades fueran menos densas. Santiago de Chile es una ciudad bastante difícil, hay muchas distancias. Puedes conducir 60 kilómetros en línea recta y no sales de Santiago ciudad. Hay mucha gente, y es una sociedad bastante capitalista, es muy americanizada. Cuando llegué a Barcelona me sentí muy cómode. Ahora es mi hogar Barcelona.

En cuanto a la investigación, tuve la suerte que mi supervisor de tesis fue nombrado director de laboratorio de Yahoo! Research en Barcelona y me contrató como post-doctorado. Eso significó un tremendo inicio para mi carrera. Y realmente este tipo de investigación es mucho más fácil en un laboratorio privado que en la Universidad, donde tienes mucha carga administrativa y de docencia, y donde además los equipos son mucho más piramidales. En la investigación en la industria, puedes colaborar con personas de tu misma generación, con experiencias similares y eso trae una riqueza difícil de lograr en el ámbito universitario.  

Y después del post-doctorado, continuaste durante casi 6 años en Yahoo! Research

Sí, seguí trabajando en cosas similares a las que ya hacía, como por ejemplo la detección de páginas basura en Internet, que era un tema que me interesaba mucho. Pero en 2010, ocurrió en Chile un gran terremoto, uno de los top 10 grabados en la historia de los sismógrafos. Chile es un país muy largo y complejo en el que suceden todos los desastres naturales: terremotos, maremotos, incendios forestales, inundaciones, actividad volcánica, desplazamiento de terrenos…solo nos faltan langostas y ranas, haha. 

Así que en Chile hay una cultura bastante fuerte de gestión de desastres naturales. En los colegios se hace dos veces al año un simulacro de evacuación de emergencia y la gente sabe qué hacer frente a un terremoto. Si vives desastres naturales con frecuencia, te das cuenta de algo que se recoge también en el libro “Un paraíso construido en el infierno” (Rebecca Solnit). Y es lo siguiente: durante los desastres naturales la gente, en vez de gritar y correr en círculos, tiende a ayudar bastante, hay bastante solidaridad.  

Entonces, volviendo al terremoto de 2010, y dado que por aquel entonces las redes sociales ya eran muy relevantes, la pregunta que nos hicimos era si Twitter había contribuido a crear pánico o a ayudar. Nunca respondimos a esa pregunta, pero trabajamos un montón en temas de desinformación durante el terremoto e inmediatamente después. Vimos que en las redes sociales había información falsa, pero que la gran mayoría de las publicaciones de la gente eran ciertas, y además eran útiles. Entonces nuestra respuesta fue que los medios sociales podían contribuir a la gestión de emergencias, y no ser solo una herramienta que sembrara más caos. Eso implica aceptar que ante un desastre la gente no está indefensa sino que forma una primera línea de defensa. Estuve varios años más trabajando en este tema y en 2016 publiqué “Big Crisis Data: Social Media in Disaster”, un libro sobre el papel de las redes sociales durante los desastres naturales.

El hecho de que la gente se ayudara durante una tragedia, me parece un mensaje bastante reconfortante. Y años después de esa investigación ¿el paradigma ha cambiado? ¿Hemos ido a peor o hemos ido a mejor? 

Depende. En los desastres naturales la gente tiende a unirse, aunque también es cierto que la gente tiende a buscar responsables políticos y también es cierto que durante los desastres el poder es cuestionado y puede cambiar de manos. Pero inmediatamente después del desastre el foco es en información que sea útil para la gestión de la emergencia. Hoy en día los medios sociales están más integrados dentro de la gestión de una emergencia y las oficinas de protección civil suelen ser bastante activas en redes, es parte de su labor.

Sigamos avanzando en tu carrera. Yo te conocí en 2018 cuando fuiste uno de los ponentes en el evento de Data & Ethics que organizamos en BcnAnalytics. ¿Cuándo te adentraste en este campo? 

Después de pasar un tiempo en Qatar, regresé a Barcelona y tomé un grupo de investigación en el que conocí a Sara Hajian. Ella había trabajado con otros investigadores de la Universidad de Pisa en el ámbito de la “minería de datos equitativa”. Me interesó mucho el tema y preparamos juntos algunos tutoriales. 

Otro evento que me acerco a este mundo fue la investigación que Julia Angwin en ProPublica, en concreto su artículo Machine Bias, en el que hablaba de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un sistema de predicción de la reincidencia. Como el tema de la reincidencia me interesaba tanto, asistí a una charla organizada por el CEFJE (Centro de Estudios Jurídicos y Formación Especializado de Cataluña) y descubrí que en Catalunya, desde el 2009, se usa un sistema automatizado -basado en una regresión logística- para predecir la probabilidad de que un interno cometa un nuevo delito en los siguientes cinco años después de ser excarcelado. Este sistema no es solo un instrumento predictivo sino que también es una pieza central en la gestión integral de las prisiones catalanas. Eso sí, no se utiliza de forma aislada, no es que la herramienta decide lo que va a pasar con un preso o una presa. La decisión final la toma una Junta de Tratamiento, aunque la herramienta tiene mucha influencia. Y eso fue lo que me puso en marcha con el tema, porque vi que tenía datos.

Hoy en día, con la llegada de los LLMs los riesgos asociados al uso de los algoritmos parecen mayores. ¿Cuál crees que ha sido nuestra evolución como sociedad? 

A mí me parece que un desarrollo notable en este terreno es que se haya aprobado en Europa la IA Act. Hay que tener en cuenta que lo que está pasando ahora es que estamos expuestos a más riesgos porque hay más usos de la Inteligencia Artificial en más procesos. Por ejemplo, yo ahora estoy participando en el proyecto FINDHR, que se centra en el uso de la IA en los procesos de contratación. Y claro, esto tiene mucha más incidencia en tu vida. O, piensa en las Apps de citas, con sus sistemas de recomendación, tienen consecuencias; las parejas se conocen a través de las Apps de citas. Por tanto, son algoritmos que tienen consecuencias sociales, potencialmente demográficas.

Y también impacta en la movilidad social, ¿no?

Por supuesto. Pero es que hay más riesgos con el uso actual de la IA: la búsqueda de empleo, la administración de la justicia, sistemas biométricos, etc. Cuando la AI Act identifica las grandes áreas de riesgos, no se trata de riesgos teóricos: son riesgos reales. Y aunque todo es mejorable, a mí me parece algo notable que la AI Act imponga una serie de controles sobre el desarrollo de este tipo de algoritmos: antes del desarrollo, antes del despliegue y en la monitorización una vez puestos en producción. Es importante que sea algo mandado por ley, porque las empresas no iban a hacerlo por ellas mismas.

Estoy de acuerdo, pero permíteme que haga de abogado del diablo. Parece que Europa es un “rara avis”. De hecho,  algunas compañías . consideran que la Unión Europea está regulando en exceso y que esto puede frenar la innovación. Por ejemplo, hace unas semanas, Mark Zuckerberg y Daniel Ek escribieron un alegato en el que pedían a Europa  que abrazara os modelos “open-source” de IA ¿Qué opinas al respecto? ¿Se cumplirá aquello de que Bruselas se convierte en el regulador por defecto?

Quizá es una anécdota, pero en California hay una directiva, la CCPA (Ley de Privacidad del Consumidor de California), que está muy inspirada en el RGPD que aprobó la Unión Europea. Es decir, la legislación de Europa parece que es copiada en otros lugares. Yo creo que Europa quiere posicionarse como un lugar donde los datos son privados, como Suiza fue para los bancos. 

Yo no veo nada en la AI Act que sea prohibitivo y nada que yo no le aconseje a mis estudiantes de Ciencia de Datos que hagan. La documentación de los datos y la documentación de los modelos son buenas prácticas que no son creadas por Bruselas: son buenas prácticas que existen. Lo que hace la AI Act es codificar estas buenas prácticas y decir que no son opcionales. Y está bien que así sea. Son cosas que yo les enseño a mis estudiantes de Ciencia de Datos y que me parecen súper lógicas. Ningún requerimiento me parece particularmente oneroso. Por ejemplo, el algoritmo para recomendar películas en Netflix no está sujeto a la AI Act, ya que no se trata de un uso de alto riesgo. En general podemos decir que la AI Act se centra en los casos más directos en los que el algoritmo tiene un efecto directo sobre tu vida, como por ejemplo si va a cambiar la probabilidad de que recibas la libertad condicional o no. Quizás incluso se ha quedado corta, ya que me habría gustado que también regulara otras cuestiones como las Apps de citas, pero no ha sido así. 

Vamos a cambiar completamente de tercio: hablemos de diversidad. En mi caso, en los últimos tiempos he tenido muy presente el tema de la brecha de género y la escasa presencia de mujeres en el mundo STEM. Pero después de leer tu escrito A Late Non-Binary Transition -en el que detallas el proceso que te ha llevado a identificarte como persona no-binaria-, me he dado cuenta que el asunto de la diversidad va mucho más allá. Me gustaría que como persona no-binaria, me dieras tu perspectiva sobre este asunto y cómo podemos fomentar la diversidad

Mira, te cuento una experiencia un poco absurda. Hace un par de semanas fui a una empresa en Amsterdam a dar un curso y me recibió una persona que tenía la credencial de empleada y que la tenía colgada con una cinta multicolor con la banderita del orgullo LGTBI. Al principio pensé: “ah, mira, esta persona es queer”. Pero después empezó a llegar gente a la formación y casi un cuarto de las personas en la sala llevaban la bandera multicolor. Y eso me hizo sentir más cómode en ese lugar. Si tú me hubieras preguntado a principios de año sobre esta idea mi respuesta habría sido: “eso no va a cambiar nada”. Seguramente me habría enfurecido lo inútil de la propuesta. Pero lo cierto es que ese pequeño gesto sí cambió algo. No quiero decir que la diversidad tenga que convertirse en una serie de actos testimoniales. Pero esos actos testimoniales sí cambian las cosas. O al menos las cambian para mí. Y creo que más que pensar en una solución, hay que pensar en un conjunto de cosas que se mueven en la misma dirección y que apuntan a que las personas que no corresponden con el estándar pueden sentirse más cómodas en lugares llenos de otras personas.

Si tu, Manuel, vas a una reunión de 20 personas, y hay 19 mujeres te vas a sentir extraño. Vas a sentir una extrañeza y una conciencia de ti mismo que no es la normal. Y no vas a “perfomar” igual. Y si tú eres negro y llegas a una reunión y hay 19 blancos, lo mismo. Nadie está preparado -ni preparada- para interactuar con personas muy diferentes a si mismes, y por tanto no es algo que se pueda conseguir de la noche a la mañana. Pero hay pequeñas acciones que cumulativamente crean espacios para que la gente se sienta más cómoda siendo diferente. 

Creo que es muy interesante esta reflexión, y me parece muy importante lo de crear espacios seguros. Quería pedirte algunas recomendaciones literarias sobre sesgos y diversidad. Yo, recientemente, leí y disfruté “Invisible Women: Data Bias in a World Designed for Men”

Un primer libro que recomendaría es “The Algorithm: How AI Decides Who Gets Hired, Monitored, Promoted, and Fired and Why We Need to Fight Back Now” de Hilke Schellmann. Trata sobre el uso de algoritmos en los procesos de contratación de Recursos Humanos. El veredicto de la autora es que en los procesos de selección se utilizan muchos softwares…pero que estos softwares no funcionan.

Un segundo libro es “Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor” de Virginia Eubanks. La autora muestra cómo los algoritmos son usados en muchas ocasiones como una excusa para tomar decisiones sobre asuntos de los que políticamente uno no quiere hacerse responsable. Y también introduce un concepto inquietante: estos algoritmos tienden a ser implementados en entornos bajos en derechos, es decir lugares en los que la oportunidad para ejercer tus derechos está disminuida por alguna razón, como por ejemplo en las cárceles, los aeropuertos o la oficina de desempleo. En el fondo se trata de no hacerse responsable de una decisión que has de tomar, es decir, aplicar una especie de lo que Rumman Chowdhury denomina outsourcing moral.

Algo más que quieras comentar

Las acciones individuales, tipo boycott, son bien intencionadas, pero no funcionan. Hacen falta acciones colectivas, y éstas se pueden articular a través de organizaciones no gubernamentales. Es mejor unirse con otros, la acción individual poco cambia las cosas. Algunas asociaciones relevantes son Algorithmic Watch, La Quadrature du Net, Open Rights Group o Xnet.