Gemma Galdon es una voz líder en ética tecnológica y responsabilidad algorítmica. En nuestra conversación, ella explica las trampas de los algoritmos, los peligros de una actitud de “solo soy el técnico” y cómo ayudar a los tecnólogos a superar los prejuicios.

Esta moneda es parte de la serie de Ashoka sobre tecnología y humanidad.

Konstanze Frischen: Gemma, su investigación y su trabajo deben desmantelar las fuertes creencias populares en torno a la tecnología.

Gemma Galdon: Si. Nuestra empresa está enamorada de la tecnología. Tendemos a creer que todas las tecnologías funcionan bien y en realidad son mejores que los humanos, más objetivas.

Frischen: Entonces, ¿cómo se explica que este no es el caso, que la tecnología es a menudo susceptible de reproducir prejuicios y exclusión?

Galdon: Al final del día, un algoritmo es solo un cálculo matemático: si A y B, entonces C, aunque puede hacerlo mucho más complejo. Pero eso es lo que es. Es un conjunto de comandos. Los algoritmos pueden procesar muchos más datos que los humanos, pero no tienen creatividad ni capacidad para improvisar, y aprenden de lo que les das. Y ahí es donde entra el sesgo. Tomemos los algoritmos bancarios. Hasta hace muy poco, el representante bancario de una familia era con mayor frecuencia el padre, el hombre. Por tanto, los bancos tienen mucha más información histórica sobre los hombres. Si crea un algoritmo basado solo en información histórica, el algoritmo comprenderá que las mujeres son más riesgosas para prestar. Aunque las estadísticas muestran que somos mejores para liquidar préstamos. Hay estudios que muestran que las mujeres obtienen de 10 a 20 veces menos crédito que los hombres simplemente debido a los datos discriminatorios que se incluyen en el algoritmo. Entonces, en términos técnicos, un algoritmo perfecto es un algoritmo que refleja perfectamente la discriminación en la sociedad. En Internet y en los conjuntos de datos, los hombres blancos están marcando la pauta. Y cualquiera que no sea un hombre blanco de mediana edad es un caso atípico y es discriminado.

Frischen: La paradoja es que a menudo usamos algoritmos porque queremos ser más objetivos, es decir, basados ​​en datos.

Galdon: ¡Exactamente! Aquí hay otro ejemplo de buenas intenciones con malos resultados. En los Estados Unidos, se han realizado experimentos para evaluar a los profesores mediante algoritmos. La idea era: “Los humanos tenemos prejuicios. Quizás despidamos a los malos profesores. ¡Usemos un algoritmo neutral y racional que determinará quién es el mejor maestro! Cuando se desafió este algoritmo, se descubrió que tomaba decisiones sobre la calidad de los maestros en función de los puntajes de los estudiantes en matemáticas e idiomas. Esto es lo único que puede medir el algoritmo.

Frischen: El algoritmo asumió que el rendimiento de los estudiantes reflejaba la calidad de la educación, sin tener en cuenta las condiciones socioeconómicas, la raza, los códigos postales y todas las demás cosas que afectan el rendimiento escolar.

Galdon: También les da un muy mal mensaje a los profesores. Simplemente ponga su esfuerzo en matemáticas y lenguaje, porque todo lo demás no importa, lo cual es completamente incorrecto. Queremos que los profesores se impliquen, transmitan valores. Todo esto se ha perdido.

Frischen: Entonces, a pesar de las buenas intenciones, como muestran estos ejemplos, los algoritmos reproducirán sesgos, discriminación y otros resultados no deseados, a menos que haga un esfuerzo por corregirlos. Aquí es donde entra en juego la Fundación Eticas.

Galdon: Corregir. Eticas tiene muchas líneas de trabajo. Estamos investigando. Impulsamos a otras organizaciones que trabajan en tecnología responsable. Realizamos litigios estratégicos. Pero dedicamos la mayor parte de nuestros esfuerzos a la auditoría de algoritmos. Hemos estado interesados ​​en los sistemas de inteligencia artificial durante algunos años y, a partir de esa experiencia, hemos desarrollado una metodología para la auditoría algorítmica, para ayudar a las empresas y los gobiernos a terminar con la discriminación algorítmica.

Frischen: ¿Cómo funciona la auditoría algorítmica?

Galdon: Nuestra metodología tiene tres partes principales. Primero, evaluamos si un problema social específico se ha conceptualizado correctamente en términos de entrada de datos. Es muy importante. ¿Cómo traducir una preocupación social en puntos de datos? ¿Cómo y por qué elegimos los datos que elegimos? Hay un ejemplo infame relacionado con la priorización de personas en una sala de emergencias. Una compañía de seguros de los Estados Unidos que es propietaria de varios hospitales utilizó un algoritmo para realizar el triaje en la sala de emergencias. Y lo que se descubrió más tarde fue que debido a que era una compañía de seguros, construyeron el algoritmo con los datos que tenían, no con los datos que necesitaban. La gravedad de su lesión o enfermedad se evaluó en función de si su enfermedad era costosa de curar en el pasado. Esta es una forma poco ética de abordar la medicina, simplemente no es verdad. Tomas decisiones equivocadas porque ignoras los problemas médicos. Pero dado que estos son los datos que tenía la empresa, estos son los datos que utilizó. Queremos que la gente evite cometer estos errores. Así que primero intentamos enmarcar el problema en términos que tengan sentido.

A continuación, definimos qué comunidades podrían ser discriminadas, como en el caso de los bancos, las mujeres. Los protegemos mediante el uso de herramientas estadísticas para asignar mejor los riesgos.

Y finalmente, examinamos el impacto de la toma de decisiones algorítmicas. Queremos asegurarnos de que las personas que utilizan estas decisiones algorítmicas comprendan cómo funcionan, cómo deben integrarlas en su proceso de toma de decisiones, para evitar situaciones en las que los humanos reincorporen los sesgos al proceso.

Frischen: ¿Y cuál es la respuesta que ves en el mercado?

Galdon: En los últimos 3 años, el espacio para el debate ha madurado, pero aún así, a menudo no se traduce en acciones. Creo que uno de los problemas es que el debate sobre los prejuicios y la tecnología a menudo se limita a nociones abstractas de equidad y no discriminación. Lo que necesitamos es integrarlos en las especificaciones técnicas. No necesitamos buenas intenciones, necesitamos buenas prácticas. Necesitamos personas que lideren el camino en la protección de las mujeres en los algoritmos bancarios; minorías étnicas en algoritmos médicos; hijos de migrantes en algoritmos de evaluación de riesgos para niños, etc. Gracias a la auditoría algorítmica, eso es lo que estamos tratando de hacer y funciona bastante bien. En nuestra experiencia, nadie tiene un presupuesto para la auditoría algorítmica todavía, pero estamos abriendo el espacio para ello y estamos viendo avances. Y también fomentamos un ecosistema. Sabemos que la auditoría solo se convertirá en la norma si mucha gente sabe qué es y cómo se hace. Por eso también queremos ayudar a otros a convertirse en auditores algorítmicos y viajar por todo el mundo arreglando tecnología.

Frischen: ¿Considera que el enfoque multidisciplinario que fomenta (ingenieros, científicos sociales y emprendedores sociales que trabajan con codificadores) se está convirtiendo en la norma?

Galdon: Si. Este es claramente un problema que la ingeniería, hasta ahora, se ha limitado increíblemente a cuestiones puramente técnicas. Tenemos la sensación de que “los problemas sociales no son mi problema. Solo soy el técnico. Y esto está realmente mal. Las decisiones que toman estos ingenieros tienen un profundo impacto social en el mundo. Pero entonces, ¿podemos pedir a los ingenieros que codifiquen perfectamente para un mundo en el que no son expertos? Tome un negocio, no todos necesitan saber sobre contabilidad, pero permiten que las personas que saben sobre contabilidad los ayuden. Así que traducido a tecnología, eso significa que también necesitará ayuda con la codificación y los algoritmos. Tendrás tu equipo de ingenieros, pero tendrás que asegurarte de que en momentos críticos integres los conocimientos de sociólogos, filósofos, agentes de cambio, comunidades, para poder ofrecer un producto de calidad, justo y equitativo y que produzca la impacto previsto, cumple con la ley y evita riesgos para la reputación.

Frischen: ¿Cómo ayuda el cambiante panorama regulatorio?

Galdon: La ley ha evolucionado durante algún tiempo, especialmente en Europa, pero tenemos un gran problema de aplicación. Y tenemos que ver cómo cerrar esa brecha entre tener una ley y hacer que la gente realmente se dé cuenta de que hay una ley y que cambian sus prácticas para cumplirla. Es por eso que la auditoría algorítmica es tan oportuna, ya que es una respuesta práctica a los requisitos de estas leyes. Luego está el litigio estratégico: ir a los tribunales y señalar a los malos actores de la industria para mostrarles que hay consecuencias. Actualmente estamos trabajando en el reconocimiento facial para llevar ciertos desarrollos a los tribunales específicamente en España. Afortunadamente, se nos unen muchos otros grupos a nivel de la UE que trabajan en esto. En un futuro cercano, miraremos hacia el 2020 y diremos, ¿por qué estábamos implementando algoritmos en ese entonces que no fueron auditados? Es como vender un coche sin cinturón de seguridad. Será impensable.

———

La Dra. Gemma Galdon-Clavell es la Fundadora y CEO de Eticas Consulting, donde es responsable de liderar la gestión, dirección estratégica y ejecución de la visión de Eticas. Ella diseñó y diseñó la tecnología Algorithmic Audit Framework que ahora sirve como base para el producto estrella de Eticas. Bajo el liderazgo de Galdon-Clavell, Eticas ha forjado el desarrollo de un nuevo mercado confiable de ética digital e inteligencia artificial, llegando a todas las verticales, incluidos los servicios sociales, la atención médica, las finanzas, el gobierno, la educación, la ciberseguridad y más. También es asesora de ética tecnológica para instituciones públicas y privadas nacionales e internacionales, y es una conferencista y colaboradora de medios muy solicitada cuya misión es cambiar la forma en que pensamos sobre la promesa de la tecnología. Gemma Galdon se convirtió en becaria de Ashoka en 2020.

Puedes seguir a Gemma y su trabajo en Twitter a través de @gemmagaldon y @EticasFdn, @EticasConsult. Obtenga más información sobre el trabajo de Ashoka en Tecnología y humanidad.