 |
| Imagen: El País |
Las máquinas inteligentes consolidan los sesgos sexistas, racistas y clasistas que prometían resolver.
Javier Salas | El País, 2017-09-22
https://elpais.com/elpais/2017/09/19/ciencia/1505818015_847097.html
Un hombre calvo, de unos sesenta años, mueve con sus espátulas de madera unos trozos de carne dentro de una sartén. Lleva gafas de pasta, vaqueros y está frente a los fogones de su pequeña cocina, decorada en tonos claros. Al ver esta imagen, la inteligencia artificial lo tiene claro y gracias a su sofisticado aprendizaje etiqueta lo que ve: cocina, espátula, fogones, mujer. Si está en una cocina, entre fogones, debe ser una mujer. Un equipo de la Universidad de Virginia acaba de publicar un estudio en el que señala una vez más lo que muchos especialistas vienen denunciando: la inteligencia artificial no solo no evita el error humano derivado de sus prejuicios, sino que puede empeorar la discriminación y está reforzando muchos estereotipos.
En su trabajo, estos científicos pusieron la lupa en las imágenes de dos gigantescos bancos de imágenes, de los que se usan habitualmente para entrenar a las máquinas. Y, sobre todo, en lo que aprendían de ellas. Inicialmente, los hombres protagonizaban un 33% de las fotos que contenían personas cocinando. Tras entrenar a la máquina con estos datos, el modelo mostró su flaqueza: dedujo que el 84% de la muestra eran mujeres. "Se sabe que las tecnologías basadas en big data a veces empeoran inadvertidamente la discriminación debido a sesgos implícitos en los datos", advierten los autores. "Mostramos que partiendo de un corpus sesgado de género", añaden, los modelos predictivos "amplifican el sesgo".
Las máquinas se hacen más sexistas, racistas o clasistas porque identifican la tendencia subyacente y apuestan por ella para atinar. Ya es bien conocido el caso de Tay, el robot inteligente que Microsoft diseñó para que se integrara en la conversación de Twitter aprendiendo de los demás usuarios: tuvo que retirarlo en menos de 24 horas porque empezó a hacer apología nazi, a acosar a otros tuiteros y a defender el muro de Trump. A estas alturas, los ejemplos de algoritmos que exacerban prejuicios o discriminaciones son innumerables y ponen en entredicho la gran promesa de estos sistemas: retirar de la ecuación el error humano. Los algoritmos nos condenan a repetir el pasado del que queríamos escapar al replicar los prejuicios que nos definían.
Google comenzó a etiquetar a personas negras como gorilas y Google Maps ubicaba la "casa del negro" en la Casa Blanca de la era Obama. Las fotos de los usuarios negros de Flickr se clasificaron como "chimpancés". La inteligente Siri de Apple, que tiene respuesta para todo, no sabe qué decir cuando la dueña del móvil le dice que ha sido violada. El software de Nikon advierte al fotógrafo de que alguien ha parpadeado cuando el retratado tiene rasgos asiáticos. Las webcam de HP no son capaces de identificar y seguir los rostros más morenos, pero sí los de blancos. El primer certamen de belleza juzgado por un ordenador colocó a una única persona de piel oscura entre los 44 vencedores. En EE UU, Amazon deja fuera de sus mejores promociones a los barrios de mayoría afroamericana (más pobres). Facebook permite a los anunciantes que excluyan de su target comercial a minorías étnicas y, en cambio, que incluyan a personas que se identifican explícitamente como antisemitas o a jóvenes que sus algoritmos han identificado como vulnerables y depresivos.
"Prometiendo eficiencia e imparcialidad, distorsionan la educación superior, aumentan la deuda, estimulan el encarcelamiento masivo, golpean a los pobres en casi todas las coyunturas y socavan la democracia", denuncia Cathy O'Neil, especialista en datos y autora del revelador libro ‘Armas de destrucción matemática’ ('Weapons of Math Destruction', Crown), en el que desmenuza todos los desastres algorítmicos a partir de su formación como doctora en Matemáticas en Harvard y su experiencia laboral como 'data scientist' en el mundo financiero. "Ir a la universidad, pedir prestado dinero, ser condenado a prisión o encontrar y mantener un trabajo. Todos estos campos de la vida están cada vez más controlados por modelos secretos que proporcionan castigos arbitrarios", alerta.
Como dice O'Neil, los prejuicios de los algoritmos pueden ser mucho más peligrosos y trascendentales. Lo comprobó hace unos meses la redacción de ProPublica, al descubrir que un programa que se usa en la Justicia de EE UU para pronosticar la reincidencia de los presos era notablemente racista. Los acusados negros eran el doble de propensos a ser mal etiquetados como probables reincidentes (y tratados más duramente por el sistema penal), mientras que los acusados blancos que sí reincidieron fueron etiquetados como de bajo riesgo con el doble de probabilidad que los negros. Los ciudadanos, y por supuesto los convictos, ignoran que su futuro lo está decidiendo un programa informático viciado que va a ser tan racista como el juez más racista. Fría, sosegada y concienzudamente racista.
Una investigación de la Universidad Carnegie Mellon descubrió que las mujeres tienen menos posibilidades de recibir anuncios de trabajos bien pagados en Google. Los programas que se usan en los departamentos de contratación de algunas empresas han mostrado inclinación por nombres usados por blancos y rechazan los de negros. Las autoridades policiales de varias ciudades usan programas que les ayudan a pronosticar los lugares en los que es más probable que haya delincuencia; de este modo, acuden más a estas zonas, detienen de nuevo a más gente allí y refuerzan el ciclo negativo. Y los seguros son más caros y severos para residentes en barrios pobres de mayoría negra. "El resultado es que criminalizamos la pobreza, creyendo que nuestras herramientas no son solo científicas sino justas", resume esta especialista.
Como señala O'Neil en su libro, en algunos casos, los problemas del algoritmo se deben a un problema en la selección de los datos. En otros, se debe al prejuicio subyacente en la sociedad, que el software simplemente hace suyo para acertar. Pero el mayor problema es el modelo económico: "Cuando se están construyendo sistemas estadísticos para encontrar clientes o manipular a deudores desesperados, los ingresos crecientes parecen mostrar que están en el camino correcto. El software está haciendo su trabajo. El problema es que los beneficios terminan sirviendo como un sustituto de la verdad". O'Neil denuncia que esto es una "confusión peligrosa" que surge "una y otra vez". Facebook deja que su algoritmo seleccione y venda anuncios a "gente que odia a los judíos" y "adolescentes vulnerables" porque se hace rico con ello; si les pagan, no pueden estar equivocados.
Un regulador frente a la opacidad
Son problemas descubiertos por periodistas, investigadores e instituciones. O cuando se hacen manifiestos y obligan a la empresa a corregirlos, pero ¿qué pasa con todos los procesos que ya están mecanizados y desconocemos cómo nos afectan? ¿Cómo sabrá una mujer que se la privó de ver un anuncio de trabajo? ¿Cómo podría una comunidad pobre saber que está siendo acosada policialmente por un software? ¿Cómo se defiende un delincuente de una minoría étnica que ignora que un algoritmo le señala? Facebook y Google, por ejemplo, son perfectamente conscientes de este problema y hasta nos explican cómo sucede, pero son absolutamente opacos y no permiten a nadie vigilar de un modo eficiente estos sesgos, critica O'Neil. Hay muchos más programas de este tipo aplicándose en el sistema judicial estadounidense, pero sus sesgos se desconocen, porque cada empresa mantiene sus algoritmos secretos, como la fórmula de la Coca-Cola.
Si el algoritmo se ha convertido en ley, debe ser transparente, accesible, discutible y enmendable, como la ley misma. Es lo que exigen cada vez más especialistas y organismos, como la 'Liga para la Justicia Algorítmica' o 'Inteligencia artificial ahora', que aseguran que el problema de las máquinas inteligentes son sus prejuicios sociales rampantes y no que vayan a provocar un apocalipsis al estilo Terminator. Y que, por tanto, hace falta crear reguladores públicos que revisen sus sistemas. Es una crisis que no va a hacer sino crecer: hace unos días escandalizaba un polémico algoritmo que pretendía identificar a los gais por su cara; en EE UU, por ejemplo, ya la mitad de la población tiene su rostro registrado en bases de datos policiales de reconocimiento facial. Y los gigantes de la red ya conocen hasta nuestra orientación sexual incluso sin ser usuarios de sus servicios. "No podemos contar con el libre mercado para corregir estos errores", zanja O'Neil.
En su trabajo, estos científicos pusieron la lupa en las imágenes de dos gigantescos bancos de imágenes, de los que se usan habitualmente para entrenar a las máquinas. Y, sobre todo, en lo que aprendían de ellas. Inicialmente, los hombres protagonizaban un 33% de las fotos que contenían personas cocinando. Tras entrenar a la máquina con estos datos, el modelo mostró su flaqueza: dedujo que el 84% de la muestra eran mujeres. "Se sabe que las tecnologías basadas en big data a veces empeoran inadvertidamente la discriminación debido a sesgos implícitos en los datos", advierten los autores. "Mostramos que partiendo de un corpus sesgado de género", añaden, los modelos predictivos "amplifican el sesgo".
Las máquinas se hacen más sexistas, racistas o clasistas porque identifican la tendencia subyacente y apuestan por ella para atinar. Ya es bien conocido el caso de Tay, el robot inteligente que Microsoft diseñó para que se integrara en la conversación de Twitter aprendiendo de los demás usuarios: tuvo que retirarlo en menos de 24 horas porque empezó a hacer apología nazi, a acosar a otros tuiteros y a defender el muro de Trump. A estas alturas, los ejemplos de algoritmos que exacerban prejuicios o discriminaciones son innumerables y ponen en entredicho la gran promesa de estos sistemas: retirar de la ecuación el error humano. Los algoritmos nos condenan a repetir el pasado del que queríamos escapar al replicar los prejuicios que nos definían.
Google comenzó a etiquetar a personas negras como gorilas y Google Maps ubicaba la "casa del negro" en la Casa Blanca de la era Obama. Las fotos de los usuarios negros de Flickr se clasificaron como "chimpancés". La inteligente Siri de Apple, que tiene respuesta para todo, no sabe qué decir cuando la dueña del móvil le dice que ha sido violada. El software de Nikon advierte al fotógrafo de que alguien ha parpadeado cuando el retratado tiene rasgos asiáticos. Las webcam de HP no son capaces de identificar y seguir los rostros más morenos, pero sí los de blancos. El primer certamen de belleza juzgado por un ordenador colocó a una única persona de piel oscura entre los 44 vencedores. En EE UU, Amazon deja fuera de sus mejores promociones a los barrios de mayoría afroamericana (más pobres). Facebook permite a los anunciantes que excluyan de su target comercial a minorías étnicas y, en cambio, que incluyan a personas que se identifican explícitamente como antisemitas o a jóvenes que sus algoritmos han identificado como vulnerables y depresivos.
"Prometiendo eficiencia e imparcialidad, distorsionan la educación superior, aumentan la deuda, estimulan el encarcelamiento masivo, golpean a los pobres en casi todas las coyunturas y socavan la democracia", denuncia Cathy O'Neil, especialista en datos y autora del revelador libro ‘Armas de destrucción matemática’ ('Weapons of Math Destruction', Crown), en el que desmenuza todos los desastres algorítmicos a partir de su formación como doctora en Matemáticas en Harvard y su experiencia laboral como 'data scientist' en el mundo financiero. "Ir a la universidad, pedir prestado dinero, ser condenado a prisión o encontrar y mantener un trabajo. Todos estos campos de la vida están cada vez más controlados por modelos secretos que proporcionan castigos arbitrarios", alerta.
Como dice O'Neil, los prejuicios de los algoritmos pueden ser mucho más peligrosos y trascendentales. Lo comprobó hace unos meses la redacción de ProPublica, al descubrir que un programa que se usa en la Justicia de EE UU para pronosticar la reincidencia de los presos era notablemente racista. Los acusados negros eran el doble de propensos a ser mal etiquetados como probables reincidentes (y tratados más duramente por el sistema penal), mientras que los acusados blancos que sí reincidieron fueron etiquetados como de bajo riesgo con el doble de probabilidad que los negros. Los ciudadanos, y por supuesto los convictos, ignoran que su futuro lo está decidiendo un programa informático viciado que va a ser tan racista como el juez más racista. Fría, sosegada y concienzudamente racista.
Una investigación de la Universidad Carnegie Mellon descubrió que las mujeres tienen menos posibilidades de recibir anuncios de trabajos bien pagados en Google. Los programas que se usan en los departamentos de contratación de algunas empresas han mostrado inclinación por nombres usados por blancos y rechazan los de negros. Las autoridades policiales de varias ciudades usan programas que les ayudan a pronosticar los lugares en los que es más probable que haya delincuencia; de este modo, acuden más a estas zonas, detienen de nuevo a más gente allí y refuerzan el ciclo negativo. Y los seguros son más caros y severos para residentes en barrios pobres de mayoría negra. "El resultado es que criminalizamos la pobreza, creyendo que nuestras herramientas no son solo científicas sino justas", resume esta especialista.
Como señala O'Neil en su libro, en algunos casos, los problemas del algoritmo se deben a un problema en la selección de los datos. En otros, se debe al prejuicio subyacente en la sociedad, que el software simplemente hace suyo para acertar. Pero el mayor problema es el modelo económico: "Cuando se están construyendo sistemas estadísticos para encontrar clientes o manipular a deudores desesperados, los ingresos crecientes parecen mostrar que están en el camino correcto. El software está haciendo su trabajo. El problema es que los beneficios terminan sirviendo como un sustituto de la verdad". O'Neil denuncia que esto es una "confusión peligrosa" que surge "una y otra vez". Facebook deja que su algoritmo seleccione y venda anuncios a "gente que odia a los judíos" y "adolescentes vulnerables" porque se hace rico con ello; si les pagan, no pueden estar equivocados.
Un regulador frente a la opacidad
Son problemas descubiertos por periodistas, investigadores e instituciones. O cuando se hacen manifiestos y obligan a la empresa a corregirlos, pero ¿qué pasa con todos los procesos que ya están mecanizados y desconocemos cómo nos afectan? ¿Cómo sabrá una mujer que se la privó de ver un anuncio de trabajo? ¿Cómo podría una comunidad pobre saber que está siendo acosada policialmente por un software? ¿Cómo se defiende un delincuente de una minoría étnica que ignora que un algoritmo le señala? Facebook y Google, por ejemplo, son perfectamente conscientes de este problema y hasta nos explican cómo sucede, pero son absolutamente opacos y no permiten a nadie vigilar de un modo eficiente estos sesgos, critica O'Neil. Hay muchos más programas de este tipo aplicándose en el sistema judicial estadounidense, pero sus sesgos se desconocen, porque cada empresa mantiene sus algoritmos secretos, como la fórmula de la Coca-Cola.
Si el algoritmo se ha convertido en ley, debe ser transparente, accesible, discutible y enmendable, como la ley misma. Es lo que exigen cada vez más especialistas y organismos, como la 'Liga para la Justicia Algorítmica' o 'Inteligencia artificial ahora', que aseguran que el problema de las máquinas inteligentes son sus prejuicios sociales rampantes y no que vayan a provocar un apocalipsis al estilo Terminator. Y que, por tanto, hace falta crear reguladores públicos que revisen sus sistemas. Es una crisis que no va a hacer sino crecer: hace unos días escandalizaba un polémico algoritmo que pretendía identificar a los gais por su cara; en EE UU, por ejemplo, ya la mitad de la población tiene su rostro registrado en bases de datos policiales de reconocimiento facial. Y los gigantes de la red ya conocen hasta nuestra orientación sexual incluso sin ser usuarios de sus servicios. "No podemos contar con el libre mercado para corregir estos errores", zanja O'Neil.
No hay comentarios:
Publicar un comentario
Nota: solo los miembros de este blog pueden publicar comentarios.