Zillow dijo que el algoritmo lo llevó a comprar involuntariamente casas a precios más altos que sus estimaciones actuales de precios de venta futuros, lo que resultó en una depreciación de inventario de 304 millones de dólares en el tercer trimestre de 2021.
En una conferencia telefónica con inversionistas tras el anuncio, el cofundador y CEO de Zillow, Rich Barton, dijo que podría ser posible ajustar el algoritmo, pero que en última instancia era demasiado arriesgado.
El algoritmo de sanidad no marcó a los pacientes negros
En 2019, un estudio publicado en Science reveló que un algoritmo de predicción de atención médica, utilizado por hospitales y compañías de seguros en todo Estados Unidos para identificar a los pacientes que necesitan programas de gestión de atención de alto riesgo, tenía muchas menos probabilidades de marcar a los pacientes negros.
Los programas de gestión de cuidados de alto riesgo proporcionan personal de enfermería formado y seguimiento de atención primaria a pacientes con enfermedades crónicas, en un esfuerzo por prevenir complicaciones graves. Sin embargo, el algoritmo tenía muchas más probabilidades de recomendar estos programas a pacientes blancos que a negros.
El estudio descubrió que el algoritmo utilizaba el gasto sanitario como indicador para determinar las necesidades sanitarias de una persona. Pero, según Scientific American, los costes sanitarios de los pacientes negros más enfermos estaban a la par con los de los blancos más sanos, lo que significaba que recibían puntuaciones de riesgo más bajas incluso cuando su necesidad era mayor.
Los investigadores del estudio sugirieron que algunos factores podrían haber contribuido a ello. En primer lugar, las personas negras tienen más probabilidades de tener ingresos más bajos, lo que, incluso cuando están aseguradas, puede hacer que tengan menos probabilidades de acceder a la atención médica. Los prejuicios implícitos también pueden hacer que las personas negras reciban una atención de menor calidad.
Aunque en el estudio no se menciona el algoritmo ni su creador, los investigadores declararon a Scientific American que estaban trabajando con él para resolver la situación.
Un conjunto de datos entrenó al chatbot de Microsoft para lanzar tuits racistas
En marzo de 2016, Microsoft aprendió que el uso de interacciones de Twitter como datos de entrenamiento para algoritmos de ML puede tener resultados consternadores.
Microsoft lanzó Tay, un chatbot de IA, en la red social, y la compañía lo describió como un experimento de “comprensión conversacional”. La idea era que el chatbot asumiera la personalidad de una adolescente e interactuara con personas a través de Twitter utilizando una combinación de ML y procesamiento del lenguaje natural. Microsoft lo sembró con datos públicos anónimos y material preescrito por humoristas, y luego lo soltó para que aprendiera y evolucionara a partir de sus interacciones en la red social.
En 16 horas, el chatbot publicó más de 95.000 tuits, que rápidamente se volvieron abiertamente racistas, misóginos y antisemitas. Microsoft suspendió rápidamente el servicio para realizar ajustes y, finalmente, lo desconectó.
“Lamentamos profundamente los tuits ofensivos e hirientes no intencionados de Tay, que no representan lo que somos o lo que defendemos, ni cómo diseñamos Tay”, escribió Peter Lee, vicepresidente corporativo de Microsoft Research & Incubations (entonces vicepresidente corporativo de Microsoft Healthcare), en un post en el blog oficial de Microsoft tras el incidente.
Lee señaló que el predecesor de Tay, Xiaoice, lanzado por Microsoft en China en 2014, había mantenido con éxito conversaciones con más de 40 millones de personas en los dos años anteriores al lanzamiento de Tay. Lo que Microsoft no tuvo en cuenta fue que un grupo de usuarios de Twitter comenzaría inmediatamente a tuitear comentarios racistas y misóginos a Tay. El bot aprendió rápidamente de ese material y lo incorporó a sus propios tuits.
La herramienta de reclutamiento habilitada por IA de Amazon sólo recomendaba hombres
Al igual que muchas grandes empresas, Amazon está ávida de herramientas que puedan ayudar a su función de recursos humanos a filtrar las solicitudes de los mejores candidatos. En 2014, Amazon comenzó a trabajar en un software de reclutamiento impulsado por IA para hacer precisamente eso. Sólo había un problema: el sistema prefería ampliamente a los candidatos masculinos. En 2018, Reuters dio la noticia de que Amazon había desechado el proyecto.
El sistema de Amazon otorgaba a los candidatos calificaciones con estrellas del 1 al 5, pero los modelos de ML en el corazón del sistema fueron entrenados en 10 años de currículos enviados a Amazon, la mayoría de ellos de hombres. Como resultado de esos datos de entrenamiento, el sistema empezó a penalizar las frases de los currículos que incluían la palabra ‘mujeres’ e incluso rebajó la calificación de las candidatas de universidades exclusivamente femeninas.
En ese momento, Amazon dijo que la herramienta nunca fue utilizada por los reclutadores de Amazon para evaluar a los candidatos. La empresa intentó editar la herramienta para que fuera neutral, pero finalmente decidió que no podía garantizar que no aprendiera alguna otra forma discriminatoria de clasificar a los candidatos y puso fin al proyecto.
