El da que los algoritmos empezaron a discriminar a la gente sin querer

Cada vez hay ms pruebas de que los sistemas automticos que rigen la publicidad, las
opciones a crditos financieros y las ofertas de trabajo estn sesgados

Nanette Byrnes | traducido por Teresa Woods

https://www.technologyreview.es/s/6118/el-dia-que-los-algoritmos-empezaron-discriminar-la-
gente-sin-querer

[ver tambin https://www.technologyreview.es/buscar/ALGORITMO]

Durante cinco meses en 2011, un robot sobre ruedas recorri un edificio de la Universidad de
Carnegie Mellon (EEUU) para ofrecer pltanos, galletas y otros tentempis a los empleados. De
ojos bastante separados y boca rosa, Snackbot tena un aspecto amigable pero era propenso a
errores. Las largas pausas durante conversaciones con los empleados eran frecuentes y a veces
el sistema se colgaba.

Aun as, los trabajadores se acostumbraron a Snackbot. El autmata peda perdn cuando se
equivocaba, algo que sus creadores humanos encontraban entraable.

Formaba parte de un experimento diseado para determinar si las personas responderan

positivamente a un robot que personalizara sus interacciones. Snackbot fue diseado para
reconocer patrones qu tentempis prefera la mitad de la gente y haca comentarios al
respecto. Nunca aprendi las preferencias de la otra mitad.

Con el tiempo, la gente con la que ms intim Snackbot le devolvi el favor. Estas
personas eran ms propensas a saludarle por su nombre, elogiarle y compartir datos
voluntariamente con l. Al final del ensayo, una empleada administrativa le llev un regalo de
despedida, una pila AA, aunque ella saba que el robot no la podra utilizar, y le dijo que le
echara de menos.
Crdito: James Graham.

"Ella dijo que haba empezado a parecerle real", relata la investigadora de la Universidad de
Carnegie Mellon y lder del estudio, Min Kyung Lee.

En los aos transcurridos desde entonces, las mquinas han aprendido a ser incluso ms
personales. Las tecnologas de inteligencia artificial (IA) ayudan a asistentes personales
virtuales como Siri de Apple a contestar preguntas cada vez ms complejas y a emplear el
humor para esquivar temas poco apropiados. Los motores de recomendacin alimentados por
las IA de Netflix y Amazon mejoran constantemente a la hora de sugerir pelculas y libros.

Pero los avances para entender cmo se siente la gente acerca de este tipo de software han
sido ms lentos. Un reciente estudio de un grupo de 40 usuarios de Facebook encontr que
ms de la mitad no saban que sus muros son compilados por algoritmo; cuando se les
inform, expresaron sorpresa y en algunos casos enfado.

Tecnologas como la geolocalizacin alimentan sistemas de aprendizaje de mquinas con datos

para generar el nivel de personalizacin que hemos llegado a esperar. La analista de polticas
del Centro para la Democracia y la Tecnologa, Ali Lange, se pregunta: "Si busco el Starbucks
ms prximo,a quin le importa que Siri sepa dnde me encuentro?".

Pero estos sistemas de IA tambin toman decisiones basadas en motivos que tal vez nunca
lleguemos a comprender. Por eso los investigadores, abogados de derechos del consumidor y
reguladores han empezado a preocuparse por que los sesgos, intencionados o no, de los
sistemas de aprendizaje de mquinas puedan estimular patrones de discriminacin
algortmica con causas que podran resultar difciles de identificar. Esto no es algo terico: los
estudios ya han encontrado pruebas de sesgos en la publicidad en lnea, las acciones de
reclutamiento y las tarifas de servicios, todos ellos impulsados por algoritmos supuestamente
neutros (ver Confiamos ciegamente en algoritmos sesgados por sus propios desarrolladores).
En un estudio, la profesora de la Universidad de Harvard (EEUU) Latanya Sweeney examin los
anuncios de Google AdSense que se mostraron durante bsquedas de nombres asociados con
bebs blancos (Geoffrey, Jill, Emma) y de nombres asociados con bebs afroamericanos
(DeShawn, Darnell, Jermaine). Encontr que los anuncios que contenan la palabra
"detencin" se mostraron al lado de ms del 80% de las bsquedas basadas en nombres
afroamericanos pero al lado de menos del 30% de las bsquedas de nombres blancos. A
Sweeney le preocupa que la tecnologa de publicidad de Google perpete sesgos raciales
puedan socavar las posibilidades de una persona afroamericana en una competicin, tanto si la
recompensa final es un premio, una cita o un puesto de trabajo.

Los fundadores de nuevas empresas como BlueVine, ZestFinance y Affirm, que estn
empleando anlisis impulsados por IA para aprobar prstamos y ofrecer servicios de crdito,
afirman que sus empresas estn especialmenteadaptadas a los peligros regulatorios de las
prcticas financieras discriminatorias.

Aun as, las prcticas varan. Los algoritmos que alimentan Affirm, una empresa fundada por el
cofundador de PayPal Max Levchin, emplean datos de redes sociales para ayudar a establecer
la identidad de un cliente pero no para determinar la capacidad de un solicitante de cumplir
con los pagos de un prstamo. El fundador de ZestFinance y el antiguo director informtico de
Google, Douglas Merrill, se niega totalmente a emplear datos procedentes de redes sociales.
Lo considera "una idea perturbadora".

Affirm y ZestFinance han sido construidas sobre la idea de que, al estudiar decenas de miles de
puntos de datos, los programas de aprendizaje de mquinas pueden aumentar el nmero de
personas consideradas solventes. En otras palabras, los algoritmos alimentados con tantos
datos tan diversos estarn menos predispuestos a la discriminacin que las tradicionales
prcticas humanas basadas en un nmero de factores mucho ms limitado. Entre los
descubrimientos logrados por los algoritmos de ZestFinance: los ingresos no son tan buen
indicador de la solvencia como la combinacin de ingresos, gastos y el coste de vida en una
ciudad determinada. El algoritmo tambin toma nota de la gente que rellena una solicitud de
prstamos totalmente en maysculas, ya que su modelo ha encontrado que representan
peores candidatos para un crdito que la gente que rellena las solicitudes slo en minsculas.

Podran los datos con sesgos no reconocidos, al ser introducidos en tales sistemas,
convertirlos inadvertidamente en discriminatorios? La imparcialidad es uno de los objetivos
ms importantes, segn Merril. Para protegerse contra la discriminacin, su empresa ha
desarrollado herramientas de aprendizaje de mquinas para poner a prueba sus propios
resultados. Pero para los consumidores, incapaces de desentraar todas las complejidades de
estos secretos programas multifacticos, resultar difcil saber si han recibido un trato justo.