Los sesgos no son un tema moral, son un tema de datos
Cuando se habla de sesgos en IA la conversación se vuelve filosófica enseguida, y así no sirve para nada. Vamos por lo concreto.
Acuérdate del capítulo 2: un modelo aprende de ejemplos que ya traen la respuesta. ¿Y de dónde salió esa respuesta? De decisiones que tomaron personas.
Entonces si en tu empresa durante diez años se contrató de cierta manera, el modelo que entrenes con esos datos va a aprender a contratar de esa manera. No porque sea malo, sino porque eso es literalmente lo único que le enseñaste.
Un modelo no aprende lo correcto. Aprende lo que pasaba. Y si lo que pasaba tenía una preferencia, la preferencia se hereda entera y se aplica más rápido que antes, a más gente, y sin la duda que a veces frenaba a una persona 😐
Los sesgos que ya se midieron
Esto no es teoría y no hace falta que me creas. Un estudio de Stanford midió que los detectores de texto escrito por IA marcaban como artificial el texto de personas que escriben en inglés como segunda lengua mucho más que el de nativos. Puedes leerlo en arxiv.org/abs/2304.02819.
Nadie programó esa discriminación. Salió sola: quien escribe en un idioma aprendido usa vocabulario más simple y frases más parejas, y eso se parece a lo que hace un modelo. El sistema hizo su trabajo perfectamente y el resultado perjudicó a un grupo concreto de personas.
Ese es el patrón, y por eso importa fuera de ese caso: el sesgo casi nunca es alguien siendo malo, es una señal que correlaciona con algo que no querías.
El error que más caro sale: el que nadie ve
Los errores llamativos casi no importan, porque se ven y se arreglan. Si el sistema dice una barbaridad, alguien la nota.
El que hace daño de verdad es el otro. El sistema se equivoca un poquito, de forma consistente, en un rincón que nadie revisa. Y como nadie revisa, sigue haciéndolo durante meses.
Pasa mucho cuando el mundo cambia y el modelo no. Cambió la ley, entró un competidor, cambió el proceso interno. El modelo sigue prediciendo con la lógica de antes y sus respuestas se van poniendo peores despacito, sin ninguna alarma.
La defensa no es técnica y por eso te la puedo pedir a ti: alguien tiene que estar mirando una muestra cada tanto. Diez casos al mes, revisados por una persona que sepa del tema. Es poquísimo trabajo y es la diferencia entre enterarte en un mes o en un año 🔍
El tercero: la seguridad prestada
Este te toca a ti directamente y ya lo vimos en el capítulo 4: el sistema escribe con la misma seguridad cuando acierta y cuando inventa.
Lo peligroso no es que se equivoque. Es que su seguridad se te contagia. Un texto bien escrito, ordenado y sin dudas se lee como si alguien lo hubiera comprobado, y nadie lo comprobó.
Esto tiene nombre y es más viejo que la IA: sesgo de automatización, o automation bias. Dice algo que suena obvio y casi nadie descuenta: cuando una máquina propone algo, la gente lo revisa menos que si lo hubiera propuesto una persona. Se estudia desde hace décadas en oficios donde eso mata, como pilotar aviones, y llegó a tu bandeja de entrada sin que nadie lo anunciara.
Por eso la costumbre que más te va a servir en el trabajo es esta: cuando algo que salió de una IA vaya a entrar en una decisión, en un documento oficial o delante de un cliente, comprueba las cifras y los nombres. No todo. Las cifras y los nombres 🙂
Lo que NO deberías creerte
Hay dos frases que circulan y que conviene desarmar.
"La IA es objetiva porque no tiene emociones." No tener emociones no la hace objetiva. Aprendió de decisiones que sí las tuvieron, y ahora las aplica sin dudar. Es lo contrario de objetiva: es una opinión heredada que perdió las dudas por el camino.
"Como es matemática, no discrimina." La matemática hace lo que le pidan sobre los datos que le den. Si en los datos había una preferencia, la matemática la reproduce con una precisión admirable.
Qué haces tú con todo esto
No hace falta que audites nada ni que sepas de estadística. Tres cosas que sí puedes pedir en cualquier reunión:
- ¿De qué datos aprendió y de cuándo son? Si son de una época en que las cosas funcionaban distinto, ya sabes algo.
- ¿A quién le funciona peor? No "cuánto acierta", sino con qué grupo falla más. Si nadie lo midió, no lo saben.
- ¿Quién mira una muestra y cada cuánto? Si la respuesta es nadie, ese es el problema, no el modelo.
Las tres son de sentido común y las tres son incómodas para quien no hizo la tarea. Por eso funcionan 🐣
Practica 💪
1. El código postal
Un banco entrena un modelo para aprobar créditos. Le quitan a propósito el sexo, la edad y el estado civil, para que no discrimine. Dejan el distrito. ¿Resuelto?
No. El distrito puede estar diciendo casi lo mismo.
Si históricamente se aprobaron menos créditos en ciertas zonas, el modelo aprende que esas zonas son mala señal, y sigue tratando peor a la misma gente aunque nadie le haya dado ninguna columna prohibida.
Quitar la columna no quita la información: la información vive repartida en las demás. Por eso lo que hay que medir no es qué columnas usa, sino a quién le funciona peor.
2. La pregunta que no se hace
Un proveedor te presenta su modelo: "acierta el 91% y hemos verificado que no usa datos sensibles". ¿Qué le preguntas?
"¿A qué grupo le funciona peor?"
Un 91% global puede ser 96% para un grupo y 71% para otro. El promedio esconde exactamente lo que te interesa.
Y la respuesta te dice mucho más que el número. Si te contesta con datos por segmento, lo midieron. Si te contesta "a ninguno, es objetivo", no lo midieron 😐
3. El error que nadie ve
De estos dos, ¿cuál hace más daño en un año? (a) un sistema que una vez al mes dice una barbaridad evidente, (b) un sistema que se equivoca un poquito, siempre en la misma dirección, en un rincón que nadie revisa.
El b, y por mucho.
La barbaridad evidente se ve, alguien la reporta y se arregla. El error pequeño y consistente se acumula: doce meses de decisiones un poco torcidas hacia el mismo lado, sin que salte ninguna alarma.
Es contraintuitivo y por eso está el ejercicio. Lo llamativo asusta más y cuesta menos.
4. Desarma la frase
"Es más justo que un humano, porque no tiene prejuicios." Contéstala en dos frases.
Una versión: "No tiene prejuicios propios, pero aprendió de decisiones que sí los tenían. Y a diferencia de la persona, las aplica sin dudar nunca."
Lo importante es la segunda mitad. Una persona con un prejuicio a veces se frena, hace una excepción, se lo piensa. Un modelo no: aplica lo aprendido con consistencia perfecta, que es justo lo que lo hace peor cuando lo aprendido estaba torcido.
5. Lo del estudio, aplicado
El estudio de Stanford encontró que los detectores marcaban más el texto de quien escribe en una lengua aprendida. Nadie programó eso. ¿Cómo llegó ahí?
Porque quien escribe en un idioma aprendido usa vocabulario más simple y frases más parejas, y eso se parece a lo que produce un modelo.
El sistema hizo su trabajo perfectamente: encontró una señal que separaba los casos. Que esa señal perjudicara a un grupo concreto de personas no estaba en su objetivo ni en el de nadie.
Ese es el patrón que hay que llevarse: el sesgo suele ser una correlación que nadie eligió, no una intención.
6. Tus tres preguntas
Escribe las tres preguntas de este capítulo en tu cuaderno o en el móvil, para la próxima reunión donde te presenten un modelo.
Son: ¿de qué datos aprendió y de cuándo son?, ¿a quién le funciona peor? y ¿quién mira una muestra y cada cuánto?
Ninguna es técnica y las tres son incómodas para quien no hizo la tarea. Esa es toda su fuerza.
Y si te da apuro hacerlas porque no eres del área técnica: son preguntas de negocio, no de código. Las puede hacer cualquiera que vaya a vivir con las consecuencias 🐣
Lo que te llevas
- Un modelo no aprende lo correcto, aprende lo que pasaba, preferencias incluidas.
- El sesgo casi nunca es maldad: es una señal que correlaciona con algo que no querías.
- El error caro es el que nadie ve. Alguien tiene que revisar una muestra cada tanto.
- Su seguridad se te contagia. Comprueba cifras y nombres antes de usarlos.
- Ni es objetiva por no tener emociones, ni deja de discriminar por ser matemática.
Comprueba que se entendió
Comprueba que lo tienes
Una empresa entrena un modelo para filtrar currículums con los que contrató en los últimos diez años. ¿Qué va a aprender el modelo?
- A parecerse a las decisiones que tomó esa empresa, con sus preferencias incluidas
- A elegir a los mejores candidatos objetivamente
- Nada útil, porque diez años son pocos datos
- A ser más justo que las personas, porque no tiene emociones
Hasta acá el mecanismo. Los tres capítulos que vienen son otra cosa: cómo se ve todo esto metido en una empresa de verdad 🐥
Los términos que salen en este capítulo
Están todos en el glosario de IA, con su definición corta.