#2 Explica tus Decisiones
Interpretar lo que no vemos
Estos días he estado desarrollando un Jupyter Notebook sobre la interpretabilidad y trazabilidad de los modelos de IA (te lo comparto al final por si quieres curiosearlo). Esto se refiere a nuestra capacidad de explicar los resultados de un modelo, es decir, ser capaces de decir en qué se está basando para arrojar un determinado resultado. Es un tema que parece reservado a lo técnico, pero en realidad nos toca mucho más de cerca de lo que pensamos.
Cada día interactuamos con modelos, a veces sin saberlo, y cada día nos enfrentamos a decisiones que no entendemos del todo.
En nuestra búsqueda por construir sistemas cada vez más potentes, a menudo olvidamos lo esencial: no basta con que un modelo funcione, necesitamos entenderlo. Necesitamos explicarlo, cuestionarlo y, sobre todo, poder confiar en él. Porque un modelo que no entendemos no deja de ser una caja negra, una herramienta que usamos a ciegas.
Es cierto que a veces tomamos decisiones y no sabemos muy bien por qué, pero en el fondo nos sentimos bien porque somos responsables de ello. Cuando, en cambio, un modelo que no entendemos toma decisiones por nosotros, esto se empieza a volver turbio.
La paradoja de la confianza
Nos enfrentamos a una paradoja interesante: somos mucho más permisivos con el error humano que con el de los modelos. Pero, a la vez, tendemos a aceptar sus decisiones con mucha más facilidad, sin cuestionarlas.
Piensa en la conducción autónoma. Estadísticamente, los vehículos autónomos son más seguros que los conductores humanos. Sin embargo, nos cuesta confiar en ellos. Ceder el control nos asusta. Nos incomoda la idea de que, aunque el riesgo sea menor, exista esa posibilidad remota de que algo salga mal y se produzca un accidente.
Curiosamente, en otros contextos, abrazamos sin más las decisiones algorítmicas. Por ejemplo, cuando un sistema decide qué noticias nos muestra, qué crédito nos conceden o quién es el candidato ideal para un puesto de trabajo, solemos aceptarlo sin cuestionar su razonamiento.
Es cierto, aquí estoy haciendo trampa... muchas veces, ni siquiera somos conscientes de que un modelo está tomando decisiones por nosotros. Y eso, en realidad, debería alarmarnos más todavía que lo otro.
Un algoritmo con un buen desempeño en una métrica no es necesariamente un buen algoritmo. Hay que profundizar más: entender por qué ha llegado a ese resultado.
Te pongo algunos ejemplos reales:
Un algoritmo que, con gran precisión, clasificaba entre aviones militares y comerciales, se estaba fijando para clasificarlos en color del cielo y la hora en la que se tomaba la foto.
Modelos de diagnóstico médico entrenados para detectar neumonías en radiografías de tórax, se fijaban en las marcas de los hospitales que aparecían en las radiografías. Si un hospital tenía muchos casos de neumonía, el modelo asociaba la marca con la enfermedad.
Modelos de detección facial capaces de detectar caras con alta precisión… salvo cuando se trata de personals negras. ¿La razón? No había visto suficientes ejemplos de estas caras durante el entrenamiento. Esto puede llevar al modelo incluso a pensar que estas pueden no ser caras reales.
La necesidad de explicabilidad
Imagina que un médico te diagnostica con una enfermedad grave. ¿Cómo reaccionarías si no te explica nada más? Te da el diagnóstico y ya, sin más datos. Esto no sirve, queremos ver los resultados, los métodos y el razonamiento. Necesitamos esa transparencia para confiar.
Con los modelos no debería ser diferente. Los sesgos existen, los errores también, y lo peor: un modelo opaco puede estar tomando decisiones incorrectas sin que nadie lo note. Es importante recordar que un modelo no piensa como nosotros; simplemente optimiza una función objetivo. No le importa el camino que toma, solo el resultado.
Por eso necesitamos el toque humano: nuestro criterio ético, nuestra capacidad para cuestionar y alinear los modelos con valores que van más allá de la precisión. No se trata de rechazar lo complejo ni de idolatrar lo simple y transparente, sino de encontrar el equilibrio entre potencia y comprensión.
Trazar el camino: iluminando la caja negra
La verdadera inteligencia no solo resuelve problemas; los explica. Genera confianza porque es transparente, porque permite que comprendamos cómo y por qué se han tomado ciertas decisiones. Como humanos, no buscamos solo respuestas: buscamos entender.
Si queremos construir sistemas que nos ayuden a tomar mejores decisiones, necesitamos algo más que buenos resultados. Necesitamos:
Entender el proceso.
Justificar su uso.
Asegurarnos de que su impacto sea ético, justo y transparente.
Una mirada más profunda
Te invito a hacerte esta pregunta la próxima vez que te enfrentes a una decisión algorítmica, o incluso a una que consideras tuya: ¿Qué camino se siguió para llegar aquí? Explorar el proceso no solo nos da control, también nos da claridad y confianza.
Iluminar la caja negra no es solo una cuestión de tecnología; es una manera de crecer como individuos y como sociedad. Cuanto más comprendamos los caminos, menos seremos rehenes de lo desconocido.
No basta con aceptar los resultados: hay que entenderlos.
Nos vemos en la próxima.
PD: Aquí te dejo mi notebook sobre la interpretabilidad de los modelos. En él ejecuto un árbol de decisión (modelo más explicable) y una red neuronal (modelo más opaco) para clasificar tumores de mama en dos clases benignos o malignos, y comparo los resultados en términos de explicabilidad.