¿IA Explicable o IA Interpretable?

«Curar a veces, aliviar a menudo, consolar siempre» 

(refrán médico)

Año 2022, llegas al hospital tras un accidente automovilístico con un dolor intenso en la cabeza pero aún consciente. Entras al triage y tras una evaluación del personal de urgencias eres clasificado como paciente crítico en riesgo vital. Se te indica que podrías estar sufriendo una hemorragia cerebral, en los próximos minutos tu cavidad craneal se podría llenar de sangre presionando tu cerebro hacia la médula espinal, provocando un paro respiratorio. Luego, una imagen confirma las sospechas de los profesionales y debes someterte a una cirugía lo antes posible. Momentos antes de tu operación se te indica que de acuerdo a la nueva regulación puedes elegir que te opere un neurocirujano senior del hospital o un robot autónomo.

El robot ha aprendido a replicar la operación con registros de miles de cirugías realizadas por múltiples médicos bajo diversas condiciones. Más aún, posée una tasa de complicaciones levemente inferior a la de un médico promedio. Sin embargo, en caso de que ocurra algún imprevisto para el cual no ha sido entrenado, no se asegura que el robot tome decisiones basadas en fundamentos médicos, ya que no sabe medicina -sólo sabe replicar cirugías-. Ni tampoco, en caso de complicaciones, podrá consolar a tus familiares, interpretando las condiciones que la provocaron en un lenguaje entendible para ellos, o explicarlas ante un tribunal. 

¿A quién elegirías que te opere? Si tu respuesta fue el médico ¿qué tan mayor tendría que ser la tasa de complicaciones del médico respecto a la del robot para que cambies de opinión? 

Con la creciente implementación de algoritmos de inteligencia artificial “cajas negras”, muchas empresas y reguladores han optado por restringir su oscuridad o complejidad. Sobre todo en los procesos de toma de decisiones de “alto riesgo”, como lo son la justicia criminal, la salud y la entrega de créditos. Es más, algunas empresas como JPMorgan y Google han creado puestos de trabajo especializados en explicarlas bajo el nombre de “XAI (Explainable AI)”.

Pese a que, en algunas situaciones, existe esta preferencia por modelos más transparentes, aún no hay un acuerdo generalizado sobre la definición de conceptos clave de “XAI”. Por ejemplo, muchos científicos y científicas de datos utilizan indistintamente los conceptos “IA Explicable” e “IA interpretable”.

Por un lado, “IA Explicable” (Post-Hoc Explanation) agrupa a todas las metodologías que se enfocan en analizar las predicciones de un algoritmo o el proceso de toma de decisiones seguido en su elaboración, ya sea de manera local (predicción para una observación en particular) o global (p.j. árbol de decisión que explique gran parte del modelo). 

Por otro lado, las metodologías de “IA Interpretable” (Self Explainable) se enfocan en resolver problemas de optimización complejos sujetos a restricciones de interpretabilidad para construir “cajas blancas” claramente comprensibles por los tomadores de decisiones. Estas restricciones de interpretabilidad pueden responder a limitaciones cognitivas del ser humano (p.j. cantidad máxima de variables a utilizar) o al contexto en el que se desarrolla el proceso de toma de decisiones (p.j. entregar “puntajes o ponderaciones” para distintas variables en un modelo de factores de riesgo clínico).

La académica Cynthia Rudin (Universidad de Duke, EE.UU.) en su publicación «Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead (Nature Machine Intelligence)» recomienda enfáticamente sustituir el uso de metodologías de “IA Explicable” por “IA Interpretable”, ya que, entre varias razones más, estarían perpetuando el uso de cajas negras, las que en varias ocasiones han demostrado ser falibles o incluso expresado sesgos discriminatorios. En efecto, argumenta que las “cajas negras” son muy atractivas para empresas y académicos que van por “el camino más fácil”, porque permiten mantener ocultas las “recetas secretas” de algunas herramientas patentables; que les entregan mayores beneficios económicos y no requieren de personal tan especializado como los de “IA Interpretable”. Además, argumenta que existe una concepción errónea de que los modelos interpretables siempre poseen una menor precisión que las cajas negras.

En palabras de Richard Feymann:

“El problema real (a resolver) en un discurso no es la precisión del lenguaje. El problema reside en la claridad del lenguaje. El deseo es comunicar claramente la idea a otra persona (…). Es prácticamente imposible decir algo con precisión absoluta, a menos que ese hecho sea tan alejado del mundo real que no represente nada real en absoluto”

 

Material Complementario:

  • Para una discusión de IA Explicable y IA Interpretable revisar:

Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead.Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

  • Para una revisión sobre conceptos y taxonomía de XAI y IA Responsable revisar:

Arrieta, A. B. (2019, October 22).Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsable AI. ArXiv.Org. https://arxiv.org/abs/1910.10045