Durante años, la inteligencia artificial (IA) ha avanzado a un ritmo vertiginoso gracias a modelos cada vez más complejos y potentes, especialmente los basados en redes neuronales y aprendizaje profundo (deep learning). Sin embargo, esta potencia ha tenido un precio: la opacidad. Muchos de estos sistemas funcionan como auténticas “cajas negras”, capaces de ofrecer predicciones o decisiones sin que ni los propios desarrolladores puedan explicar del todo cómo se han obtenido.
De hecho, personalmente opino, que ha sido un acto deliberado que se nos inculca a los ingenieros desde la facultad, la aproximación de caja negra. Dadas unas entradas, en este caso una gran cantidad de datos disponibles, el algoritmo (la caja negra) generaba un resultado. Es una técnica que se ha venido empleando desde los comienzos de la informática.
Y esa aproximación es correcta en la mayoría de las circunstancias excepto cuando empieza a afectar al día a día de muchos individuos ya que muchos aspectos importantes de la vida cotidiana quedan sometidos al resultado de un algoritmo con implicaciones muy relevantes.
El problema de la “caja negra”
Imaginemos un sistema de IA que decide si una persona obtiene o no un crédito bancario, o que ayuda a diagnosticar enfermedades. A priori, no son usos sorprendentes, en el caso del crédito bancario, tampoco es ciencia ficción, pero su resultado afecta de manera crucial a las personas. Si el modelo niega un préstamo o sugiere un tratamiento equivocado, es esencial saber por qué lo ha hecho. Sin embargo, los modelos más avanzados (como las redes neuronales profundas) procesan millones de parámetros y capas de información que hacen casi imposible entender su razonamiento.
Es decir, como individuo afectado por el resultado de ese algoritmo, tengo el derecho a conocer que elementos han sido tomados en cuenta durante su proceso de evaluación y en base a que criterios, se me ha denegado o aceptado el citado crédito.
Esta falta de transparencia genera desconfianza y, sobre todo, riesgos éticos y legales.
Y no nos tenemos que ir muy lejos para encontrar casos en los que esto está sucediendo. A modo de ejemplo, comparto el caso del algoritmo llamado Bosco (https://www.xataka.com/legislacion-y-derechos/algoritmo-que-decide-quien-recibe-bono-social-para-luz-gobierno-jueces-se-niegan-a-ensenar-codigo) desarrollado por el Gobierno y empleado por las compañías eléctricas en la asignación del bono social de electricidad, algo clave para las familias más desprotegidas.
La respuesta: XAI (Explainable Artificial Intelligence)
La IA explicable o XAI surge como respuesta a esta necesidad de comprensión y transparencia. Su objetivo es permitir que los sistemas de IA expliquen de forma comprensible las razones detrás de sus decisiones, sin sacrificar del todo la precisión o la potencia del modelo.
No se trata solo de una cuestión técnica, sino también regulatoria y social. La Unión Europea, a través del AI Act (https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai) o en español, La Ley de Inteligencia Artificial de la UE, establece requisitos de transparencia y explicabilidad en los sistemas de IA, especialmente en aquellos considerados de riesgo alto, como los que afectan a la sanidad, la justicia, las finanzas o el empleo.
Recordemos que la citada ley establece 4 niveles o categorías donde debemos clasificar cada algoritmo de IA. Estos 4 niveles son:
- Riesgo Nulo
- Riesgo Limitado
- Riesgo Alto
- Riesgo Inaceptable
El reglamento exige que los usuarios comprendan cómo y por qué un sistema toma una decisión, promoviendo así la responsabilidad y la trazabilidad de los algoritmos y por tanto, las empresas que han creado los algoritmos deben poner las herramientas necesarias a disposición de los usuarios para conseguir el citado fin.
Cómo se puede “explicar” la IA
Bien, la motivación y la necesidad parecen claras y cada vez tendrán más importancia dado el despliegue de algoritmos en casi todas las áreas de nuestra vida. Pero ¿cómo conseguimos convertir un algoritmo de AI de caja negra en algo que tenga sentido para un humano?
Afortunadamente existen distintas estrategias para lograr que los modelos sean explicables. Son técnicas que exigen un profundo conocimiento de la AI y sus interioridades para ser aplicadas, mientras que su entendimiento es, afortunadamente, bastante más sencillo. A continuación, se mencionan algunas de estas estrategias:
- Modelos intrínsecamente interpretables: En lugar de usar modelos opacos o muy complejos, podemos recurrir a modelos cuya estructura sea más fácilmente comprensible. Sin duda, aplicar un árbol de decisión o un modelo de regresión lineal permitirá una comprensión más directa de los resultados, eso sí, con frecuencia, a costa de ser menos preciso.
- Métodos post-hoc: Cuando el modelo ya está entrenado, se aplican técnicas que ayudan a interpretar sus decisiones. Algunos ejemplos son:
- LIME (Local Interpretable Model-agnostic Explanations): crea un modelo local simple para aproximar el comportamiento del modelo complejo en torno a una predicción concreta.
- SHAP (SHapley Additive exPlanations): mide la contribución de cada variable de entrada a una predicción concreta basándose en la teoría de juegos. Muy visual y fácil de entender.
- Grad-CAM y saliency maps: en el ámbito del deep learning visual, destacan las regiones de una imagen que más influyen en la decisión de una red neuronal.
- Técnicas de visualización y narrativa: ayudan a traducir las explicaciones técnicas en lenguaje comprensible para usuarios no expertos.
Hacia una IA más responsable y humana
En el caso europeo, que es el que nos afecta, no podemos olvidar la dimensión sancionadora del reglamento, ya que éste establece multas en el caso de incumplimiento de sus directivas. Estas sanciones se podrán fijar como un porcentaje sobre la facturación de la compañía afectada o una cantidad fija. En ambos casos, los límites superiores son de importancia.
Además, esta evolución hacia la IA explicable no solo debe responder a las leyes o al riesgo de multa, sino que debe existir una motivación ética y práctica: los sistemas de inteligencia artificial deben poder justificar sus decisiones del mismo modo que lo haría un humano.
Si queremos integrar la IA en nuestra vida cotidiana sin un sentimiento de rechazo por parte de los ciudadanos, debemos generar confianza, y esta confianza en la IA dependerá tanto de su capacidad predictiva como de su capacidad para explicarse y ser entendida sin grandes dificultades.
La XAI, en definitiva, representa el paso necesario de la opacidad a la transparencia, del poder sin control a la confianza informada. Solo así la inteligencia artificial podrá integrarse de forma segura y responsable en los ámbitos que más afectan a nuestras vidas.
Y cerrando el círculo con la mención anterior al algoritmo Bosco, ante la negativa del propio Gobierno de mostrar las tripas del algoritmo, recientemente se ha producido una sentencia del Tribunal Supremo que tumba esa aproximación y que ha obligado a revelar todo el código fuente del algoritmo. https://almacendederecho.org/juicio-final-sobre-bosco-la-sentencia-del-tribunal-supremo. De otra manera, el gobierno se ha visto obligado a cumplir su propia legislación,
No creo que se pueda considerar como un ejemplo de XAI ni por la intención ni por el resultado, pero si una tendencia a entender “que es lo que hay detrás”. Nos encontramos en el comienzo de una nueva corriente.
Una IA ética y explicable
Nota: las imágenes han sido generadas empleando IA.












