Human-in-the-loop en IA industrial: el principio clave del AI Act e ISO/IEC 42001 que redefine la operación con inteligencia artificial

Human-in-the-loop (HITL) es el principio técnico mediante el cual se garantiza que un sistema de inteligencia artificial opera bajo supervisión humana significativa durante su ciclo operativo, de forma que las decisiones con consecuencias materiales se toman con participación humana efectiva y no como resultado autónomo del sistema algorítmico. El principio está formalmente establecido como requisito legal vinculante en el artículo 14 del Reglamento UE 2024/1689 (AI Act) para sistemas de IA clasificados en alto riesgo —categoría que abarca específicamente la IA aplicada a seguridad industrial, control de maquinaria y procesos críticos—, y como requisito de control de gestión en la cláusula 8 de ISO/IEC 42001:2023 (AI Management System) en combinación con los controles del Anexo A. Técnicamente, el principio se materializa en tres configuraciones formales progresivamente más automatizadas: Human-in-the-loop propiamente dicha (HITL, el humano aprueba cada decisión antes de ejecución), Human-on-the-loop (HOTL, el humano supervisa continuamente con capacidad de intervención inmediata sobre decisiones automáticas), y Human-in-command (HIC, el humano define reglas de operación y el sistema opera dentro de esos márgenes con intervención humana solo ante excepciones). La elección entre las tres configuraciones no es arbitraria: depende del nivel de riesgo del sistema, de la severidad potencial del daño, de la reversibilidad de las decisiones y de la frecuencia operativa. Este artículo desarrolla técnicamente las tres configuraciones, los requisitos formales del AI Act y de ISO/IEC 42001 sobre supervisión humana, y los criterios operativos que distinguen una supervisión humana significativa de una supervisión meramente nominal que cumple formalmente pero que no protege sustantivamente.

El problema técnico que el principio HITL resuelve

Un sistema de IA aplicado a un contexto industrial de alto riesgo —por ejemplo, un motor de IA que ajusta parámetros de un reactor químico, detecta anomalías en funciones de seguridad de maquinaria, optimiza trayectorias de robots colaborativos o recomienda intervenciones en sistemas instrumentados de seguridad— toma decisiones cuyas consecuencias materiales pueden ser graves si el sistema falla. Los modos de falla de un sistema de IA son estructuralmente distintos a los modos de falla de un sistema de control tradicional: no solo fallos de hardware o errores de software identificables, sino también derivas del modelo con respecto a las condiciones operativas reales (data drift), sesgos del entrenamiento que afloran ante distribuciones no cubiertas, vulnerabilidades a entradas adversariales, y opacidad interpretativa que dificulta el diagnóstico post-hoc.

La respuesta tradicional de la ingeniería de seguridad —certificar el sistema antes del despliegue y confiar en su operación autónoma una vez certificado— no es aplicable directamente a sistemas de IA por dos razones técnicas. La primera es que los sistemas de IA aprenden durante su operación: un modelo certificado el primer día puede comportarse distintamente el año 200 aunque el código no haya cambiado, porque los datos operativos que procesa son diferentes de los datos de entrenamiento. La segunda es que la cobertura de escenarios exhaustiva es prácticamente imposible: un sistema de IA industrial se enfrenta durante su operación a situaciones que los diseñadores no anticiparon, y su respuesta ante esas situaciones no puede verificarse exhaustivamente antes del despliegue.

Human-in-the-loop resuelve este problema técnico no eliminando la automatización sino configurando una arquitectura híbrida humano-máquina donde el humano mantiene capacidad efectiva de detección, corrección e intervención durante la operación. No se trata de desconfiar del sistema de IA: se trata de reconocer que la combinación supervisada humano-máquina tiene propiedades de seguridad superiores a cualquiera de los componentes operando aisladamente.

Las tres configuraciones formales — HITL, HOTL, HIC

El marco técnico de supervisión humana no es binario (con humano o sin humano) sino gradual. Existen tres configuraciones formalmente diferenciadas que se seleccionan según el contexto operativo.

HITL — el humano aprueba cada decisión

En la configuración HITL propiamente dicha, el sistema de IA genera una recomendación o decisión propuesta, la presenta al humano operador con la información contextual necesaria para evaluarla, y espera explícitamente la aprobación humana antes de ejecutar la acción. Si el humano rechaza la propuesta, el sistema no ejecuta; si el humano aprueba, el sistema procede. Esta configuración es la más exigente en términos de demanda cognitiva sobre el humano, pero es la única apropiada cuando las decisiones son irreversibles o tienen consecuencias graves potenciales.

Un ejemplo operativo es un sistema de IA que supervisa un reactor químico y detecta una anomalía que podría indicar una condición de riesgo. El sistema no toma autónomamente la decisión de parar el reactor: genera una propuesta de parada con el análisis de datos que la fundamenta (qué variables se desvían, en qué magnitud, con qué probabilidad de condición insegura), la presenta al operador y espera aprobación. El operador puede aprobar, rechazar o solicitar información adicional. Esta arquitectura reconoce que la decisión de parar un reactor tiene consecuencias económicas significativas y que el sistema de IA puede equivocarse por falsos positivos; la aprobación humana añade una capa de verificación que reduce el riesgo de parada innecesaria pero mantiene la capacidad del sistema de detectar situaciones que el humano no habría identificado autónomamente.

HOTL — el humano supervisa con capacidad de intervención

En la configuración HOTL, el sistema de IA opera autónomamente pero bajo supervisión humana continua. El humano no aprueba cada decisión individual, pero monitoriza la operación y dispone de mecanismos efectivos para intervenir cuando detecta comportamientos anómalos. La frecuencia de decisiones del sistema es típicamente demasiado alta para aprobación individualizada (varias decisiones por segundo, por ejemplo), pero el impacto individual de cada decisión es reversible y el humano tiene tiempo suficiente para intervenir antes de que las consecuencias se acumulen.

Un sistema de IA que ajusta en tiempo real parámetros de temperatura, presión y caudal en una línea de proceso continuo opera típicamente en configuración HOTL. Las decisiones individuales son reversibles y el sistema se autocorrige, pero si el operador detecta una deriva sostenida en dirección peligrosa tiene capacidad de intervenir manualmente, bloquear el control automático o escalar la situación. La supervisión humana es continua pero no bloqueante: el humano es el filtro final, no el cuello de botella operativo.

HIC — el humano en el mando con márgenes operativos

En la configuración HIC, el humano define ex-ante las reglas y márgenes bajo los cuales el sistema de IA puede operar autónomamente. Dentro de esos márgenes, el sistema opera sin intervención humana directa. Cuando el sistema detecta condiciones fuera de los márgenes establecidos, se detiene, escala la situación a un humano y espera instrucciones. Esta configuración es apropiada para decisiones rutinarias de bajo impacto individual pero alta frecuencia, donde la supervisión continua sería operativamente inviable.

Un sistema de IA de mantenimiento predictivo que analiza datos de vibración, temperatura y consumo eléctrico de cientos de equipos para generar órdenes de inspección opera típicamente en HIC. El humano define qué umbrales generan orden automática, qué equipos requieren criticidad adicional, qué tipos de alerta escalan a decisión humana. El sistema opera autónomamente dentro de esos márgenes y solo implica al humano en los casos excepcionales que caen fuera de las reglas predefinidas.

Qué exige el artículo 14 del AI Act

El Reglamento UE 2024/1689 dedica su artículo 14 específicamente a la supervisión humana como requisito fundamental para sistemas de IA clasificados en alto riesgo. El artículo establece que los sistemas deben diseñarse y desarrollarse con herramientas de interfaz humano-máquina adecuadas que permitan supervisión humana efectiva durante el período de uso. Esta exigencia tiene cuatro componentes operativos concretos.

• Capacidad de comprender las salidas del sistema: el humano supervisor debe poder interpretar las decisiones del sistema con suficiente profundidad para detectar anomalías. No basta con ver el resultado: el sistema debe presentar las variables que lo justifican.
• Capacidad de detectar y responder a limitaciones y fallos: el supervisor debe ser capaz de identificar cuándo el sistema opera fuera de sus márgenes de entrenamiento o cuándo presenta comportamientos inesperados, y debe tener los mecanismos para intervenir eficazmente.
• Capacidad de no depender acríticamente del sistema: el diseño debe prevenir el sesgo de automatización (automation bias), el fenómeno psicológico por el cual los operadores humanos tienden a aceptar sin cuestionamiento las recomendaciones de sistemas automatizados incluso cuando son erróneas.
• Capacidad de decidir no usar o anular el sistema: el supervisor debe tener autoridad efectiva para rechazar una recomendación, detener la operación del sistema o desactivarlo completamente cuando lo considere necesario.

Estos cuatro componentes son acumulativos: un sistema que cumple solo uno o dos no cumple el requisito. La conformidad se evalúa sobre el conjunto. La auditoría de la supervisión humana verifica que las cuatro capacidades están operativamente presentes, no solo formalmente declaradas.

Qué exige ISO/IEC 42001:2023

ISO/IEC 42001:2023 (Information technology — Artificial intelligence — Management system) establece los requisitos para un sistema de gestión de IA (AIMS) en la organización. La norma no se limita al diseño técnico del sistema de IA individual sino que exige una estructura organizativa de gobernanza que incluye políticas, roles, procedimientos y controles sobre el ciclo de vida completo de cualquier sistema de IA desplegado. Respecto a la supervisión humana, la norma establece requisitos específicos en la cláusula 8 (Operation) combinados con los controles operativos correspondientes del Anexo A.

La combinación de cláusula 8 y controles del Anexo A exige que la organización documente formalmente qué nivel de supervisión humana aplica a cada sistema de IA, cómo se implementa técnicamente esa supervisión, qué competencias tiene el personal que ejerce la supervisión, qué procedimientos siguen para intervenir ante anomalías y cómo se registran las decisiones humanas para trazabilidad posterior. Este marco organizacional complementa la exigencia técnica del AI Act: el AI Act requiere que el sistema tenga capacidad técnica de ser supervisado, ISO/IEC 42001 requiere que la organización tenga capacidad operativa de ejercer esa supervisión efectivamente.

Cuándo la supervisión es significativa y cuándo es nominal

Una distinción crítica en la auditoría de sistemas HITL es entre supervisión significativa y supervisión nominal. La supervisión nominal cumple formalmente los requisitos —hay un humano en el loop que tiene un botón de aprobación— pero no ejerce función protectora real porque el diseño del sistema, la demanda cognitiva, la velocidad de decisiones o la cultura operativa hacen que el humano apruebe rutinariamente sin evaluación efectiva. La supervisión significativa cumple la función sustantiva: el humano tiene tiempo, información e incentivos para evaluar efectivamente, y ejerce juicio real sobre las propuestas del sistema.

Cuatro criterios operativos permiten distinguir una supervisión significativa de una nominal. El primero es el tiempo disponible para decisión: si el humano tiene que aprobar una propuesta en 3 segundos con información compleja, la supervisión es nominal porque técnicamente no puede evaluar. El segundo es la interpretabilidad de la información presentada: si el humano solo ve el resultado sin comprensión de cómo el sistema lo generó, no puede ejercer juicio. El tercero es la consecuencia de rechazar: si rechazar una propuesta conlleva costes desproporcionados o sanciones operativas implícitas, el humano tiende sistemáticamente a aprobar. El cuarto es la frecuencia de propuestas: si el sistema genera 100 propuestas por hora que requieren aprobación individualizada, la fatiga cognitiva convierte la supervisión en automática. El auditor CLAMSS formado específicamente evalúa estos cuatro criterios durante la verificación del HITL.

Cómo AI SAFE implementa HITL en su propia operación

El modelo pedagógico de AI Safe Academy (www.aisafeacademy.com) está diseñado como ilustración operativa del principio HITL. El Tutor IA asíncrono 24/7 que acompaña la formación no opera en modo autónomo: supervisa el progreso del participante bajo reglas explícitas definidas por el diseño curricular (HIC), escala a criterios de evaluación humana cuando detecta patrones anómalos (transición a HOTL) y bloquea el avance hasta que las brechas identificadas se cierren (HITL efectivo sobre decisiones críticas). Esta coherencia entre el contenido formativo y el modelo pedagógico es deliberada: el profesional que egresa de CPMSS o CLAMSS ha experimentado como usuario un sistema de IA gobernado correctamente bajo ISO/IEC 42001 y AI Act, y esa experiencia se incorpora a su criterio profesional posterior.

El motor AI SAFE disponible en www.aisafegroup.com incorpora arquitectura HITL nativa en todas sus funciones: las recomendaciones que el sistema genera sobre apreciación del riesgo, definición de medidas de protección o configuración de procedimientos LOTO se presentan al auditor técnico con la información contextual necesaria para evaluarlas, y el auditor aprueba, ajusta o rechaza explícitamente cada una antes de incorporarlas al informe final. La trazabilidad documental de esta supervisión humana es la que la plataforma genera automáticamente como parte del expediente técnico de cada apreciación.

Preguntas frecuentes

¿HITL no ralentiza excesivamente la operación industrial?

Puede hacerlo si el sistema está mal diseñado. Un HITL bien diseñado presenta solo las decisiones que realmente requieren aprobación humana, con la información contextual justa necesaria, en interfaces que facilitan la decisión rápida. Las decisiones rutinarias operan en HIC, las tácticas en HOTL, y solo las estratégicas o con consecuencias graves llegan al HITL. Cuando esta estratificación está bien hecha, la operación no se ralentiza significativamente.

¿Es posible auditar formalmente si un sistema realmente cumple HITL o es solo nominal?

Sí, y ese es precisamente el objeto del módulo M4 de CLAMSS (auditoría de Sistemas de Gestión de IA). El auditor formado aplica protocolos específicos que miden tiempo de decisión real, comprensión del operador sobre la propuesta del sistema, frecuencia de rechazos (un sistema con 0 rechazos documentados probablemente tiene supervisión nominal), y estructura de incentivos del operador. La supervisión significativa deja huellas verificables.

¿El AI Act aplica fuera de la Unión Europea?

Aplica extraterritorialmente a cualquier sistema de IA que produzca efectos en la UE, independientemente de dónde esté establecido el proveedor. Una empresa ecuatoriana que despliega un sistema de IA cuyas decisiones afectan operaciones en Alemania está sujeta al AI Act. Esta dimensión extraterritorial convierte al AI Act en referencia global de facto incluso para organizaciones que operan fuera de Europa, porque la mayoría de multinacionales industriales tienen exposición indirecta.

¿ISO/IEC 42001 es certificable?

Sí, es una norma de sistema de gestión certificable siguiendo el mismo modelo que ISO 9001, ISO 14001 e ISO 27001. Una organización puede certificar su sistema de gestión de IA ante un organismo de certificación acreditado, demostrando conformidad formal con los requisitos de la norma. El módulo M4 de CLAMSS forma específicamente en la auditoría de conformidad con ISO/IEC 42001.

¿Qué pasa si el humano supervisor no tiene competencia técnica para evaluar las propuestas del sistema?

Entonces la supervisión es nominal aunque formalmente exista. El AI Act y ISO/IEC 42001 exigen no solo que haya un humano en el loop sino que ese humano tenga competencia, autoridad e información para ejercer supervisión efectiva. La formación específica del personal supervisor es parte del requisito de conformidad. La organización que despliega IA industrial sin invertir en competencia de su personal supervisor está incumpliendo aunque tenga el botón de aprobación técnicamente implementado.