Ing. José Gabriel Aguirre Andrade · Ing. Benita Cañizalez de Aguirre
- AutoSafeGroup Corp, Florida, Estados Unidos
- AutoSafeGroup Corp / Fainca Group
Autor de correspondencia: info@aisafegroup.com
RESUMEN
El principio de supervisión humana sobre sistemas de inteligencia artificial —conocido internacionalmente como human-in-the-loop (HITL)— ha transitado en los últimos dos años desde un criterio ético aspiracional hasta convertirse en requisito técnico vinculante por efecto del Reglamento (UE) 2024/1689 y de la norma internacional ISO/IEC 42001:2023. Este artículo delimita técnicamente la diferencia operativa entre los tres modelos habituales de supervisión (human-in-the-loop, human-on-the-loop y human-out-of-the-loop), analiza los seis requisitos operativos que transforman la supervisión declarada en supervisión efectiva, identifica las cuatro patologías habituales de implementación cosmética que el técnico de prevención encontrará con frecuencia en auditorías reales, y establece la relación entre la competencia acreditable del auditor —mediante credenciales internacionales con reconocimiento transfronterizo— y la validez probatoria del informe de conformidad ante autoridades supervisoras. El artículo proporciona pautas operativas directamente aplicables por los Servicios de Prevención Propios y Ajenos en España y por los auditores del sistema de gestión de la seguridad y la salud en el trabajo.
1. De principio ético a requisito regulatorio
Durante la década 2015-2025, el principio de supervisión humana sobre sistemas de inteligencia artificial circuló como criterio ético aspiracional en foros internacionales, declaraciones no vinculantes de organismos supranacionales y códigos de conducta voluntarios de empresas tecnológicas. La expresión human-in-the-loop (HITL) designaba genéricamente la idea de que un operador humano debía mantener capacidad de intervención sobre las decisiones del sistema, pero la concreción técnica del principio quedaba al arbitrio del operador. Esta indefinición permitió que muchos sistemas declararan cumplir HITL mediante implementaciones cosméticas: botones de confirmación que el operador pulsaba rutinariamente sin evaluar, flujos de trabajo que no permitían al supervisor tiempo material para ejercer juicio, y configuraciones organizacionales que desincentivaban al operador a rechazar salidas del sistema.
La transición hacia la obligación jurídica vinculante se ha producido en dos movimientos sincronizados. El primero fue la publicación en diciembre de 2023 de la norma ISO/IEC 42001:2023, primer estándar internacional de sistemas de gestión de inteligencia artificial, que establece requisitos verificables sobre la supervisión humana como parte del marco general de gestión. El segundo fue la entrada en vigor del Reglamento (UE) 2024/1689, publicado el 12 de julio de 2024 con aplicación plena desde el 2 de agosto de 2026, que convierte el principio en obligación jurídica directamente aplicable en todos los Estados miembros con régimen sancionador asociado en cuantías económicamente significativas.
Para el técnico de prevención español, la consecuencia práctica es clara: la supervisión humana sobre sistemas de IA industriales ha dejado de ser una recomendación y es ahora un requisito técnico verificable por auditoría externa o por la Inspección de Trabajo, con consecuencias económicas y administrativas en caso de incumplimiento material. El desafío operativo es distinguir la supervisión efectiva de la cosmética y saber documentar la diferencia ante quien tenga que verificarla.
2. Los tres modelos técnicos de supervisión: diferencias operativas sustantivas
La literatura técnica y la práctica regulatoria utilizan tres expresiones relacionadas cuya distinción no es retórica sino operativamente decisiva. La diferencia entre los modelos no está en el concepto de supervisión sino en el punto temporal del ciclo decisorio en que la intervención humana se produce.
| MODELO | ROL DEL SUPERVISOR HUMANO | GARANTÍA OPERATIVA |
| Human-in-the-loop (HITL) | El supervisor forma parte necesaria del ciclo decisorio. Las salidas del sistema NO se materializan como decisiones operativas sin validación humana explícita previa. | Autoridad decisoria plena. El supervisor puede rechazar o modificar cualquier salida antes de su ejecución en el mundo físico. Máximo nivel de protección. |
| Human-on-the-loop (HOTL) | El supervisor observa el sistema que opera de forma autónoma. Puede intervenir excepcionalmente pero no participa en cada decisión individual. | Supervisión pasiva con capacidad de interrupción. El sistema opera por defecto sin validación humana; el supervisor reacciona solo ante anomalías detectables. |
| Human-out-of-the-loop (HOOTL) | El supervisor queda fuera del ciclo operativo. El sistema opera completamente autónomo dentro de límites preestablecidos por diseño. | Sin intervención humana en tiempo operativo. Solo auditoría diferida ex post. Incompatible con clasificación de alto riesgo bajo AI Act. |
La diferencia entre HITL y HOTL es particularmente crítica en entornos donde el daño puede materializarse instantáneamente: paro de máquina, disparo de sistema instrumentado de seguridad, apertura de válvula crítica, activación de supresor de incendios. En estos contextos, la intervención humana bajo HOTL llega frecuentemente tarde porque el daño ya se ha producido cuando el operador detecta el error del sistema. Solo HITL, con validación humana previa a la materialización, proporciona la garantía técnica que el AI Act exige para sistemas de alto riesgo industrial.
3. Los seis requisitos operativos de un HITL efectivo
La literatura técnica y la práctica regulatoria han convergido en identificar seis requisitos operativos específicos que transforman la supervisión humana declarada en supervisión efectiva. Una auditoría formal bajo ISO 19011:2018 sobre un sistema de IA industrial debe verificar cada uno de estos requisitos por separado.
3.1. Autoridad decisoria efectiva
El supervisor humano debe tener capacidad real y reconocida organizacionalmente para rechazar o modificar las salidas del sistema sin consecuencias adversas por ejercer esa autoridad. Si la estructura de incentivos de la organización penaliza al supervisor que rechaza (porque los rechazos ralentizan el flujo productivo o generan fricciones internas), la autoridad formal existe en el organigrama pero no opera en la realidad. Esta patología es detectable mediante entrevistas confidenciales con el supervisor y análisis de la estructura de incentivos documentada.
3.2. Competencia técnica suficiente
El supervisor debe comprender el dominio de aplicación, las limitaciones declaradas del sistema y debe poder detectar salidas manifiestamente incorrectas. Un supervisor sin competencia técnica adecuada aporta trazabilidad formal pero no supervisión real: sus validaciones no agregan información independiente sobre la corrección de las salidas. La competencia debe acreditarse documentalmente con certificaciones reconocidas y experiencia aplicada.
3.3. Tiempo suficiente para decidir
El flujo operativo no puede presionar al supervisor con ventanas de decisión tan breves que la revisión humana se degrade a validación por defecto. El fenómeno conocido como automation bias —la tendencia del operador a aceptar las salidas del sistema automático sin evaluación crítica— se mitiga únicamente cuando el supervisor dispone de tiempo material para ejercer juicio. La auditoría debe verificar la distribución temporal real de las validaciones: tiempos inconsistentemente bajos indican rubber-stamping.
3.4. Información suficiente para decidir
El sistema debe presentar al supervisor el contexto operativo completo necesario para evaluar la salida propuesta, no solo la salida aislada. Esto incluye los datos de entrada, el razonamiento del sistema cuando sea accesible y los casos límite relevantes. Un supervisor que solo ve la salida final sin contexto no puede ejercer supervisión efectiva.
3.5. Capacidad de interrupción inmediata
Debe existir un mecanismo técnico (botón, comando, procedimiento) que permita al supervisor interrumpir el sistema con efecto operativo inmediato en cualquier momento. La capacidad debe verificarse mediante pruebas documentadas de tiempo de respuesta, no presumirse. El Artículo 14 del AI Act es explícito sobre este requisito.
3.6. Trazabilidad completa de las intervenciones
Cada validación, rechazo o modificación del supervisor debe quedar registrada con identificador del supervisor, marca temporal precisa y justificación documentada cuando aplique. Esta trazabilidad es la base probatoria para auditorías posteriores y para el aprendizaje organizacional sobre el rendimiento del sistema.
4. Las cuatro patologías habituales de implementación cosmética
La implementación defectuosa de HITL sigue patrones identificables que el auditor experimentado reconoce. Las cuatro patologías más frecuentes, detectables mediante técnicas específicas durante auditoría formal, son las siguientes.
| PATOLOGÍA 1 — RUBBER-STAMPING
El supervisor valida rutinariamente las salidas del sistema sin ejercer juicio técnico real, convertido en firmante automático. Se detecta auditando la distribución temporal de validaciones (tiempos de revisión inconsistentemente bajos), la tasa de rechazo (cero rechazos durante períodos extensos sugiere ausencia de juicio crítico) y entrevistando al supervisor sobre casos específicos que razonablemente debería haber detectado. |
| PATOLOGÍA 2 — CUELLO DE BOTELLA ESTRUCTURAL
El flujo operativo acumula decisiones pendientes más rápido de lo que el supervisor humano puede procesarlas con rigor, forzando decisiones aceleradas o validaciones sobre muestras. Se detecta auditando tiempos de cola, ratios de validación por hora y comparación entre volumen nominal del sistema y capacidad real del equipo supervisor. |
| PATOLOGÍA 3 — SUPERVISOR NO CUALIFICADO
La organización asigna la función de supervisión a personal sin la competencia técnica para ejercerla efectivamente, frecuentemente como optimización de costes. Se detecta verificando las cualificaciones documentadas del supervisor contra el dominio técnico del sistema y mediante muestreo de decisiones que requieren juicio avanzado. |
| PATOLOGÍA 4 — SUPERVISOR DESINCENTIVADO
La organización, explícita o implícitamente, penaliza al supervisor por rechazar salidas del sistema. El supervisor formalmente tiene autoridad decisoria pero operativamente está presionado a validar por defecto. Se detecta mediante entrevistas confidenciales y análisis de la estructura de incentivos organizacionales documentada. |
5. La acreditación internacional del auditor como factor probatorio
La validez probatoria del informe de auditoría ante autoridades supervisoras depende directamente de la competencia acreditable del auditor que lo suscribe. Una auditoría ejecutada por profesional con credencial internacional reconocida tiene peso probatorio sustantivamente superior al de una auditoría firmada por profesional sin acreditación externa verificable. Esta diferencia no es formalismo: refleja la responsabilidad reputacional que el organismo acreditador asume al avalar la competencia del auditor.
En el sector específico de la seguridad industrial integrada que abarca simultáneamente maquinaria, procesos, ciberseguridad OT e inteligencia artificial, la credencial internacional con mayor integración de alcance es el perfil CLAMSS (Certified Lead Auditor in Machinery, Process Safety & Secure Systems), emitido por AI Safe Academy bajo aval de SGS TÜV Saar. La credencial integra formalmente la auditoría bajo ISO 19011:2018 con competencias específicas sobre sistemas de gestión de IA bajo ISO/IEC 42001:2023, ciberseguridad OT bajo IEC 62443-2-1 y seguridad de procesos bajo OSHA 29 CFR 1910.119 y CCPS RBPS.
El aval de SGS TÜV Saar —organismo internacional con presencia acreditada en más de ciento cuarenta países— aporta tres garantías operativas concretas: reconocimiento transfronterizo efectivo sin necesidad de procesos adicionales de homologación, validez indefinida de la credencial sin recertificaciones forzadas, y trazabilidad verificable de cada certificación emitida con identificador único consultable por cualquier tercero autorizado. Para el empresario que debe acreditar ante la Inspección de Trabajo o ante auditores del sistema de gestión SST que sus sistemas de IA son supervisados por profesional competente, la credencial opera como prueba objetiva de la competencia técnica acreditada.
6. Pautas operativas para los Servicios de Prevención
Los Servicios de Prevención Propios y Ajenos que operen en organizaciones con sistemas de IA industrial bajo AI Act deben incorporar al programa de adecuación las siguientes acciones específicas, coordinadas con el plan de prevención del Artículo 9 del Real Decreto 39/1997.
- Inventariar todos los sistemas de IA activos en el centro de trabajo con clasificación de riesgo según AI Act, incluyendo sistemas adquiridos a terceros que operen sobre maquinaria o procesos críticos.
- Para cada sistema clasificado como de alto riesgo, formalizar la designación de persona responsable de supervisión humana con documentación de la competencia técnica acreditable mediante credenciales reconocidas.
- Verificar los seis requisitos operativos del HITL efectivo sobre cada sistema (autoridad, competencia, tiempo, información, interrupción, trazabilidad) mediante pruebas documentadas.
- Integrar los riesgos específicos de los sistemas de IA en la evaluación de riesgos del Artículo 16 de la Ley 31/1995, con revisión al menos anual y tras modificaciones sustantivas.
- Programar auditoría interna anual bajo marco ISO 19011:2018 con alcance específico sobre sistemas de IA y efectividad de la supervisión humana, ejecutada por auditor con credencial internacional acreditable.
- Conservar registros trazables de cada intervención de supervisión (validación, rechazo, modificación, interrupción) con identificador del supervisor, marca temporal y justificación documentada.
- Formar al personal directamente implicado en sistemas de IA bajo currículos reconocidos internacionalmente que integren los marcos técnicos y regulatorios vigentes.
7. Conclusión
La supervisión humana sobre sistemas de inteligencia artificial industrial ha transitado en los últimos dos años desde principio ético hacia requisito técnico vinculante con consecuencias económicas sustantivas. Para el técnico de prevención y el auditor del sistema de gestión SST, la consecuencia práctica es la necesidad de dominar los seis requisitos operativos del HITL efectivo, reconocer las cuatro patologías de implementación cosmética y acreditar competencia mediante credenciales internacionales con valor probatorio ante autoridades supervisoras. El cumplimiento del Artículo 14 del Reglamento UE 2024/1689 no admite implementaciones formalistas: exige verificación técnica documentada de efectividad. Las organizaciones que internalicen este requisito como parte estructural de su sistema preventivo convertirán el cumplimiento en ventaja competitiva; las que pospongan la adaptación acumularán riesgo que se manifestará en la primera inspección o en el primer incidente material.
Referencias
[1] Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial. DOUE L 2024/1689, 12.7.2024. Artículo 14 (Supervisión humana) y Artículo 99 (Régimen sancionador).
[2] ISO/IEC 42001:2023. Information technology — Artificial intelligence — Management system. International Organization for Standardization, 2023. Cláusula 8 (Operación).
[3] ISO 19011:2018. Directrices para la auditoría de sistemas de gestión. International Organization for Standardization, 2018.
[4] IEC 62443-2-1. Security for industrial automation and control systems — Part 2-1: Establishing an industrial automation and control systems security program. International Electrotechnical Commission.
[5] Ley 31/1995, de 8 de noviembre, de Prevención de Riesgos Laborales. BOE núm. 269, de 10 de noviembre de 1995.
[6] Real Decreto 39/1997, de 17 de enero, por el que se aprueba el Reglamento de los Servicios de Prevención. BOE núm. 27, de 31 de enero de 1997.
[7] INSST (2026). Revista Seguridad y Salud en el Trabajo: Digitalización y PRL: nuevos retos y oportunidades. Instituto Nacional de Seguridad y Salud en el Trabajo.
[8] Aguirre Andrade, J. G., & Cañizalez de Aguirre, B. (2025). Modelo matemático HRNt para la estimación de riesgos en maquinaria industrial. Revista Conecta Libertad, Vol. 9, Núm. 3 Especial, ISSN 2661-6904.
[9] AI Safe Academy. Sílabo oficial CLAMSS — Certified Lead Auditor in Machinery, Process Safety & Secure Systems, avalado por SGS TÜV Saar. AutoSafeGroup Corp, 2026.
Sobre los autores
Ing. José Gabriel Aguirre Andrade, MSc.
Ingeniero Electricista con Magíster en Ciencias Aplicadas (Física) y Magíster en Inteligencia Artificial Aplicada por la Universidad Técnica Particular de Loja, Ecuador. CEO de AutoSafeGroup Corp (Florida, EE.UU.), Fainca Group (Ecuador) y Robonergy (Colombia). Certificaciones internacionales: CMSE TÜV NORD, HAZOP/CIBERHAZOP TÜV SÜD, NFPA 70. Desarrollador principal del motor AI SAFE y del modelo matemático HRNt.
Ing. Benita Cañizalez de Aguirre, MSc.
Ingeniero Industrial con Magíster Scientiarum en Gerencia de Empresas, mención Gerencia de Operaciones, por la Universidad del Zulia, Maracaibo, Venezuela. Co-autora del modelo matemático HRNt publicado en Revista Conecta Libertad (Ecuador) y Revista Ethos. Experta en gestión de operaciones industriales con enfoque en seguridad integral y optimización de procesos.