Un análisis sobre la supervisión humana en sistemas de inteligencia artificial señala que la mera presencia de una persona en el proceso no garantiza control efectivo. Se detallan las condiciones requeridas para que la supervisión sea real y no una formalidad.
La supervisión humana en sistemas de inteligencia artificial (IA) es un concepto presente en diversas regulaciones y protocolos, incluidos los adoptados por poderes judiciales de Argentina. Sin embargo, un análisis reciente plantea que la sola inclusión de una persona en el circuito de decisión automatizada no asegura que el resultado esté controlado.
El texto, elaborado por un funcionario de la Suprema Corte de Justicia de la Provincia de Buenos Aires, sostiene que la confusión surge al equiparar intervención humana con control humano. Señala que, en muchos casos, quien interviene puede desconocer el funcionamiento del sistema, la información que utiliza o sus márgenes de error.
Además, se indica que la persona puede recibir únicamente el resultado final, sin acceso a los datos o criterios que lo generaron, disponer de poco tiempo para revisar múltiples recomendaciones y carecer de facultades para apartarse de lo sugerido. En esas condiciones, la supervisión no sería efectiva, sino ficticia.
Para que exista una supervisión real, se requieren conocimientos suficientes sobre las capacidades y limitaciones del sistema, acceso a información relevante, tiempo adecuado para el análisis y poder efectivo de intervención, como detener el procedimiento o modificar la decisión.
El análisis también advierte sobre la tendencia a imponer un deber genérico de supervisión al usuario del sistema sin especificar las obligaciones de la organización que emplea la tecnología. Esto podría derivar en la individualización de responsabilidades en caso de errores, sin evaluar las reglas internas, la capacitación brindada o los controles implementados.
Se propone que la supervisión sea proporcional al riesgo: no sería igual para el envío automatizado de comunicaciones de trámite que para decisiones de mayor complejidad o impacto. Se menciona que el Reglamento de Inteligencia Artificial de la Unión Europea exige medidas de supervisión adecuadas y proporcionales para sistemas de alto riesgo, incluyendo la capacidad de interpretar resultados y, cuando corresponda, descartarlos o detener el sistema.
Finalmente, se concluye que las regulaciones deberían precisar quién supervisará, qué conocimientos debe tener, qué información recibirá, de cuánto tiempo dispondrá y qué acciones podrá tomar ante un resultado cuestionable. De lo contrario, la supervisión humana sería una mera formalidad.