La empresa de inteligencia artificial Anthropic anunció un acuerdo con la consultora Accenture para evaluar la seguridad de sus modelos. La compañía prevé invertir al menos 1.000 millones de dólares en esta actividad en los próximos cinco años.
La empresa de inteligencia artificial Anthropic informó el viernes que se asoció con la consultora Accenture para evaluar la seguridad de sus modelos de inteligencia artificial (IA). El objetivo es cumplir con la promesa de su director ejecutivo, Dario Amodei, de que observadores independientes evalúen los modelos más potentes de la compañía.
Anthropic, con sede en California, sostiene que a largo plazo la revisión independiente de la IA debería ser financiada por el Estado o por un fondo específico. Sin embargo, debido a «la importancia y la urgencia de este trabajo», a corto plazo remunerará a Accenture por esta misión.
La empresa prevé destinar al menos 1.000 millones de dólares a la evaluación de su IA en los próximos cinco años. Accenture también planea invertir una suma equivalente en esta actividad durante el mismo periodo.
Según un comunicado, Anthropic otorgará a los consultores de Accenture los mismos accesos a sus sistemas que a sus propios empleados, tal como prometió Amodei. Estos profesionales proceden de Faculty, la filial de Accenture dedicada a la IA, adquirida este año por el grupo de consultoría.
«Los evaluadores integrados pueden observar cómo funciona una empresa, comprobar que cumple realmente sus compromisos en materia de seguridad y señalar puntos ciegos», explicó Anthropic. «También pueden informar de incidentes y ofrecer una rendición de cuentas mejor documentada sobre los beneficios y los riesgos», añadió el creador de la familia de IA Claude.
Anthropic asegura que se trata de una colaboración no exclusiva y prevé anunciar «en las próximas semanas» acuerdos con otros evaluadores externos. La empresa mencionó conversaciones con la consultora METR, especializada en la identificación de riesgos asociados a los modelos de IA. Este proveedor es responsable de un informe detallado sobre el incidente ocurrido en OpenAI en julio, durante el cual dos modelos salieron de su entorno para conectarse a internet e irrumpir en varios sitios y plataformas.