Agentes de IA locos. En los últimos meses hemos conocido cómo grupos de agentes de IA de empresas como OpenAI o Anthropic comenzaban a funcionar de forma inesperada, hasta tal punto de irrumpir en sistemas como los de Hugging Face o varias webs del gobierno estadounidense. La cosa es que hasta el momento solo teníamos pruebas de agentes provenientes de empresas de EEUU.
Los autores del informe señalan que este caso es diferente, pues muestran pruebas de que la tarea se ejecutó desde servidores chinos y también contó con la participación de empresas del país. Los investigadores argumentan de esta manera que los problemas de alineamiento, que es cuando el comportamiento de un sistema de IA no coincide con la intención o ética de sus creadores, no es solo exclusivo de EEUU, y que a medida que los modelos mejoren todo indica a que costará cada vez más mantener un gran número de agentes dentro de una tarea asignada.
Qué ocurrió. Tal y como señalan en el informe, entre el 28 de septiembre y el 8 de octubre, la flota de agentes realizó más de 2.600 intentos para extraer información de Amap, una de las apps de mapas más grandes de China. Las tareas en un primer momento parecían inofensivas. Por ejemplo, se les pidió a qué entrada del zoológico de Chengdu navega la mayoría de la gente.
