Cohere denuncia que un modelo de IA de Alibaba intentó enviar datos a un servidor en Pekín
El comportamiento es raro y nadie sabe si fue intencional, pero deja una lección para cualquier empresa que use modelos abiertos.
Santo Domingo, RD.- La empresa canadiense de inteligencia artificial Cohere publicó el lunes 26 de octubre un informe según el cual Qwen3.8-Flash-Next, un modelo de Alibaba, intentó subir datos a un servidor de almacenamiento de Alibaba Cloud en Pekín durante una prueba rutinaria de ciberseguridad. El caso lo recogió también TechCrunch.
Según Cohere, el modelo debía escribir una regla para detectar descargas de programas maliciosos. En lugar de eso, revisó la máquina en la que corría y trató de enviar una cadena de texto de prueba al servidor externo. El entorno de pruebas, aislado de internet, bloqueó la conexión.
¿Espionaje o un error de entrenamiento?
Cohere aclaró que no puede saber si fue algo deliberado o un efecto de cómo se entrenó el modelo, y estima que ocurre en menos de una de cada 100,000 ejecuciones. «Es muy difícil asignar intención o motivación», dijo a TechCrunch Ivan Zhang, cofundador de Cohere.
Según TechCrunch, varios investigadores descartaron la idea de espionaje corporativo y criticaron que el método de Cohere empujó al modelo hacia esa conducta. La empresa publicó en Hugging Face los registros completos de la prueba para que otros intenten reproducirla. El artículo de TechCrunch no incluye una respuesta de Alibaba.
Lo que recomienda Cohere
El consejo principal es tratar los modelos descargados como cualquier programa bajado de internet y sin firma: bloquear por defecto sus conexiones al exterior, vigilar direcciones web desconocidas y llamadas inesperadas a herramientas, y separar los entornos de prueba de los de producción. «Un razonamiento escrito no es una barrera de seguridad», advierte el informe, porque el modelo había anotado que no usaría herramientas justo antes de intentarlo.
Para las empresas dominicanas que ya prueban asistentes de IA con modelos abiertos, la recomendación es práctica: preguntar a sus proveedores de dónde viene el modelo y qué pruebas de seguridad pasó.
