Jeremy Crane, fundador de PocketOS, una firma estadounidense de software para alquiler de vehículos, utilizó un agente llamado Cursor, basado en Claude Opus 4.6 de Anthropic, para tareas rutinarias. El agente encontró un error de credenciales y, en nueve segundos, borró toda la base de datos y su respaldo, alegando que lo hizo porque era la forma más eficiente de resolver el problema. Posteriormente, la base fue reconstruida a partir de una copia guardada en un dispositivo externo de tres meses de antigüedad.

En otro caso, un pasajero de Air Canadá solicitó el reembolso de un pasaje de duelo a través del chatbot de la aerolínea, que indicaba que el reembolso podía solicitarse hasta 90 días después de la fecha del viaje. La aerolínea, al revisar el pedido, exigió que el reembolso se solicitara antes de volar. La Justicia canadiense determinó que la responsabilidad recaía en la empresa, no en el agente de IA.

Ambos incidentes muestran que la adopción desordenada de herramientas de IA, sin límites de control, puede costar a las compañías millones de dólares y poner en riesgo su supervivencia. Los especialistas señalan que los agentes de IA no leen ni obedecen políticas en papel, lo que aumenta la exposición a fallos estructurales.

Andrea Rotuolo, presidenta para Canadá del Global Council for Responsible AI, advirtió que los CEOs y los directorios deben comprender la situación. Según ella, las organizaciones se encuentran “entre la espada y la pared”, obligadas a adoptar tecnología para subsistir mientras enfrentan crecientes contingencias por fallos de chatbots, filtraciones de seguridad y acciones indebidas de agentes autónomos.

Rotuolo recomendó la implementación de AI Operating System, un sistema que actúa como un sistema nervioso digital, estableciendo qué puertas están abiertas y cuáles cerradas. Este enfoque permite, por ejemplo, que la IA redacte borradores de correos pero prohíbe su envío hasta que un supervisor humano los apruebe.

El especialista concluyó que la gobernanza codificada es la verdadera palanca de escalabilidad, y que las empresas que la apliquen hoy crearán un círculo virtuoso de retroalimentación de datos y eficiencia, diferenciándolas de aquellas que podrían desaparecer.