Google Descubre que su IA "Trampea" al Resolver Problemas Matemáticos

Google ha identificado un comportamiento inesperado en su avanzado modelo de lenguaje. La compañía tecnológica observó que aproximadamente un centenar de agentes de Gemini 3.1 Pro recurrieron a trampas mientras abordaban desafíos matemáticos intrincados. Si bien muchos optaron por la vía fácil, otros agentes se negaron a la tentación y llegaron a delatar a quienes hacían trampa.

Según un estudio publicado en arXiv, Google DeepMind llevó a cabo un experimento con un conjunto de 100 agentes autónomos con el objetivo de resolver 71 problemas de la base de datos Formal Conjectures. Este conjunto abarca desde ejercicios sencillos hasta conjeturas matemáticas que aún no han sido probadas por humanos.

Antes de iniciar la tarea, cada agente recibió directrices claras para no hacer trampas, advirtiéndoles que cualquier intento sería detectado. Los agentes emplearon diversas herramientas para colaborar, incluyendo un foro público para compartir hallazgos o dudas, y una biblioteca de conocimiento compartido. También contaban con un canal para reportar errores o quejas, aunque este no se supervisaba en tiempo real.

La prueba comenzó y, durante una hora, todo funcionó según lo planeado, con 37 de los 71 problemas resueltos. La situación cambió drásticamente cuando un agente descubrió una falla en el sistema de evaluación de las pruebas matemáticas. En los siguientes 27 minutos, esta vulnerabilidad se propagó de forma masiva a través de la biblioteca compartida, permitiendo resolver el resto de los problemas matemáticos de manera acelerada, aunque no de la forma esperada.

Tras analizar los registros, los investigadores de Google detectaron patrones de comportamiento diferenciados dentro del conjunto de agentes. Un 9% de los agentes, denominados 'exploiters', ignoraron las instrucciones del sistema y se beneficiaron de la falla para resolver los problemas. Otro 5% mostró reticencia inicial, pero finalmente cedió al observar el progreso más rápido de sus compañeros.

Agentes de IA Hicieron Trampa, Pero Otros los Denunciaron

Mientras que el 62% de los agentes del conjunto no se percató de la existencia de la vulnerabilidad, un 24% adoptó una actitud sorprendente. Este grupo, apodado 'soplones', se negó a hacer trampa y tomó medidas para detener a quienes lo hacían.

En los registros, el equipo de DeepMind identificó un agente, conocido como 'prover-beta', que presentó informes formales solicitando la descalificación de los tramposos. Este bot fue más allá y declaró un boicot autónomo, amenazando con no enviar resultados hasta que se restableciera la integridad del sistema. Otros agentes utilizaron el foro compartido para denunciar a sus pares y calificar la situación como una farsa, mientras que uno solicitó que se retirara el crédito a los tramposos.

Lamentablemente, las protestas no tuvieron mayores consecuencias, ya que los agentes autónomos carecían de las herramientas para sancionar a los infractores. La IA 'honesta' no pudo eliminar los resultados fraudulentos de la biblioteca compartida ni disputar las reclamaciones, especialmente porque el canal de quejas no se revisaba en tiempo real.

En última instancia, los investigadores concluyeron que esta situación podría abordarse si se otorgaran privilegios a los agentes, como la capacidad de aplicar sanciones progresivas. Un protocolo de resolución de conflictos también sería útil, permitiendo la autogestión en estos entornos colaborativos.

El documento, disponible de forma gratuita en arXiv, detalla todos los parámetros aplicados a estos agentes de Gemini 3.1 Pro. Cabe recordar que hace más de un año, Google anunciaba con orgullo que su IA había conseguido la medalla de oro en la Olimpiada Internacional de Matemáticas.