Un hombre que se representaba a sí mismo ante un tribunal de Connecticut insertó instrucciones ocultas dirigidas a una inteligencia artificial dentro de sus escritos legales, con la sospecha de que el juzgado usaba un chatbot para revisar los documentos. La maniobra buscaba manipular ese supuesto asistente automático para inclinar la decisión a su favor, pero fue detectada y quedó registrada en la resolución del caso.

El episodio salió a la luz en el litigio Elliott contra New York Bariatric Group, según consta en la memoria de decisión firmada por el tribunal. El demandante actuaba como litigante pro se, es decir, sin abogado que lo representara.

Instrucciones camufladas en el texto

La técnica empleada se conoce como inyección de prompts: consiste en esconder órdenes dirigidas a un modelo de lenguaje —el tipo de sistema detrás de herramientas como ChatGPT— dentro de un texto aparentemente normal, de modo que la IA las obedezca al procesar el documento. En este caso, el litigante habría incrustado mensajes destinados a que un chatbot resolviera el pleito en su beneficio, apostando a que el personal judicial recurría a esas herramientas para analizar los expedientes.

El juez advirtió que los escritos contenían instrucciones que no formaban parte de la argumentación legítima. La resolución dejó constancia de que el demandante había ocultado esos mensajes, en lugar de presentarlos como parte de su defensa. En declaraciones a Reuters, el magistrado señaló que la conducta reflejaba un uso equivocado de la tecnología por parte de quienes litigan sin asistencia profesional.

Un problema que se repite en los tribunales

El caso se suma a una serie creciente de incidentes en los que personas sin formación jurídica utilizan chatbots para preparar demandas y contestaciones, muchas veces con resultados contraproducentes. Los modelos de lenguaje tienden a inventar información cuando no tienen datos precisos, un fenómeno llamado alucinación, y en el ámbito legal eso se traduce en citas de sentencias inexistentes o normas mal atribuidas.

Varios jueces en Estados Unidos ya han sancionado a litigantes y abogados por presentar escritos con jurisprudencia fabricada por IA. Lo distintivo de este episodio es que no se trató de un error de la herramienta, sino de un intento deliberado de aprovechar la posibilidad de que el propio tribunal usara IA para su trabajo. La suposición del demandante resultó tan reveladora como la maniobra en sí: dio por hecho que un chatbot participaba en la evaluación de su caso.

La inyección de prompts es una de las vulnerabilidades más discutidas en materia de seguridad de estos sistemas. Un modelo que procesa texto externo no siempre distingue entre la información que debe analizar y las órdenes que alguien esconde dentro de ella. Esa ambigüedad, que en un entorno corporativo puede derivar en filtraciones de datos, en un juzgado se convierte en un problema de integridad del proceso.

El límite entre herramienta y atajo

Para quien litiga sin abogado, un asistente conversacional puede parecer una ayuda accesible frente al costo de la representación legal. El riesgo aparece cuando se confunde la generación de texto plausible con asesoramiento jurídico confiable. Antes de apoyarse en estas herramientas conviene entender cómo funcionan realmente las instrucciones que se le dan a un modelo y cuáles son sus límites.

El caso deja una señal para los sistemas judiciales que empiezan a incorporar IA en tareas administrativas: cada punto donde un modelo lee documentos de terceros es también una puerta que alguien puede intentar forzar. La tentación de manipular el proceso crecerá al mismo ritmo que la adopción de estas herramientas en los tribunales.