La empresa PrismML logró comprimir un modelo de inteligencia artificial de 27.000 millones de parámetros hasta ocupar menos de 4 GB, un tamaño lo bastante reducido para ejecutarse directamente en un iPhone. Bautizado Bonsai 27B, el modelo es abierto y está orientado al razonamiento, y según las pruebas de la propia compañía conserva cerca del 90% del rendimiento del original en su versión más pequeña.
El dato relevante no es solo que quepa en un teléfono, sino que la caída de calidad sea mínima justo en las tareas más exigentes. De acuerdo con los datos publicados por PrismML, las puntuaciones en matemáticas y programación apenas se resienten tras la compresión, dos áreas donde los modelos suelen perder precisión cuando se los reduce de tamaño.
Qué significa comprimir un modelo
Los parámetros son los valores internos que un modelo ajusta durante su entrenamiento; a más parámetros, más memoria y potencia de cálculo se necesitan para hacerlo funcionar. Un modelo de 27.000 millones normalmente exige hardware de servidor. La técnica de PrismML, descrita en el anuncio oficial de la compañía, recorta ese peso a menos de 4 GB mediante una representación ternaria, un método que reduce drásticamente la precisión numérica de cada parámetro sin desmontar la arquitectura.
El resultado es un modelo que corre en el dispositivo (on-device), sin enviar datos a la nube. Eso importa por dos motivos: la privacidad, porque las consultas no salen del teléfono, y la latencia, porque no depende de la conexión a internet. PrismML publicó una demostración funcional en dispositivos Apple a través de un repositorio en GitHub, además de una prueba en vivo alojada en HuggingFace y una vista previa para desarrolladores mediante API.
El interés de Apple
Según un reporte de CNBC, Apple ya estaría probando la tecnología de compresión de PrismML. La compañía de Cupertino ha quedado por detrás de sus rivales en inteligencia artificial generativa, y su apuesta pasa precisamente por ejecutar modelos dentro del propio hardware en lugar de depender de centros de datos externos.
Esa estrategia encaja con los movimientos recientes de la empresa. Apple acaba de abrir su nuevo Siri al público con la beta de iOS 27, un asistente rediseñado que necesita procesamiento local eficiente para responder rápido y proteger datos personales. Un modelo de razonamiento que quepa en la memoria de un iPhone sería una pieza natural de ese plan.
La tendencia hacia modelos más livianos
Bonsai 27B se suma a una corriente que gana fuerza en la industria: acercar modelos capaces a dispositivos de consumo. Google ha empujado en la misma dirección con herramientas para ejecutar IA dentro del navegador, y varios laboratorios trabajan en versiones compactas de sus modelos abiertos. La promesa es que no haga falta un servidor con múltiples tarjetas gráficas para tareas de razonamiento medianamente complejas.
Conviene tomar las cifras con cautela. Los porcentajes de rendimiento provienen de las pruebas internas de PrismML, no de evaluaciones independientes, y el comportamiento real de un modelo comprimido puede variar según la tarea, el idioma y las condiciones de uso. Los datos de matemáticas y código son alentadores, pero todavía falta verificación externa que confirme hasta dónde llega la compresión sin degradar otros aspectos, como el manejo de textos largos o la coherencia en conversaciones extensas.
Si la técnica cumple lo que promete y termina integrándose en productos masivos, el efecto práctico sería notable: capacidades de razonamiento que hoy viven en la nube pasarían a funcionar sin conexión, en el bolsillo del usuario. Queda por ver si Apple u otros fabricantes la adoptan a escala comercial.
