Un tutorial publicado por el medio especializado MarkTechPost detalla un flujo de trabajo completo para construir un modelo de lenguaje compacto orientado al razonamiento, es decir, capaz de resolver problemas paso a paso en lugar de limitarse a responder de forma directa. La receta combina un conjunto de datos abierto, un modelo base de apenas 135 millones de parámetros y una técnica de entrenamiento liviana que puede correr con recursos modestos.
La propuesta interesa a desarrolladores e investigadores que no disponen de granjas de GPU. En lugar de entrenar un modelo enorme desde cero, el enfoque parte de un modelo ya preentrenado y lo especializa con datos curados, un proceso conocido como ajuste fino supervisado (o SFT, por sus siglas en inglés), en el que se le muestran ejemplos de preguntas con sus respuestas razonadas.
Los ingredientes del experimento
El pipeline arranca con el corpus de razonamiento de SupraLabs, alojado en Hugging Face. En lugar de descargar el conjunto completo, el tutorial lo transmite en modo streaming, cargando los ejemplos sobre la marcha para no saturar el disco ni la memoria. Sobre esos datos se aplican filtros de calidad y una limpieza basada en reglas heurísticas, con el fin de quedarse solo con ejemplos útiles y bien formados.
Como modelo base se emplea SmolLM2-135M-Instruct, una versión pequeña y ya afinada para seguir instrucciones. Su tamaño reducido es justamente la gracia del ejercicio: demuestra que un modelo modesto puede volverse competente en una tarea concreta si se lo entrena con datos adecuados.
El entrenamiento se realiza con LoRA (Low-Rank Adaptation), una técnica de ajuste fino eficiente que no reescribe todos los pesos del modelo, sino que añade un pequeño conjunto de parámetros entrenables. Eso reduce drásticamente el consumo de memoria y el tiempo de cómputo, y permite entrenar en hardware accesible, incluso en cuadernos gratuitos con una sola GPU.
De los datos a la inferencia
El recorrido cubre todas las etapas: análisis del conjunto de datos, filtrado y curaduría, entrenamiento con LoRA y, finalmente, la inferencia, donde el modelo ya especializado responde a nuevas preguntas. El código completo del proceso está disponible en un cuaderno de código en GitHub, lo que facilita replicar cada paso.
La curaduría de datos es el corazón del método. Antes de entrenar, se descartan ejemplos demasiado cortos, con formato roto o de baja calidad, bajo la premisa de que un conjunto pequeño pero limpio suele rendir mejor que uno grande y ruidoso. Este principio —priorizar la calidad sobre el volumen— se ha vuelto habitual en el desarrollo de modelos especializados.
Por qué importan los modelos pequeños
La industria de la IA suele girar en torno a modelos gigantes que exigen infraestructura costosa. Los llamados modelos pequeños de lenguaje (SLM) representan la corriente opuesta: sistemas ligeros que pueden ejecutarse en equipos locales, con menor costo, mayor privacidad y menos dependencia de servicios en la nube. Para muchas tareas acotadas, un modelo bien afinado de pocos cientos de millones de parámetros resulta suficiente.
El razonamiento es uno de los campos donde esta estrategia gana tracción. Modelos que muestran su cadena de pensamiento antes de responder tienden a acertar más en problemas de lógica y matemáticas, y hacerlo en escala reducida abre la puerta a que estudiantes, startups y equipos con presupuesto limitado experimenten. Quien quiera dar los primeros pasos en el área puede apoyarse en guías introductorias como esta ruta para aprender IA desde cero.
El ejercicio no pretende competir con los grandes modelos de razonamiento comerciales, sino mostrar que la especialización está al alcance de casi cualquiera con conocimientos básicos de programación. Esa democratización, más que el rendimiento absoluto, es el verdadero valor de la propuesta.
