# Usa Beeuni para ejecutar y evaluar un experimento de ajuste fino de un modelo Pide a un agente que prepare los datos de entrenamiento, ejecute un trabajo de ajuste fino en el ordenador de entrenamiento conectado, investigue los fallos y compare las salidas del modelo. Canonical page: https://beeuni.ai/blog/es/run-model-fine-tuning-with-beeuni El script de entrenamiento se cierra durante la noche. La carpeta de salida contiene un punto de control, es decir, el estado del modelo guardado en un momento del entrenamiento, pero el registro termina antes de la evaluación. ¿Terminó el entrenamiento? ¿Se puede cargar ese modelo guardado? ¿Qué configuración lo produjo? Un agente de Beeuni puede revisar los archivos y los registros, intentar cargar el punto de control e indicar qué terminó antes de que decidas volver a ejecutarlo. Con acceso a tu ordenador de entrenamiento, el agente puede inspeccionar el código y los datos, ejecutar comandos, leer registros y recopilar resultados de evaluación. Tú eliges el modelo y defines qué cuenta como una mejora. Beeuni utiliza el software de entrenamiento y la capacidad de cómputo disponibles en ese ordenador para realizar el trabajo. ## Empieza por un comportamiento que quieras cambiar Piensa en el clasificador de solicitudes de soporte de la [guía del conjunto de datos](/blog/es/build-ai-training-dataset-jsonl). Asigna las solicitudes a facturación, acceso a la cuenta, ayuda con el producto o revisión. Quieres comprobar si un modelo ajustado clasifica las solicitudes en la categoría correcta con más constancia que el modelo base con instrucciones. Conserva ejemplos que combinen problemas de acceso y de facturación: te permitirán comprobar si el modelo aprendió qué categoría tiene prioridad cuando una solicitud contiene varios problemas. Proporciona al agente las definiciones de las etiquetas, los registros de entrenamiento revisados y un conjunto de evaluación separado. Pídele que ejecute el modelo base con ese conjunto antes de modificar los pesos. Guarda el identificador del modelo, las instrucciones, los ajustes de generación y las predicciones. Sin esa referencia inicial, que el comando de entrenamiento termine correctamente te dice muy poco sobre si el trabajo adicional sirvió de algo. ## Configura el acceso al ordenador de entrenamiento Conecta el ordenador que ejecutará el experimento mediante [Computer Tunnel](/docs/es/connect/computers) y selecciónalo en el perfil activo. Permite el acceso al sistema de archivos y al shell en el directorio de entrenamiento. Indica al agente dónde están el repositorio, los datos y el entorno de Python. Si vas a entrenar con GPU, pídele que compruebe el dispositivo disponible, la memoria, los controladores y la compatibilidad del framework antes de elegir la configuración. El modelo base y el método de entrenamiento determinan cuánta memoria y capacidad de cómputo necesitas. Con un método de adaptadores, entrenas un pequeño conjunto de parámetros adicionales sin modificar los pesos del modelo base. Actualizar todos los pesos suele requerir más recursos. Pide al agente de Beeuni que inspeccione tu script de entrenamiento y el hardware disponible, y explique si la configuración prevista es viable. Revisa cualquier propuesta de instalar paquetes, descargar modelos o cambiar el entorno antes de empezar. ``` Use the connected training computer and repository I specify. Inspect the training script, model access, Python environment, and available devices. Validate the reviewed dataset and keep the evaluation set separate. Run the base-model evaluation and save its predictions. Propose a small fine-tuning run with the settings and output directory shown. Wait for my approval before starting training or changing the environment. Save the command, configuration, logs, and evaluation results for each run. ``` ## Haz que la primera ejecución sea lo bastante pequeña como para revisarla Antes de ejecutar el entrenamiento completo, utiliza una pequeña muestra de los datos para comprobar el flujo de trabajo. ¿Puede el tokenizador leer los registros? ¿Se representan las etiquetas de forma coherente? ¿Se está entrenando al modelo para predecir el texto previsto? ¿Puede el script guardar un punto de control y cargarlo para responder a una solicitud? Estas comprobaciones permiten detectar problemas de configuración antes de invertir tiempo en entrenar con todo el conjunto de datos. Pide al agente de Beeuni que muestre un ejemplo exactamente como lo leerá el script de entrenamiento. Debe marcar el texto que el modelo aprende a predecir y el que se proporciona solo como contexto. La pérdida de entrenamiento mide los errores en esas predicciones. Si el script incluye los campos equivocados, el entrenamiento puede ejecutarse con normalidad y, aun así, enseñar el comportamiento incorrecto. Revisa este ejemplo antes de fiarte de una gráfica de pérdida. Guarda cada experimento en un directorio de salida distinto. Registra la revisión del código, la versión del conjunto de datos, el modelo base, el método de entrenamiento, la semilla y la configuración. Si el método solo guarda un adaptador, anota qué modelo base necesita. Una carpeta con pesos debe incluir información suficiente para volver a cargar el modelo. ## Consulta el progreso del entrenamiento sin volver a iniciarlo Utiliza el gestor de trabajos del ordenador de entrenamiento o una sesión de terminal persistente, y guarda los registros en disco. Pide al agente que anote cómo inspeccionar y detener ese trabajo. Un comando iniciado durante una llamada a una herramienta requiere su propio mecanismo de gestión de procesos; la conexión de chat no debería ser el único registro de que se inició. Cuando pidas una actualización, el agente puede comprobar el trabajo registrado, leer el último registro e inspeccionar los puntos de control guardados. Si se pierde la conexión, comprueba si ese mismo trabajo sigue ejecutándose antes de iniciar otro. Reanudar desde un punto de control depende de lo que haya guardado el framework de entrenamiento, incluido el estado del optimizador y del planificador cuando sea necesario. Si se produce un error de memoria insuficiente, pide al agente que conserve la configuración que falló y lea el error antes de proponer un cambio. Reducir el tamaño del lote, acortar las secuencias o cambiar el método de entrenamiento puede afectar tanto al uso de memoria como al experimento. Registra la nueva configuración como otra ejecución para que la comparación siga siendo clara. ## Compara los errores y luego decide qué conservar Ejecuta el modelo ajustado con los mismos ejemplos de evaluación que usaste con el modelo base. No incluyas esos ejemplos en los datos de entrenamiento y mantén fijos los ajustes de predicción y las reglas de puntuación. Para el clasificador de soporte, compara los resultados de cada categoría e inspecciona las solicitudes que cambiaron de categoría. Un aumento de la precisión general puede ocultar un peor desempeño en los casos poco frecuentes que te importan. | Ejemplo que conviene revisar | Qué debería mostrar la comparación | | --- | --- | | Una disputa directa sobre un cargo | Si la clasificación básica de facturación sigue funcionando | | Una solicitud que combina problemas de inicio de sesión y cancelación | Si se respeta la regla para intenciones en conflicto | | Un mensaje de seguimiento incompleto | Si el modelo usa la etiqueta de revisión en vez de adivinar | | Una etiqueta que no pertenece al conjunto aprobado | Si es necesario ajustar el formato de salida o las restricciones de etiquetas | Pide a Beeuni que redacte un informe que vincule las predicciones modificadas con los ejemplos de origen y la configuración de cada ejecución. Si revisas el conjunto de datos tras inspeccionar estos errores, usa un conjunto de prueba distinto para tomar la decisión final. Ajustar el modelo repetidamente con los mismos ejemplos puede mejorar la evaluación sin mejorar el desempeño en solicitudes nuevas. Guarda juntos los pesos o el adaptador seleccionados, las instrucciones de carga, los detalles del entorno y el informe de evaluación. Prueba a cargar el resultado en un proceso nuevo. Puedes desplegarlo cuando aceptes la comparación; hasta entonces, el modelo existente puede seguir atendiendo tu aplicación mientras el experimento permanece separado.