Curso - Fine-Tuning de Modelos de IA: LoRA, QLoRA y PEFT

Objetivos

Objetivos de la formación Fine-tuning de modelos de IA

Al finalizar esta formación serás capaz de:

• Definir cuándo y por qué hacer fine-tuning de un modelo en lugar de recurrir a la ingeniería de prompts o RAG.
• Preparar datasets de entrenamiento de calidad.
• Implementar técnicas de fine-tuning eficientes: LoRA, QLoRA y PEFT.
• Evaluar y comparar modelos afinados.
• Desplegar un modelo con fine-tuning en producción.

Requisitos previos

Para realizar esta formación es necesario poseer un buen conocimiento de Python, así como nociones de Deep Learning y procesamiento del lenguaje natural (NLP).

Se recomienda experiencia previa en el uso de modelos de lenguaje (LLM).

Duración

Programa

Programa de la formación Fine-tuning de modelos de IA

Día 1: fine-tuning y técnicas LoRA, QLoRA y PEFT

Cuándo hacer fine-tuning de un modelo de IA

• Fine-tuning, ingeniería de prompts y RAG: criterios de elección.
• Casos de uso en los que el fine-tuning aporta valor real.
• Costes, recursos y expectativas realistas.

Preparación de los datos de entrenamiento

• Formatos de dataset de instrucción y de conversación.
• Calidad frente a volumen: criterios de construcción del corpus.
• Limpieza, deduplicación y anonimización de los datos.
• División train / validation / test y prevención de fugas de datos.

Técnicas de fine-tuning: LoRA, QLoRA y PEFT

• Full fine-tuning frente a PEFT: impacto en memoria, velocidad y calidad.
• LoRA (Low-Rank Adaptation): principio matemático, elección del rango y capas objetivo.
• QLoRA: cuantificación en 4 bits combinada con LoRA y configuración con bitsandbytes.
• Hiperparámetros clave: learning rate, epochs, batch size, warmup, weight decay y estrategias de ajuste.
• Entrenamiento distribuido: DeepSpeed, FSDP y multi-GPU.
• Plataformas de entrenamiento: Hugging Face TRL / SFTTrainer, Axolotl, Unsloth y servicios cloud (SageMaker, Vertex AI).
• Seguimiento del entrenamiento: Weights & Biases, TensorBoard, curvas de pérdida y detección de overfitting.

Ejemplo de ejercicio práctico

• Fine-tuning LoRA de un modelo 7B en GPU: configuración del entrenamiento, seguimiento de métricas en tiempo real y guardado de los adaptadores.

Día 2: alineación, evaluación y despliegue de modelos con fine-tuning

Alineación y optimización de modelos

• RLHF (Reinforcement Learning from Human Feedback): principio, modelo de recompensa, PPO y por qué resulta costoso.
• Alineación DPO: preparación del dataset de preferencias y entrenamiento.
• Merge de modelos: combinación de adaptadores LoRA y técnicas de fusión (TIES, DARE, linear merge).
• Destilación: transferir las capacidades de un modelo grande a un modelo más pequeño.

Ejemplo de ejercicio práctico

• Alineación DPO de un modelo con fine-tuning previo: preparación del dataset de preferencias, entrenamiento DPO y comparación antes / después sobre un conjunto de pruebas.

Evaluación de modelos con fine-tuning

• Métricas de evaluación: perplejidad, BLEU / ROUGE y sus limitaciones, evaluación LLM-as-judge y benchmarks de negocio.
• Construcción de un benchmark propio: conjunto de pruebas representativo, scoring automático y tests de regresión.
• Comparativa sistemática: modelo base, modelo afinado y RAG sobre los mismos casos de prueba.

Despliegue de modelos con fine-tuning en producción

• Formatos de exportación: GGUF, ONNX, SafeTensors y criterios de elección según el destino del despliegue.
• Cuantificación posterior al entrenamiento: GPTQ, AWQ e impacto en la calidad.
• Despliegue del modelo afinado: vLLM, TGI, Ollama, Triton e integración en una cadena aplicativa existente.
• Versionado y ciclo de vida: registro de modelos, rollback y reentrenamiento planificado.

Ejemplo de ejercicio práctico

• Pipeline completo: evaluación comparativa del modelo afinado, exportación a GGUF, despliegue mediante vLLM y prueba de inferencia en condiciones reales.

Nota: El contenido de este programa puede adaptarse en función del nivel, los requisitos previos y las necesidades de los participantes.

Metodología

Metodología de la formación Fine-tuning de modelos de IA

La formación puede impartirse de forma presencial o a distancia mediante blended learning, e-learning, clase virtual o presencial a distancia.

El formador alternará los métodos demostrativo, interrogativo y activo mediante ejercicios prácticos y/o simulaciones.

Evaluación del aprendizaje

La evaluación de los aprendizajes se realizará:

• A lo largo de la formación, mediante los ejercicios prácticos realizados en los labs y las actividades aplicadas.
• Al finalizar la formación, mediante un cuestionario de autoevaluación.

Bonificación Fundae

Esta formación es bonificable a través de FUNDAE para todas las empresas que cuenten con trabajadores en régimen general de la Seguridad Social y dispongan de crédito formativo. SKOLAE Formación gestiona todo el proceso administrativo necesario para que tu empresa pueda recuperar el importe invertido en la formación, siempre que se cumplan los requisitos legales y de comunicación establecidos por FUNDAE.

Formador

Profesional especializado en Inteligencia Artificial, Machine Learning y Deep Learning, con experiencia práctica en la adaptación y el fine-tuning de modelos preentrenados.

Cuenta con conocimientos avanzados de Python, LLM, LoRA, QLoRA y PEFT, así como experiencia con las herramientas y tecnologías contempladas en el programa para el entrenamiento, evaluación, optimización y despliegue de modelos de IA.

Preguntas frecuentes sobre la formación Fine-Tuning de Modelos de IA

Qué es el fine-tuning de modelos de IA?

El fine-tuning permite adaptar modelos preentrenados a casos de uso específicos. En la formación se analizan también los criterios para decidir cuándo utilizar fine-tuning frente a alternativas como la ingeniería de prompts o RAG.

¿Qué técnicas de fine-tuning se trabajan en la formación?

El programa aborda full fine-tuning, PEFT, LoRA y QLoRA, incluyendo su impacto en memoria, velocidad y calidad, además de los principales hiperparámetros y estrategias de ajuste.

¿La formación aborda el fine-tuning de LLM?

Sí. Se recomienda experiencia previa con modelos de lenguaje (LLM), y el programa trabaja técnicas de adaptación de modelos preentrenados, alineación, evaluación y despliegue.

¿Qué herramientas se utilizan para entrenar y evaluar los modelos?

El programa contempla herramientas y plataformas como Hugging Face TRL / SFTTrainer, Axolotl, Unsloth, SageMaker, Vertex AI, Weights & Biases y TensorBoard, además de DeepSpeed y FSDP para entrenamiento distribuido.

¿Se estudian RLHF y DPO?

Sí. La formación aborda los principios de RLHF (Reinforcement Learning from Human Feedback) y la alineación DPO, incluyendo un ejercicio práctico de entrenamiento DPO sobre un modelo previamente afinado.

¿Cómo se despliegan los modelos con fine-tuning?

El programa contempla formatos como GGUF, ONNX y SafeTensors, cuantificación con GPTQ y AWQ y despliegue mediante tecnologías como vLLM, TGI, Ollama y Triton.

¿Qué conocimientos previos necesito?

Es necesario tener un buen conocimiento de Python y nociones de Deep Learning y procesamiento del lenguaje natural (NLP). También se recomienda experiencia previa con LLM.

¿Te gustó esta formación? Suscríbete a nuestra Newsletter pinchando aquí. También te animamos a seguirnos en LinkedIn, Instagram y Facebook y así estarás al día de todas nuestras novedades.