Curso - Deep Learning con TensorFlow, Caffe y PyTorch: Redes Neuronales y Transformers

Objetivos

Objetivos de la formación Deep Learning con TensorFlow, Caffe y PyTorch

Al finalizar esta formación serás capaz de:

• Describir los conceptos de Machine Learning y su evolución hacia el Deep Learning o redes neuronales profundas.
• Definir los bloques fundamentales del Deep Learning: redes neuronales simples, convolucionales y recurrentes.
• Comprender la arquitectura Transformer y su papel fundamental en los LLM.
• Identificar modelos avanzados como auto-encoders, redes generativas adversariales (GAN) y aprendizaje por refuerzo.
• Describir las bases teóricas y prácticas de la arquitectura y convergencia de las redes neuronales.
• Identificar las metodologías de implementación de redes neuronales, así como los puntos fuertes y las limitaciones de estas herramientas.

Requisitos previos

Para realizar esta formación es necesario poseer una cultura informática general.

También se recomienda disponer de nociones de probabilidad y estadística.

Duración

Programa

Programa de la formación Deep Learning con TensorFlow, Caffe y PyTorch

Fundamentos de Inteligencia Artificial y Deep Learning

• Definiciones y posicionamiento: Inteligencia Artificial, aprendizaje profundo (Deep Learning) y aprendizaje automático.
• Aportaciones del Deep Learning y estado del arte.
• Herramientas disponibles.
• Ejemplos de proyectos concretos.
• Ejemplos y dominios de aplicación.
• Presentación de DeepMind.
• Herramientas de Deep Learning de alto nivel: Keras / TensorFlow y Caffe / PyTorch.

Ejemplo de trabajo práctico

• Implementación en Cloud AutoML: procesamiento del lenguaje natural, traducción, reconocimiento de imágenes, entre otros.

Convergencia y entrenamiento de redes neuronales

• Comprender la retropropagación del error y la convergencia.
• Dominar el descenso del gradiente.
• Funciones de error: MSE (error cuadrático medio) y entropía cruzada binaria.
• Optimizadores: SGD (descenso de gradiente estocástico), RMSprop y Adam.
• Definiciones: capa, epochs, batch size, iteraciones, loss, learning rate y momentum.
• Optimizar un entrenamiento mediante la división en entrenamientos progresivos.
• Comprender el principio de los hiperparámetros y su elección.

Ejemplo de trabajo práctico

• Construcción de una red capaz de reconocer una curva.

Redes neuronales simples, convolucionales y recurrentes

• Principios de las redes neuronales.
• Diferentes tipos de redes neuronales: artificiales, convolucionales y recurrentes.
• Diferentes formas de redes: MultiLayer Perceptron FNN / MLP y CNN.
• Capas de entrada, salida y cálculo.
• Funcionamiento de una capa de convolución.
• Definiciones: kernel, padding y stride.
• Funcionamiento de una capa de pooling.
• API estándar y modelos de aprendizaje.
• Interpretación de una curva de aprendizaje.

Ejemplos de trabajos prácticos

• Comparación de curvas de aprendizaje con TensorFlow utilizando diferentes parámetros.
• Construcción de una red neuronal de reconocimiento de imágenes.

Modelos avanzados de Deep Learning: auto-encoders, GAN y aprendizaje por refuerzo

• Representaciones de los datos.
• Ruido.
• Capas de codificación: codificación entera, one-hot y embedding layer.
• Noción de auto-encoder.
• Auto-encoders apilados, convolucionales y recurrentes.
• Comprender las redes generativas adversariales (GAN) y sus límites de convergencia.
• Aprendizaje por transferencia.
• Evolución hacia GRU (Gated Recurrent Units) y LSTM (Long Short Term Memory).
• Procesamiento del lenguaje natural (NLP): codificación de caracteres y palabras y traducción.

Ejemplo de trabajo práctico

• Entrenamiento de un auto-encoder variacional sobre un conjunto de imágenes.

Arquitectura Transformer, mecanismo de atención y LLM

• Límites de las RNN y LSTM para secuencias largas: vanishing gradient y procesamiento secuencial.
• Mecanismo de atención: principio, scaled dot-product attention y multi-head attention.
• Arquitectura Transformer: encoder-decoder, positional encoding, normalización y conexiones residuales.
• Variantes: encoder-only (BERT), decoder-only (GPT) y encoder-decoder (T5), y sus respectivos casos de uso.
• Tokenización: BPE, WordPiece y SentencePiece e impacto en el rendimiento.
• Preentrenamiento y transfer learning: masked language modeling y causal language modeling.
• Del Transformer a los LLM: scaling laws, emergencia de capacidades y límites.

Ejemplos de trabajos prácticos

• Implementación de un mecanismo de atención completo con PyTorch y posterior utilización de un modelo preentrenado de Hugging Face para la clasificación de texto.
• Comparación con la CNN anterior sobre el mismo conjunto de datos.

Explotación y creación de modelos de Deep Learning

• Preparación de los datos, regularización, normalización y extracción de características.
• Optimización de la política de aprendizaje.
• Explotación de los modelos y puesta en producción: TensorFlow Hub y Serving.
• Visualización de las reconstrucciones.

Ejemplo de trabajo práctico

• Implementación de un servidor de modelos y de una aplicación tf-lite para móvil.

Puntos fuertes y limitaciones del Deep Learning

• Puesta de manifiesto de los problemas de convergencia y vanishing gradient.
• Errores de arquitectura: cómo distribuir una red neuronal.
• Límites del Deep Learning: imitar o crear.
• Casos concretos de utilización.
• Perspectivas: Transformers, LLM, modelos multimodales e IA embebida.

Nota: El contenido de este programa puede ser objeto de adaptación en función del nivel, los requisitos previos y las necesidades de los participantes.

Metodología

Metodología de la formación Deep Learning con TensorFlow, Caffe y PyTorch

La formación puede impartirse de forma presencial o a distancia mediante blended learning, e-learning, clase virtual o presencial a distancia.

El formador alternará los métodos demostrativo, interrogativo y activo mediante ejercicios prácticos y/o simulaciones.

Evaluación del aprendizaje

La evaluación de los aprendizajes se realizará mediante:

• Análisis de los resultados individuales obtenidos por cada participante durante los trabajos prácticos, con corrección a lo largo del desarrollo de la formación.
• Realización de una prueba completa sobre un proyecto global al finalizar la formación, con análisis por parte del consultor-formador.
• Cuestionario individual de evaluación de los aprendizajes al final de cada sesión.

Bonificación Fundae

Esta formación es bonificable a través de FUNDAE para todas las empresas que cuenten con trabajadores en régimen general de la Seguridad Social y dispongan de crédito formativo. SKOLAE Formación gestiona todo el proceso administrativo necesario para que tu empresa pueda recuperar el importe invertido en la formación, siempre que se cumplan los requisitos legales y de comunicación establecidos por FUNDAE.

Formador

La formación es impartida por un profesional especializado en Inteligencia Artificial, Machine Learning y Deep Learning, con experiencia y conocimientos avanzados en redes neuronales y en el uso de herramientas y frameworks como TensorFlow, Keras, Caffe y PyTorch.

Domina las principales arquitecturas de redes neuronales, incluidas las redes convolucionales y recurrentes, así como Transformers y los conceptos relacionados con el entrenamiento, la convergencia, la optimización y la explotación de modelos.

Preguntas frecuentes sobre la formación Deep Learning con TensorFlow, Caffe y PyTorch

¿Qué aprenderé en esta formación de Deep Learning?

Aprenderás los fundamentos del Deep Learning y las redes neuronales, su arquitectura y convergencia, los principales tipos de redes neuronales y modelos avanzados, así como la arquitectura Transformer y su papel en los LLM.

¿Qué herramientas de Deep Learning se utilizan en la formación?

El programa aborda herramientas y frameworks como TensorFlow, Keras, Caffe y PyTorch. También incluye trabajos prácticos con TensorFlow y PyTorch.

¿Qué tipos de redes neuronales se estudian?

La formación aborda redes neuronales simples, convolucionales y recurrentes, incluyendo conceptos y arquitecturas como FNN/MLP, CNN, GRU y LSTM.

¿Se estudian Transformers y LLM?

Sí. El programa incluye el mecanismo de atención, la arquitectura Transformer, modelos encoder-only como BERT, decoder-only como GPT y encoder-decoder como T5, además de su evolución hacia los LLM.

¿Qué conocimientos previos necesito?

Es necesario poseer una cultura informática general y se recomienda disponer de nociones de probabilidad y estadística.

¿A quién está dirigida esta formación?

Está dirigida a cualquier persona interesada en Deep Learning y redes neuronales, especialmente ingenieros, analistas, Data Scientists, Data Analysts, Data Stewards y desarrolladores.

¿Te gustó esta formación? Suscríbete a nuestra Newsletter pinchando aquí. También te animamos a seguirnos en LinkedIn, Instagram y Facebook y así estarás al día de todas nuestras novedades.