← Retour aux formations
Intelligence Artificielle & Data
Deep Learning avec PyTorch : CNN, transfer learning, NLP avec spaCy et transformers
Avancé
À propos de cette formation
Concepteurs-développeurs en Machine Learning, data scientists et ingénieurs en IA souhaitant maîtriser PyTorch pour concevoir et entraîner des modèles de Deep Learning sur des problèmes d'images et de texte.
Objectifs de la formation
- Traiter des images et du texte avec PyTorch
- Entraîner des réseaux de neurones from scratch ou par transfer learning
- Maîtriser les modules PyTorch dédiés au chargement et à la gestion des données
- Appréhender les principes de l'entraînement distribué
- Comprendre les méta-architectures modernes, notamment les transformers
Programme détaillé
Module 1 — Prise en main de PyTorch
- Principes fondamentaux de PyTorch
- Installation de PyTorch et des composantes associées
- Comparaison entre NumPy et PyTorch
- PyTorch vs TensorFlow
- Travaux pratiques : installation de PyTorch, manipulation de tenseurs et de matrices
Module 2 — Sous-modules PyTorch pour l'entraînement des réseaux de neurones
- Principes du calcul distribué
- Présentation des sous-modules PyTorch dédiés à l'entraînement
- Rappels sur la propagation forward
- Rappels sur la rétropropagation des gradients
- Chargement des données
- Définir un réseau de neurones convolutif avec torch.nn, entraîner le modèle et le tester
- Travaux pratiques : mise en place d'un réseau CNN pour la classification d'images
Module 3 — Transfer Learning et réseaux pré-entraînés
- Principe du transfer learning
- Exemples de mise en œuvre de l'apprentissage par transfert
- Étapes de la méthode de transfer learning dans un projet de Machine Learning
- Utilisation de réseaux pré-entraînés
- Travaux pratiques : reprise des exercices précédents pour améliorer les métriques grâce au transfer learning
Module 4 — Méta-architectures pour des projets complexes
- Présentation des méta-architectures
- Problématique de détection d'objets
- Problématique de segmentation d'images
- Architecture UNet : blocs codeur-décodeur avec PyTorch
- Travaux pratiques : création d'un modèle UNet pour la segmentation d'images ; comparaison avec le transfer learning
Module 5 — NLP avec PyTorch et spaCy
- Le traitement automatique du langage naturel (NLP)
- Intérêt de PyTorch et de spaCy pour le NLP
- Principe des pipelines de traitement du langage
- Processing de texte
- Entraînement de réseaux récurrents / biLSTM
- Utilisation conjointe de PyTorch et spaCy pour le NLP
- Travaux pratiques : topic modelling sur des avis de films ; analyse des sentiments sur des tweets
Module 6 — Transformers et mécanismes d'attention
- Les transformers appliqués au traitement automatique des langues
- Détail des mécanismes d'attention
- Auto-attention : le mécanisme d'attention appliqué à une séquence
- Fonctionnement général des transformers
- Travaux pratiques : mise en place d'un modèle de traduction
Prérequis
Pratique de Python et du Machine Learning.