ECTS : 3
Volume horaire : 39
Description du contenu de l'enseignement :
Révision des fondamentaux du deep learning : algorithme de rétropropagation du gradient, lois d'initialisation des paramètres, pré-traitements et couches de neurones classiques, utilisation de la SGD et d'Adam.
Maîtrise de PyTorch: datasets, data loaders, graphe de calcul et différentiation automatique, sauvegarder et charger des modèles, classes Module, Tensor et Parameter.
Inférence bayésienne, inférence variationnelle, Variational Auto-Encoders (VAE), modèles de diffusion.
Neural Language Processing (NLP): Recurrent Neural Networks (RNN), LSTM, couches d'attention, réseaux transformers.
Compétence à acquérir :
Connaître les fondations mathématiques et informatiques du deep learning.
Comprendre le fonctionnement des modèles de diffusion et des Large Language Models (LLM).
Mode de contrôle des connaissances :
TP noté + projet.