ECTS : 3
Lecturer in charge : Pierre WOLINSKI (https://dauphine.psl.eu/recherche/cvtheque/wolinski-pierre)
Language of instruction : French
Teaching hours : 39
Course content:
Révision des fondamentaux du deep learning : algorithme de rétropropagation du gradient, lois d'initialisation des paramètres, pré-traitements et couches de neurones classiques, utilisation de la SGD et d'Adam.
Maîtrise de PyTorch: datasets, data loaders, graphe de calcul et différentiation automatique, sauvegarder et charger des modèles, classes Module, Tensor et Parameter.
Inférence bayésienne, inférence variationnelle, Variational Auto-Encoders (VAE), modèles de diffusion.
Neural Language Processing (NLP): Recurrent Neural Networks (RNN), LSTM, couches d'attention, réseaux transformers.
Skills to be acquired:
Connaître les fondations mathématiques et informatiques du deep learning.
Comprendre le fonctionnement des modèles de diffusion et des Large Language Models (LLM).
Mandatory prerequisites
Python, calcul différentiel et intégral, statistiques (espérance et espérance conditionnelle).
Recommended prerequisites
Python + programmation orientée objet.
Assessment:
TP noté + projet.