Recent Advances in Data Sciences

ECTS : 3

Volume horaire : 21

Description du contenu de l'enseignement :

Le domaine du Machine Learning et du Deep Learning évoluant sans cesse plus rapidement, il est essentiel d'avoir des bases solides dans ces deux domaines pour naviguer dans les nombreux articles de recherche du domaine. Nous traiterons de notions réinterprétés ou présentés entre 2017 et 2023 à la lumière d'articles plus anciens.

Les séances serons organisée par thème :

1. Bon départ d'un réseau de neurones
2. Calibration en Machine Learning
3. Mise à jour moderne des poids d'un réseau de neurones
4. Avancées des Large Language Models pour les réseaux de neurones en général
5. Tokenization et impacts

Pour chaque séances plusieurs TP avec PyTorch serons proposés pour manipuler le cours. Les séances restante seront dédiés à la préparation d'une soutenance finale portant sur une ou plusieurs des notions abordées dans les 5 séances.

Compétence à acquérir :

• Lecture, implémentation et critique d'un papier de recherche en Machine Learning
• Utilisation de PyTorch et Latex
• Capacité de synthèse et de vulgarisation de notions complexe en Machine Learning
• Culture générale sur le domaines et les acteurs

Mode de contrôle des connaissances :

Soutenance d'un sujet de recherche proposé, avec rédaction d'un rapide compte-rendu, des slides et un notebook.

Bibliographie, lectures recommandées :

• Machine Learning et Deep Learning
  • Hands-on Machine Learning with Scikit-Learn, Aurélien Géron, O'Reilly
  • Deep Learning avec TensorFlow, Aurélien Géron, O'Reilly
  • Deep Learning with Python, François Chollet, Manning
• Culture générale
  • Weapons of Math Destruction, Cathy O'Neil, Crown Books
  • Quand la machine apprend, Yann Le Cun, Odile Jacob
  • De l'autre côté de la machine: Voyage d'une scientifique au pays des algorithmes, Aurélie Jean, Édition de l'observatoire