Analyse de données 2
ECTS : 3
Volume horaire : 30
Description du contenu de l'enseignement :
De nombreuses tâches d'apprentissage se formulent comme un problème d'optimisation, la forme la plus classique consistant à minimiser une somme d'erreurs au carré. Apprendre un modèle qui explique des données nécessite alors de résoudre ce problème d'optimisation, soit directement, soit au moyen d'algorithmes itératifs.
Durant ce cours, on présentera les outils mathématiques nécessaires à la résolution de problèmes d'optimisation aux moindres carrés. Le formalisme de l'optimisation sera tout d'abord présenté, en illustrant l'intérêt des dérivées dans la caractérisation de solutions. On s'intéressera ensuite à la résolution pratique de ces problèmes, qui repose sur le calcul automatique de dérivées et sur l'utilisation d'algorithmes numériques tirant parti de la structure du problème.
Contenu du cours :
- Optimisation non linéaire : Formalisme sans contraintes, conditions d'optimalité basées sur les dérivées. Cas particuliers des moindres carrés linéaires et non linéaires, cas des problèmes quadratiques. Illustrations en régression et classification.
- Calcul différentiel : Formules de calcul de dérivées, règles de composition, introduction à la différentiation automatique. Application dans le calcul de Jacobiennes pour problèmes de moindres carrés.
- Algorithmes d'optimisation : Descente de gradient, méthodes de Newton et Gauss-Newton pour les moindres carrés linéaires. Applications à la régression et la classification.
Compétence à acquérir :
- Savoir exprimer les conditions d'optimalité d'un problème d'optimisation non linéaire.
- Connaître les spécificités des problèmes aux moindres carrés.
- Comprendre les principes de la différentiation automatique, et pouvoir l'appliquer à des programmes simples.
- Comparer les résultats de plusieurs algorithmes d'optimisation sur un problème donné.
Bibliographie, lectures recommandées :
- J. Nocedal and S. J. Wright, Numerical Optimization, Second Edition (2006).
- A.G. Baydin, B.A. Pearlmutter, A.A. Radul and J.M. Siskind, Automatic Differentiation in ML: a Survey (2018)
- A. Björck, Numerical Methods for Least Squares Problems, Second Edition (2024).