Understand

Intermédiaire · après Python et SQL

Ingénierie des données et MLOps

Bêta Ce cours est en version bêta. Les leçons, les exercices et les traductions sont encore en cours de relecture et peuvent changer. Signalez tout ce qui vous semble faux avec le bouton de retour.

Les data scientists demandent ce que disent les données. Les ingénieurs de données veillent à ce qu'elles arrivent, correctes et à l'heure, chaque jour. Le MLOps fait de même pour les modèles. Vous écrirez de petites versions de ce que font les grands outils (un orchestrateur, un vérificateur de contrats, un registre, un moniteur de dérive) et vous les testerez dans votre navigateur. Ainsi, lorsque vous rencontrerez plus tard Airflow, dbt, Spark, Kafka ou MLflow, vous saurez quel problème chacun résout. Ce cours n'enseigne pas en profondeur les interfaces de ces outils, et ses exercices dans le navigateur ne portent que sur de petits volumes de données.

Modules
8
Leçons
19
Durée
~37 heures
Projets
2
Commencer

Ce que tu sauras faire

  • Modéliser des données pour l'analyse, et écrire des pipelines idempotents et incrémentaux
  • Faire respecter des contrats de données et rendre compte de la qualité des données
  • Construire une orchestration à base de DAG avec reprises sur échec, et des agrégations de flux par fenêtres
  • Suivre le lignage, et traiter les données personnelles de façon responsable
  • Versionner les jeux de données et les modèles, et rendre l'entraînement reproductible
  • Surveiller la dérive et les performances, et décider du réentraînement et du retour arrière

Pour qui

Les programmeurs qui savent écrire du Python et du SQL et veulent construire des pipelines fiables ; les data scientists dont les modèles doivent survivre après le notebook.

Ce qu'il te faut

Python avec les fonctions, les classes et les erreurs. SQL de base avec les jointures (le niveau SQL de Data Science, ou équivalent). Les chapitres MLOps supposent que vous avez déjà entraîné un modèle.

Ce que tu vas construire

  • Pipeline quotidien de vélos
  • Projet final, pipeline des données au modèle

Programme

Ingénierie des donnéesModèles, pipelines, contrats, orchestration et gouvernance. 4 modules · 10 leçons
  1. 1 Formats et modèles de donnéesStockage en colonnes, étoiles et grain.
  2. 2 Des pipelines fiablesIdempotence, chargements incrémentaux et contrats de données.
  3. 3 Orchestration et fluxDAG, reprises, fenêtres et événements tardifs.
  4. 4 Lignage, vie privée et gouvernanceD'où vient chaque nombre, et qui a le droit de le voir.
Fondations logiciellesTests, configuration, journalisation et CI. 1 module · 1 leçon
  1. 5 Fondations logiciellesTests du code de données, configuration, journaux et CI.
MLOpsEntraînement reproductible, registres, supervision, réentraînement. 2 modules · 6 leçons
  1. 6 Entraînement reproductible et registresQuelles données, quel code, quel modèle.
  2. 7 Supervision, dérive et réentraînementLes modèles se dégradent en silence.
Projet finalUn pipeline reproductible, des données au modèle. 1 module · 2 leçons
  1. 8 Projet finalUn pipeline reproductible, des données au modèle.