Cloud Data Engineer Databriks
Cherry Pick
Paris
En quelques mots
Cherry Pick est à la recherche d'un "Data Databricks Engineer" pour un client dans le secteur de l'énergie
Description
Contexte
Au sein de notre équipe Data Platform, vous interviendrez dans les activités liées à Databricks :
Unity Catalog, Policy, Cluster/Serverless, PySpark. Vous participerez à la maintenance et à
l'évolution de la Data & Analytics Platform, à l'évolution des infrastructures cloud via Terraform,
au développement de micro-services en Python, et à la conception et maintenance de chaînes de
déploiement automatisé (CICD). Vous assurerez le bon fonctionnement opérationnel de la Data &
Analytics Platform (MCO/Run) et enrichirez la documentation à l'attention des utilisateurs.
Missions
Interventions sur Databricks : Vous travaillerez spécifiquement sur Unity Catalog, la gestion des politiques, les clusters/serveurless, et l'utilisation de PySpark.
Maintenance et évolution de la Data & Analytics Platform : Vous participerez à la gestion et à l'amélioration continue de la plateforme de données et des infrastructures cloud.
Infrastructure via Terraform : Vous serez impliqué dans l'évolution des infrastructures cloud avec Terraform.
Développement de micro-services en Python : Vous contribuerez au développement de micro-services pour l'architecture globale.
Gestion du déploiement automatisé (CICD) : Vous serez responsable de la conception et maintenance des chaînes de déploiement continu.
MCO/Run (Maintenance et Opérations) : Vous veillerez au bon fonctionnement de la plateforme au quotidien.
Documentation : Vous enrichirez et maintiendrez la documentation à l'attention des utilisateurs.
Compétences réquises
- Databricks: Unity Catalog, Policy, Cluster/Serverless, PySpark
- Python, Terraform
- GitHub, GitHub Action
- Bonne connaissance de la méthodologie Agile.
- Bonne connaissance des mécanismes de traitement et de valorisation des données.
- À l'aise dans les interactions avec les parties prenantes.
- Force de proposition et désireux(se) d'apprendre en continu.
Profil recherché
- Environ 2 à 5 ans d’expérience dans un rôle similaire, en particulier avec des outils de cloud computing, Databricks, et développement Python.
- Expérience dans la mise en place et l’automatisation de processus (CICD), ainsi que dans la gestion de données à grande échelle.
- Connaissance avérée des pratiques DevOps et d'intégration continue.