Senior Data Engineer (calculs distribués) H/F
Description du poste
VOS MISSIONS Nous recherchons un·e Senior Data Engineer spécialisé·e dans le calcul distribué pour rejoindre l'équipe de data engineering et science. En tant que responsable du pipeline d'ingestion des données de nos stations météorologiques, il s'agira d'être au coeur de notre activité. Les principales missions seront : - Maintenir et optimiser notre pipeline principal d'ingestion basé sur Apache Flink, écrit en Scala et fonctionnant sur des clusters AWS EMR. - Concevoir des pipelines en stream et batch robustes alimentant nos applications et offrant des données météorologiques précises. - Affiner l'architecture en la rendant plus modulaire (traitement des données brutes, agrégations temporelles et spatiales, etc.). - Améliorer le processus de déploiement et l'observabilité de la plateforme. Vos responsabilités - Être la référence en traitement de données batch et stream. - Optimiser les performances et la fiabilité de notre architecture de données. - Concevoir des pipelines efficaces dans Databricks. - Assurer le mentorat de l'équipe et promouvoir les meilleures pratiques de data engineering. VOS EVOLUTIONS La politique RH vous garantit un accompagnement régulier pour vous faire progresser et évoluer vers de nouvelles missions en fonction de votre projet. Rejoindre notre Groupe, c'est la garantie d'une formation initiale et continue, d'un plan de carrière personnalisé et d'un management de proximité. CONDITIONS PROPOSEES - CDI à pourvoir à Lille ou à distance. - Un salaire compétitif basé sur l'expérience. - Mutuelle prise en charge par l'entreprise. - 50% de participation aux abonnements sportifs via Gymlib. - Remboursement de l'abonnement à certaines plateformes de streaming. Dans le cadre de sa politique RH, ISAGRI étudie, à compétences égales, toutes candidatures dont celles de personnes en situation de handicap VOTRE PROFIL - Maîtrise du calcul distribué et des pipelines de données (stream et batch). - Solide expérience en observabilité des systèmes. - Maîtrise de Scala (ou à défaut Java). - Expérience avec Apache Flink, Spark, Databricks (Delta Live Tables). Soft Skills - Excellente communication écrite et orale. - Esprit d'équipe et volonté de partager ses connaissances. - Capacité à simplifier le code et à documenter efficacement.
☕ java 🕥 Dernière mise à jour il y a 3 joursExpérience requise
Expérience exigée de 5 An(s)
