Sénior Ingénieur Data / BI (H/F)
Description du poste
Le Client : Votre futur employeur Notre client, un groupe reconnu pour ses valeurs de solidarité, de proximité et d'éthique, dispose de son siège social en France et compte plus de 900 collaborateurs. Avec un impact national, le groupe dessert 700 000 clients utilisateurs de son système d'information. Vous serez rattaché(e) au responsable du département Data, au sein d'une équipe de 12 personnes spécialisée en Business Intelligence traditionnelle, utilisant une approche Agile (Scrum) pour les projets et la maintenance des solutions. Vous interagirez avec les collaborateurs de la DSI (120 personnes réparties en 6 divisions) ainsi qu'avec les managers fonctionnels impliqués dans vos projets Chronologie du Processus de Gestion des Données : 1. Capture des Changements de Données (Change Data Capture) : En tant que Tech Lead Data, vous superviserez la capture des modifications des données sources en temps réel à l'aide de Debezium. Cet outil détecte les changements dans les bases de données et les envoie sous forme de flux de données 2. Transmission des Données avec Kafka : Les données capturées sont ensuite transmises via Apache Kafka, une plateforme de streaming distribuée. Kafka joue un rôle crucial dans la transmission rapide et fiable des données vers le Data Lake 3. Stockage dans un Data Lake & Interrogation avec Trino : Les données sont stockées dans un Data Lake et peuvent être interrogées à l'aide de Trino (anciennement Presto), un moteur SQL distribué. Trino permet d'exécuter des requêtes fédérées, c'est-à-dire de combiner et d'analyser des données provenant de différentes sources en une seule requête 4. Développement d'une Interface Utilisateur avec Spring Boot :Enfin, vous serez responsable de superviser le développement d'une interface utilisateur en Java Spring Boot permettant aux utilisateurs finaux de visualiser et d'interagir avec les données traitées et centralisées Vos Missions : Leadership technique : - Assurer un rôle de leadership technique auprès des équipes de développement - Porter la vision technique au sein des équipes Agile - Animer les équipes de développement et transmettre les bonnes pratiques - Participer aux conceptions techniques et veiller à leur alignement avec la stratégie Conception et traduction des exigences : - Conseiller les parties prenantes sur les meilleures solutions techniques - Traduire les exigences stratégiques en conceptions robustes, scalables et sécurisées - Accompagner et valider les architectures techniques, les conceptions et la modélisation, en assurant le respect des standards Gestion de la qualité et gouvernance technologique : - Garantir les bonnes pratiques de développement et de gouvernance technologique - Veiller à la qualité des livrables et au respect des plannings - Anticiper les problématiques et être proactif dans leur résolution Veille technologique et amélioration continue : - Assurer une veille technologique active pour maintenir la pertinence et l'efficacité des solutions - Proposer des innovations pour améliorer la stabilité, la performance, et l'évolutivité des systèmes - Participer à la mise en place de nouveaux concepts comme l'architecture Data Mesh Stack technique requise : - SQL : Solides compétences en requêtes SQL et gestion des bases de données relationnelles - Kafka : Expérience avec Apache Kafka pour la gestion des flux de données en temps réel - Trino : Maîtrise de Trino pour l'interrogation de données distribuées et fédérées - Java / Spring : Développement d'applications backend robustes avec Java et le framework Spring Boot - Hive : Compétence dans l'utilisation de Hive pour la gestion de données dans des environnements de Big Data - Hadoop : Expérience avec l'écosystème Hadoop pour le traitement et le stockage de grandes quantités de données Technologies supplémentaires appréciées : - Debezium : Si vous avez déjà exploré Debezium
☕ java 🕥 Dernière mise à jour il y a 1 moisExpérience requise
5 An(s)
