Data manager (H/F)
Description du poste
Description du poste : Le cabinet Lynx RH recherche un Data Engineer H/F pour l'un de ses clients sur Nantes Vos missions En tant que Data Engineer vos missions seront:***Étude, conception et réalisation de traitements Big Data ; * Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ; * Exploration des données et des usages des utilisateurs avec Impala ; * Import de données (SFTP, Kafka, RabbitMQ) ; * Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ; * Utilisation d'Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ; * Collecte des données depuis Teradata via l'outil Sqoop dans une base de données Hive ; * Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ; * Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ; * Exposition de données sur Dataiku pour la création de modèle de DataScience ; * Réalisation en Java - Flink pour gérer les traitements complexe et volumineux ; * Gestion de configuration sous Git avec GitLab ; * Intégration continue avec Jenkins et Sonar ; * Lecture de fichier parquet depuis un répertoire S3 sous AWS ; * Requêtage de bases de donnée depuis l'outil Athena d'AWS ; * ransformation des données et calcul d'indicateurs sous Hive ; * Utilisation de Oozie pour l'ordonnancement de flux ; * Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming. Description du profil : Profil recherché***Maîtrise des langages structurés (Javascript, Scala, Python.), * Maîtrise de divers systèmes d'exploitation : UNIX, Linux, Solaris, * Connaissances en solutions de bases de données (SQL, NoSQL.), Informations complémentaires Type de contrat : CDI Temps de travail : Temps plein
☕ java 🕥 Dernière mise à jour il y a 2 semainesExpérience requise
Débutant accepté
Offres d'emplois similaires
Ingénieur système (SysOps) Linux (H/F)
Compozit
Offres d'emplois dans la même ville
Intégrateur Devops (H/F)
Ingénieur Developpement Data Integration (H/F)
Groupe atlantic synergy - société en nom collectif
Lynx RH : Recrutement spécialisé en CDI, CDD et intérim de profils Bac+2 à Bac+5 en fonctions supports, informatique et ingénierie.