Data engineer H/F
Description du poste
Le cabinet Lynx RH recherche un Data Engineer H/F pour l'un de ses clients sur NantesVos missionsEn tant que Data Engineer vos missions seront:Étude, conception et réalisation de traitements Big Data ;Échange avec les architectes, les PO et PPO, les développeurs et la gouvernance de données ;Exploration des données et des usages des utilisateurs avec Impala ;Import de données (SFTP, Kafka, RabbitMQ) ;Alimentation du cluster Hadoop via des composants développé en Java avec le Framework Spark sur IntelliJ ;Utilisation d'Apache Ambari pour gérer et surveiller un cluster Hadoop, visualisation des jobs en cours via YarnApplication et des flux Oozie ;Collecte des données depuis Teradata via l'outil Sqoop dans une base de données Hive ;Transformation des données avec Spark (HDFS, Hive, Kafka, Hbase, Phoenix) ;Utilisation de Apache Kudu afin d'optimiser les requêtes utilisateurs sur les données chaudes ;Exposition de données sur Dataiku pour la création de modèle de DataScience ;Réalisation en Java - Flink pour gérer les traitements complexe et volumineux ;Gestion de configuration sous Git avec GitLab ;Intégration continue avec Jenkins et Sonar ;Lecture de fichier parquet depuis un répertoire S3 sous AWS ;Requêtage de bases de donnée depuis l'outil Athena d'AWS ;ransformation des données et calcul d'indicateurs sous Hive ;Utilisation de Oozie pour l'ordonnancement de flux ;Utilisation de Kibana pour visualiser et mesurer la volumétrie de traitements quotidien et en streaming.Profil recherchéMaîtrise des langages structurés (Javascript, Scala, Pythonli>Maîtrise de divers systèmes d'exploitation : UNIX, Linux, Solaris,Connaissances en solutions de bases de données (SQL, NoSQLli>Informations complémentairesType de contrat : CDITemps de travail : Temps pleinSalairepar an
☕ java 🕥 Dernière mise à jour il y a 2 joursExpérience requise
Débutant accepté
Offres d'emplois similaires
Développeur JAVA (H/F)
Développeur JAVA (H/F)
Offres d'emplois dans la même ville
Cloud Data Engineer H/F
Product Owner (H/F)
Inetum
Lynx RH : Recrutement spécialisé en CDI, CDD et intérim de profils Bac+2 à Bac+5 en fonctions supports, informatique et ingénierie. Offres d'emploi.