Data Engineer - Lyon (H/F)
Description du poste
Qui sommes-nous ? Superpictor est une startup innovante qui révolutionne le secteur des objets et textiles personnalisés grâce à des outils SaaS intelligents. Nous automatisons la gestion des données produits et facilitons leur intégration à grande échelle pour nos clients B2B. Notre stack data repose sur Pimcore (basé sur Symfony) pour centraliser toutes les données produits, ainsi que Google Cloud (App Engine, Cloud Functions) pour nos APIs et traitements scalables. Nous intégrons des flux provenant de divers distributeurs via des connecteurs PHP, et gérons différents formats d'API : REST, GraphQL, CSV, XML, JSON. Dans le cadre de notre croissance, nous cherchons un(e) Data Engineer pour optimiser, structurer et scaler nos flux de données. Tes missions Tu rejoindras l'équipe Tech sous la direction du CTO, avec pour mission de fiabiliser, automatiser et améliorer l'intégration des données produits. - Phase 1 : Consolidation et optimisation (court terme) * Améliorer et fiabiliser nos pipelines d'intégration basés sur Symfony/Pimcore pour récupérer et traiter les données produits. * Optimiser les performances des connecteurs PHP qui interagissent avec les APIs des distributeurs (REST, GraphQL, CSV, XML, JSON). * Assurer la gestion des données froides et chaudes (produits, images, prix, stock). * Automatiser les flux Pimcore ¿ API¿ Superpictor SaaS ¿ Sites e-commerce pour éviter les traitements manuels et garantir une synchronisation fiable. * Mettre en place du monitoring et des logs avancés pour garantir la qualité des données et détecter les anomalies. - Phase 2 : Scalabilité et automatisation avancée (moyen/long terme) * Concevoir et implémenter des solutions d'automatisation et d'orchestration avancées (Airflow, dbt, Dataflow, etc.). * Explorer des architectures Data Warehouse (BigQuery, Snowflake.) pour améliorer la structuration et l'exploitation des données produits. * Optimiser la gestion des flux de données chaudes (prix et stock) pour les rendre plus temps réel. * Structurer une architecture data scalable et modulaire pour anticiper l'augmentation des volumes et des intégrations partenaires. - Stack technique et outils utilisés - Langages & Frameworks : PHP (Symfony/Pimcore), Python. - Intégration API : REST, GraphQL, CSV, XML, JSON. - Base de données : MariaDB, MySQL. - Cloud & Infra : Google Cloud (BigQuery, Cloud Storage, App Engine, Cloud Functions). - Orchestration (à explorer) : Airflow, dbt. - Profil recherché * Tu maîtrises PHP/Symfony et Pimcore (ou un autre PIM/MDM similaire). * Tu as de bonnes bases en PHP, Python et SQL pour l'automatisation et le traitement des données. * Tu es à l'aise avec les APIs REST et les formats de données CSV/XML/JSON. * Tu comprends les enjeux de scalabilité et d'intégration de données en temps réel et en batch. * Un plus : Expérience avec Airflow, dbt, Google Cloud, Kafka ou un Data Warehouse. Type d'emploi : Temps plein, CDI Statut : Cadre Rémunération : à partir de 32¿000,00€ par an Horaires : * Du lundi au vendredi Lieu du poste : En présentiel
🎼 symfony 🕥 Dernière mise à jour il y a 2 semainesExpérience requise
Débutant accepté
