Vous êtes passionné par les données et les technologies cloud. En tant qu’Ingénieur Data Scala / Databricks, vous intégrerez la Direction des Technologies de SQLI, une entreprise reconnue pour son expertise en transformation digitale et expérience client. Votre rôle sera central dans la conception, le développement et la maintenance de pipelines de données robustes, capables de répondre aux besoins métiers de nos clients internes et externes.

Responsabilités principales :

• Développer et maintenir des pipelines d’ingestion de données avec Azure Data Factory, en assurant la performance et la fiabilité des flux.
• Concevoir des pipelines de transformation sur Azure Databricks, en utilisant Scala, PySpark et SQL pour transformer, nettoyer et enrichir les données.
• Implémenter des tests unitaires et d’intégration pour garantir la robustesse du code et la qualité des données.
• Définir et appliquer des règles de qualité des données, en collaboration avec les équipes métier.
• Participer à la conception et à l’automatisation des pipelines CI/CD via Azure DevOps, afin de garantir des déploiements rapides et sans erreur.
• Appliquer les bonnes pratiques de software engineering (clean code, versioning, tests, principes de modélisation BI).
• Collaborer étroitement avec les Product Owners Data pour comprendre les besoins métiers et proposer des solutions adaptées.
• Assurer la supervision des traitements de données avec Datadog, en identifiant et résolvant les anomalies.
• Contribuer à la définition et à l’optimisation des architectures de données, en tenant compte des contraintes de performance, de sécurité et de conformité.

Environnement technique :

• Langages : SQL, Scala, PySpark, Python.
• Outils : SSIS, SSAS, Business Object, Power BI, Datadog, Snyk.
• Cloud : Azure DataFactory, Azure Databricks, ADLS Gen 2.
• CI/CD : Git, Azure DevOps.

Profil recherché :

• Diplôme Bac+5 en informatique, ingénierie ou domaine connexe.
• Minimum 3 ans d’expérience dans un poste similaire.
• Maîtrise de Python, PySpark, Scala, SQL.
• Expérience confirmée dans le développement de pipelines de données sur Databricks.
• Bonne connaissance du Spark UI et capacité à diagnostiquer et optimiser les traitements.
• Bonne connaissance de l’environnement Azure et de ses services cloud orientés data.
• Familiarité avec les bonnes pratiques de développement : clean code, versioning, tests, principes de modélisation BI.
• Expérience d’utilisation du framework dbt pour la transformation de données en SQL.
• Pratique du travail en méthodologie Agile, en lien étroit avec les Product Owners Data et l’équipe projet.
• Force de proposition, capable de s’adapter rapidement dans un environnement technique en constante évolution.

Pourquoi rejoindre SQLI ?

• Un environnement dynamique et innovant, au sein d’une équipe passionnée par les technologies de données.
• La possibilité de travailler sur des projets d’envergure, à la pointe des technologies cloud et Big Data.
• Des opportunités d’évolution et de formation continue pour développer vos compétences.
• Un cadre de travail flexible et des avantages attractifs.

Vous êtes prêt à relever le défi et à contribuer à la transformation digitale de nos clients ? Rejoignez SQLI et faites partie d’une équipe qui repousse les limites de l’innovation.