Description

Développeur Senior Java / Big Data avec plus de 10 ans d'expérience

Ingénieur spécialisé en technologies Big Data et Java, j’accompagne depuis plus d’une décennie des entreprises dans la conception, le développement et l’optimisation de solutions de traitement de données à grande échelle.

Mon expertise couvre l’ensemble de la chaîne de traitement de données : ingestion, transformation, analyse et exposition, en environnement distribué.

🔧 Compétences clés :

Apache Spark (batch) : développement optimisé, tuning, gestion des ressources, committers avancés (S3, HDFS)
Java & Scala : développement backend, traitement parallèle, intégration de frameworks Big Data
Hadoop : HDFS, YARN, MapReduce, intégration avec Spark
Spring / Spring Boot : microservices, APIs REST, intégration des jobs Spark
Écosystèmes distribués : S3, HDFS, Hive, Kafka, SQL/NoSQL

💼 Habitué aux environnements exigeants (grandes volumétries, contraintes de performance, CI/CD), je propose des solutions robustes, évolutives et bien structurées.

📍 Disponible pour des missions de développement Big Data, optimisation Spark, migration vers le cloud, ou encore pour la mise en place de pipelines de données complets

Industry field of expertise

Languages

French
Native or bilingual
English
Fluent
Arabic
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Lyon (up to 50km), Grenoble (up to 50km)

AdobisGroup
Ingénieur Big Data Spark / Java
September 2024 - Today (1 year and 9 months)
Grenoble, France
Dans le cadre du projet DataChain, j’ai mené la refonte et l’optimisation d’un module central de traitement de données massives, axé sur un fonctionnement en batch à l’aide d’Apache Spark et Hadoop, déployé sur un cluster standalone ou Yarn/Hadoop. L’objectif principal était de fiabiliser les pipelines, d’améliorer ses performances et de le rendre plus adaptable à différents volumes et formats de données. Les principaux axes de travail incluent :
Analyse de l’architecture existante et identification des points critiques impactant les performances des jobs Spark.
Développement de nouvelles fonctionnalités pour améliorer la scalabilité et l’efficacité des traitements Spark batch.
Mise en place de tests automatisés et génériques pour valider systématiquement les fonctionnalités et garantir la qualité des transformations.
Conception de scripts de test de performance pour mesurer, comparer et optimiser les temps d’exécution des jobs en fonction du volume, du format et du système de stockage utilisé.
Intégration complète du mode de stockage interne S3 dans le module de traitement : étude comparative des performances (local, HDFS, S3), adaptation de la logique d’abstraction existante, implémentation et validation par des tests fonctionnels et de performance.
Configuration d’environnements de test reproductibles, orchestration de services pour les tests d’intégration.
Ajout de la prise en charge de nouveaux formats de fichiers (Excel, Xml…).
Réalisation de la montée de version vers Spark 3.5.x et mise à jour des frameworks auxiliaires.
Apache Spark Hadoop S3 HDFS Java
Enedis - Lyon
Développeur Data / Spark / Scala
ENERGY AND UTILITIES
September 2022 - October 2023 (1 year and 1 month)
Lyon, France
Conception, développement et optimisation de pipelines de traitement de données pour la chaîne communicante d’Enedis, dans un environnement Big Data (Hadoop, Spark, Scala, Hive).
Tâches réalisées :
Développement de pipelines de traitement distribués avec Spark et Scala sur Hadoop/HDFS/Hive.
Intégration et transformation de données brutes issues de sources hétérogènes (compteurs Linky, marchés de masse, marchés d’affaires).
Optimisation des performances pour le traitement de gros volumes de données.
Mise en place d’APIs REST en Java Spring pour exposer les données à différents acteurs métier.
Maintenance des pipelines d’intégration continue avec Jenkins.
Rédaction de documentation technique et de guides utilisateurs.
Suivi des évolutions fonctionnelles et techniques, avec mise à jour continue des traitements.
Réalisation de POCs pour tester de nouvelles solutions ou approches technologiques.
Développement et maintenance de tests unitaires et d’intégration.
Scala Hadoop Apache Spark Yarn Java
Adobis Group
Ingénieur Développeur Spark / Java
SOFTWARE PUBLISHING
April 2017 - July 2022 (5 years and 3 months)
Grenoble, France
J’assure, en collaboration avec l’équipe projet, le développement d’une solution Big Data basée sur des technologies open source telles que Java, Spring, Spark et Docker.
La solution met à disposition un ensemble des modules techniques permettant l’intégration des données de différents sources (fichiers, base des données, http, etc..) et leur structuration en fonction des besoins des utilisateurs. Elle comporte aussi une puissante brique fonctionnelle qui permet d’orchestrer, analyser, explorer et visualiser ses données en temps réel. Les principaux axes de travail incluent :
Participation aux ateliers d’analyse des besoins
Développement(en Java et Scala) des jobs Spark permettant d’intégrer les données et les monter en mémoire.
Développement des services REST en Java/SpringBoot/Hibernate.
Sécurisation des différents modules en se basant sur le protocol OAuth2/OpenId et Keycloak et en utilisant le framework Spring Security
Configuration des images Docker
Développement des script Groovy pour les mises à niveau de la base des données
Evolutions et corrections : analyse, conception et développement
Configuration des pipelines de CICD dans Gitlab
Développement des tests unitaires avec Junit et Mockito
java Spring Spring boot Docker Spark