Zouhaier Somai

Contexte :

Participer à la mise en place d’un cluster ELK mutualisé pour la traçabilité métier, technique et applicatifs de l’assurance maladie.

Ma collaboration était principalement d’accompagner les équipes projets chez CNAM, livrer un cluster de supervision pour le cluster ELK, améliorer et sécuriser le cluster ELK.

Tâches et contributions:

- Collaborer avec les architectes à la conception et à la mise en place d’un cluster ELK mutualisé (dimensionnement des nœuds, stratégie de sharding et de réplication).

- Sécuriser le cluster ELK (OIDC, LDAP, TCP/SSL, X-Pack, Role Mapping …).

- Recueillir et analyser les besoins d’ingestion des différentes entités, les accompagner dans la définition des exigences de parsing, d’indexation, de mapping et de rétention des données.

- Développer les pipelines Logstash adaptés aux besoins des projets et contribuer à la normalisation des formats de logs au sein de CNAM.

- Gérer les incidents, les problèmes de performance et de haute disponibilité de Logstash (Persistent Queue, parsing, gestion de rejets)

- Supporter les équipes développement et production dans l’installation des Beats et des clusters ELK privés.

- Accompagner les projets dans la création et l’optimisation de leurs dashboards Kibana.

- Mise en place du cluster de supervision qui suit l'état de santé du cluster mutualisé.

- Automatiser l’ajout d’un nouveau projet dans le cluster ELK en utilisant des playbook Ansible (ajouter un nouvel espace Kibana, index pattern, index template et mapping, dashboard, habilitations et users ...).

- Fixer les problèmes de Prod (watermark, unassign shared, performance de requête ...)

- Structurer et gérer les indices via les index templates, Datastream et les ILM.

- Coacher et monter en compétences les membres de l’équipe et les nouveaux arrivants sur la collecte, l’ingestion et l’analyse des logs.

Technologies:

Elasticsearch, logstash, Kibana, Filebeat, winlogbeat, Kafka, F5, Syslog, Ansible, Shell, Python,

Gitlab CI.

Contexte :

Intégration au sein de l’équipe Collecting de BNP, spécialisée dans la collecte et l’analyse des logs de sécurité afin d’assurer une surveillance continue et proactive des menaces.

Intervenir avec l’équipe infrastructure pour assurer l’administration et l’industrialisation des pipelines de collecte, tout en développant les pipelines Logstash et en déployant les différents agents de collecte.

Tâches et contributions:

- Déployer, configurer et administrer un cluster Elasticsearch pour centraliser et exploiter les logs de sécurité.

- Collecter et centraliser les logs provenant de différentes sources : rsyslog, Windows Event, API, Microsoft Azure, et logs de sécurité applicatifs

- Assurer la migration des données et des pipelines de Splunk vers la stack ELK, tout en garantissant la continuité de la collecte et de l’analyse des logs.

- Développer des pipelines Logstash pour parser et enrichir les logs conformément aux normes internes et aux besoins des IT Risk Managers

- Coacher et monter en compétences les membres de l’équipe et les nouveaux arrivants sur la collecte, l’ingestion et l’analyse des logs.

- Assurer la montée en version du cluster ELK en garantissant la continuité de service et la compatibilité des composants.

- Rédaction de documentation technique et transfert de compétences.

Technologies:

Docker, Kubernetes, Elasticsearch, logstash, Kibana, Jenkin, Gitlab-CI, IBM Cloud, ArgoCD,

Dynatrace, Ansible, Python, Shell, Kafka.

• - Installer et déployer les clusters ElasticSearch (nœuds, Sharding et Replication).

• - Installer et déployer les Beats sur les différents serveurs via Ansible.

• - Analyser la qualité des logs et effectuer l'extraction des champs via Grok.

• - Mettre en place Kibana et créer des dashboards qui permettent de monitorer et suivre l'avancement des applications en temps réel.

• - Mettre en place et administrer un cluster Kafka.

• - Créer les pipelines CICD

• - Faire les tests d'intégration avec TestContainers