Architectes, Chefs de projet, Développeurs, équipes DevOps...
A l’issue de la formation, le stagiaire sera capable de mettre en oeuvre l’outil d’Apache Kafka pour utiliser un système de messagerie distribuée à haut débit.
avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.
|
| Comprendre le fonctionnement de Kafka et les principes de communications inter applications |
Durée : 2h
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
Liaison éventuelle avec Zookeeper. Impacts.
|
|
| Acquérir les bonnes pratiques de distribution de messages |
Durée : 5h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Etude de la configuration du broker Atelier : création d'une configuration multi-broker, démarrage de plusieurs noeuds
Atelier : création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer
|
|
| Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes |
Durée : 3h30
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples,
modes de fonctionnement (standalone ou distribué)
Types de connecteurs
Atelier : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation
|
|
| Appréhender les différentes APIs de Kafka. |
Durée : 3h30
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Conception d'applications avec Kafka. Principe de fonctionnement. Atelier : développement de prototypes en Python, Java, Scala
Couplage avec SparkStreaming en mode batch, en mode continu
Principe et architecture de Kafka Streams
|
|
| Mettre en oeuvre KSQL |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Conception d'application avec KSQL. La sur-couche KSQL.
Présentation de ksqlDB. Création de flux en KSQL. Les ajouts SQL pour permettre le traitement en flux.
Micro-batchs. Introduction au water-marking.Atelier : mise en oeuvre d'une chaîne de traitement avec KSQL
|
|
| Travailler en sécurité avec Kafka |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Intégrité et confidentialité :
Chiffrement SSL et authentification SASL.
Sécurisation de l'infrastructure : Zookeeper, proxy Rest
Disponibilité : La réplication. Facteur de réplication. PartitionsAtelier : tests de haute disponibilité dans une configuration multi-noeuds
|
|
| Exploitation |
Durée : 1h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Mise en oeuvre de kafka-tool
Gestion des logs
Détection de pannes : méthodes et outils
Benchmarks
|
