Schița de curs
Elemente esențiale ale administrării Kafka
- Locul Kafka într-o platformă modernă de date și responsabilitățile tipice de producție
- Concepte de bază pentru operatori: brokeri, subiecte, partiții, offset-uri, grupuri de consumatori
- Fundamentele replicării: lideri și următori, replici sincronizate, compromisuri de disponibilitate
- Repere operaționale Kafka și terminologia comună utilizată în runbooks
Modul KRaft și proiectarea clusterului
- Bazele KRaft: controlori, quorum de metadate, alegeri și de ce contează din punct de vedere operațional
- Planificarea implementării: dimensionare pentru debit, partiții, retenție și creștere
- Rolurile și aranjamentele nodurilor: controlori combinați vs dedicati, considerente ale domeniilor de defecțiune
- Laborator: inspectați metadatele KRaft, validați sănătatea quorumului și interpretați jurnalele controlorului
Instalare, configurare și operațiuni de zi cu zi
- Metode de instalare (pachete, tarball, containere) și ce să standardizați în mediile enterprise
- Configurarea de bază a brokerului care afectează fiabilitatea: ascultători, replicare, directoare de log, retenție
- Operațiuni sigure ale serviciilor: ordinea de pornire, oprire grațioasă și verificări de validare
- Laborator: implementați un cluster multi-nod, verificați înregistrarea brokerului și confirmați producția și consumul de bază
Gestionarea subiectelor, partițiilor și plasării datelor
- Ciclul de viață al subiectelor folosind CLI-ul Kafka: creare, descriere, actualizare configurații, ștergere
- Alegerea partițiilor și factorilor de replicare pentru sarcini reale, inclusiv modele anti-pattern comune
- Reatribuiri și echilibrare: când să mutați partiții și cum să verificați progresul în siguranță
- Laborator: creați subiecte, declanșați o reatribuire a partițiilor, simulați o defecțiune a brokerului și confirmați recuperarea
Securizarea Kafka pentru producție
- TLS pentru traficul client și inter-broker: certificate, lanțuri de încredere și pași de validare
- Autentificare cu SASL: selectarea mecanismelor comune și evitarea configurării greșite
- Autorizare cu ACLs: modele de privilegii minime pentru administratori, producători și consumatori
- Laborator: activați TLS și SASL, validați conectivitatea clientului și aplicați ACLs pentru rolurile aplicației
Observabilitate, fiabilitate și depanare
- Elemente esențiale de monitorizare: sănătatea controlorului, partiții sub-replicate, latență a cererilor, saturație a discului și a rețelei
- Jurnale și metrici: citirea jurnalelor brokerului și expunerea metricilor via JMX exporter către stive de observabilitate comune
- Playbooks operaționale: reporniri în rulare, modificări sigure de configurație, gestionarea problemelor de disc plin și ISR
- Laborator: construiți un set minim de alerte, diagnosticați un cluster degradat și restaurați replicarea sănătoasă
Actualizări și pregătire pentru recuperare la dezastru
- Planificarea actualizării pentru Kafka: verificări de compatibilitate, stagiarizare și abordare de revenire
- Backup-uri și așteptări de recuperare: ce poate fi salvat, ce nu poate și bazele recuperării configurației
- Prezentare generală a replicării inter-cluster și când să folosiți MirrorMaker 2 pentru DR și migrații
- Încheiere: checklist operațional, artefacte de predare și următorii pași pentru implementarea în producție
Cerințe
- Înțelegerea administrării de bază a Linux (utilizatori, servicii, fișiere, permisiuni)
- Experiență cu concepte de rețea TCP/IP (DNS, porturi, firewalls, echilibrare a sarcinii)
- Experiență de bază în scripting (Bash, PowerShell sau similar) pentru sarcini operaționale de rutină
Public țintă
- Administratori Kafka și ingineri de platformă responsabili de operarea clusterelor Kafka
- Ingineri de fiabilitate a site-urilor și ingineri DevOps care sprijină platforme de streaming
- Echipe de infrastructură și operații care implementează noi clustere Kafka bazate pe KRaft sau migrează de la ZooKeeper
Mărturii (5)
Posibilitatea de a efectua exerciții independente în mediul de instruire.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Curs - Kafka for Administrators
Tradus de catre o masina
Direct la punct, ritm potrivit (deși se presupune cunoașterea bazelor bash)
Krzysztof - Agora SA
Curs - Kafka for Administrators
Tradus de catre o masina
Formatorul acceptă întrebări în orice moment al sesiunii, chiar dacă subiectul a fost abordat cu câțiva zile în urmă.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Curs - Kafka for Administrators
Tradus de catre o masina
Bune abilități de prezentare
Md Maruf Hossain - ATOS PGS sp. z o.o.
Curs - Kafka for Administrators
Tradus de catre o masina
Abilități excelente, exemple, exerciții foarte bune
Marek Konieczny - G2A.COM Limited
Curs - Kafka for Administrators
Tradus de catre o masina