Curs de pregatire Kafka pentru Administratori

Elemente esențiale ale administrării Kafka

• Locul Kafka într-o platformă modernă de date și responsabilitățile tipice de producție
• Concepte de bază pentru operatori: brokeri, subiecte, partiții, offset-uri, grupuri de consumatori
• Fundamentele replicării: lideri și următori, replici sincronizate, compromisuri de disponibilitate
• Repere operaționale Kafka și terminologia comună utilizată în runbooks

Modul KRaft și proiectarea clusterului

• Bazele KRaft: controlori, quorum de metadate, alegeri și de ce contează din punct de vedere operațional
• Planificarea implementării: dimensionare pentru debit, partiții, retenție și creștere
• Rolurile și aranjamentele nodurilor: controlori combinați vs dedicati, considerente ale domeniilor de defecțiune
• Laborator: inspectați metadatele KRaft, validați sănătatea quorumului și interpretați jurnalele controlorului

Instalare, configurare și operațiuni de zi cu zi

• Metode de instalare (pachete, tarball, containere) și ce să standardizați în mediile enterprise
• Configurarea de bază a brokerului care afectează fiabilitatea: ascultători, replicare, directoare de log, retenție
• Operațiuni sigure ale serviciilor: ordinea de pornire, oprire grațioasă și verificări de validare
• Laborator: implementați un cluster multi-nod, verificați înregistrarea brokerului și confirmați producția și consumul de bază

Gestionarea subiectelor, partițiilor și plasării datelor

• Ciclul de viață al subiectelor folosind CLI-ul Kafka: creare, descriere, actualizare configurații, ștergere
• Alegerea partițiilor și factorilor de replicare pentru sarcini reale, inclusiv modele anti-pattern comune
• Reatribuiri și echilibrare: când să mutați partiții și cum să verificați progresul în siguranță
• Laborator: creați subiecte, declanșați o reatribuire a partițiilor, simulați o defecțiune a brokerului și confirmați recuperarea

Securizarea Kafka pentru producție

• TLS pentru traficul client și inter-broker: certificate, lanțuri de încredere și pași de validare
• Autentificare cu SASL: selectarea mecanismelor comune și evitarea configurării greșite
• Autorizare cu ACLs: modele de privilegii minime pentru administratori, producători și consumatori
• Laborator: activați TLS și SASL, validați conectivitatea clientului și aplicați ACLs pentru rolurile aplicației

Observabilitate, fiabilitate și depanare

• Elemente esențiale de monitorizare: sănătatea controlorului, partiții sub-replicate, latență a cererilor, saturație a discului și a rețelei
• Jurnale și metrici: citirea jurnalelor brokerului și expunerea metricilor via JMX exporter către stive de observabilitate comune
• Playbooks operaționale: reporniri în rulare, modificări sigure de configurație, gestionarea problemelor de disc plin și ISR
• Laborator: construiți un set minim de alerte, diagnosticați un cluster degradat și restaurați replicarea sănătoasă

Actualizări și pregătire pentru recuperare la dezastru

• Planificarea actualizării pentru Kafka: verificări de compatibilitate, stagiarizare și abordare de revenire
• Backup-uri și așteptări de recuperare: ce poate fi salvat, ce nu poate și bazele recuperării configurației
• Prezentare generală a replicării inter-cluster și când să folosiți MirrorMaker 2 pentru DR și migrații
• Încheiere: checklist operațional, artefacte de predare și următorii pași pentru implementarea în producție