Schița de curs

Elemente esențiale ale administrării Kafka

  • Locul Kafka într-o platformă modernă de date și responsabilitățile tipice de producție
  • Concepte de bază pentru operatori: brokeri, subiecte, partiții, offset-uri, grupuri de consumatori
  • Fundamentele replicării: lideri și următori, replici sincronizate, compromisuri de disponibilitate
  • Repere operaționale Kafka și terminologia comună utilizată în runbooks

Modul KRaft și proiectarea clusterului

  • Bazele KRaft: controlori, quorum de metadate, alegeri și de ce contează din punct de vedere operațional
  • Planificarea implementării: dimensionare pentru debit, partiții, retenție și creștere
  • Rolurile și aranjamentele nodurilor: controlori combinați vs dedicati, considerente ale domeniilor de defecțiune
  • Laborator: inspectați metadatele KRaft, validați sănătatea quorumului și interpretați jurnalele controlorului

Instalare, configurare și operațiuni de zi cu zi

  • Metode de instalare (pachete, tarball, containere) și ce să standardizați în mediile enterprise
  • Configurarea de bază a brokerului care afectează fiabilitatea: ascultători, replicare, directoare de log, retenție
  • Operațiuni sigure ale serviciilor: ordinea de pornire, oprire grațioasă și verificări de validare
  • Laborator: implementați un cluster multi-nod, verificați înregistrarea brokerului și confirmați producția și consumul de bază

Gestionarea subiectelor, partițiilor și plasării datelor

  • Ciclul de viață al subiectelor folosind CLI-ul Kafka: creare, descriere, actualizare configurații, ștergere
  • Alegerea partițiilor și factorilor de replicare pentru sarcini reale, inclusiv modele anti-pattern comune
  • Reatribuiri și echilibrare: când să mutați partiții și cum să verificați progresul în siguranță
  • Laborator: creați subiecte, declanșați o reatribuire a partițiilor, simulați o defecțiune a brokerului și confirmați recuperarea

Securizarea Kafka pentru producție

  • TLS pentru traficul client și inter-broker: certificate, lanțuri de încredere și pași de validare
  • Autentificare cu SASL: selectarea mecanismelor comune și evitarea configurării greșite
  • Autorizare cu ACLs: modele de privilegii minime pentru administratori, producători și consumatori
  • Laborator: activați TLS și SASL, validați conectivitatea clientului și aplicați ACLs pentru rolurile aplicației

Observabilitate, fiabilitate și depanare

  • Elemente esențiale de monitorizare: sănătatea controlorului, partiții sub-replicate, latență a cererilor, saturație a discului și a rețelei
  • Jurnale și metrici: citirea jurnalelor brokerului și expunerea metricilor via JMX exporter către stive de observabilitate comune
  • Playbooks operaționale: reporniri în rulare, modificări sigure de configurație, gestionarea problemelor de disc plin și ISR
  • Laborator: construiți un set minim de alerte, diagnosticați un cluster degradat și restaurați replicarea sănătoasă

Actualizări și pregătire pentru recuperare la dezastru

  • Planificarea actualizării pentru Kafka: verificări de compatibilitate, stagiarizare și abordare de revenire
  • Backup-uri și așteptări de recuperare: ce poate fi salvat, ce nu poate și bazele recuperării configurației
  • Prezentare generală a replicării inter-cluster și când să folosiți MirrorMaker 2 pentru DR și migrații
  • Încheiere: checklist operațional, artefacte de predare și următorii pași pentru implementarea în producție

Cerințe

  • Înțelegerea administrării de bază a Linux (utilizatori, servicii, fișiere, permisiuni)
  • Experiență cu concepte de rețea TCP/IP (DNS, porturi, firewalls, echilibrare a sarcinii)
  • Experiență de bază în scripting (Bash, PowerShell sau similar) pentru sarcini operaționale de rutină

Public țintă

  • Administratori Kafka și ingineri de platformă responsabili de operarea clusterelor Kafka
  • Ingineri de fiabilitate a site-urilor și ingineri DevOps care sprijină platforme de streaming
  • Echipe de infrastructură și operații care implementează noi clustere Kafka bazate pe KRaft sau migrează de la ZooKeeper
 21 Ore

Numărul de participanți


Pret per participant

Mărturii (5)

Cursuri viitoare

Categorii înrudite