Schița de curs
Introducere
- Kubeflow pe GCK vs on-premise vs pe alți furnizori de cloud public
Prezentare generală a caracteristicilor Kubeflow pe GCP
- Gestionarea declarativă a resurselor
- Autoscalare GKE pentru sarcini de lucru de învățare automată (ML)
- Conexiuni securizate la Jupyter
- Jurnale persistente pentru depanare și depanare
- GPUs și TPU pentru accelerarea sarcinilor de lucru
Prezentare generală a configurației mediului
- Pregătirea mașinii virtuale
- Kubernetes configurare cluster
- Instalarea Kubeflow
Desfășurarea Kubeflow
- Desfășurarea Kubeflow on GCP
- Implementarea Kubeflow în medii on-premise și în cloud
- Implementarea Kubeflow pe GKE
- Configurarea unui domeniu personalizat pe GKE
Conducte pe GCP
- Crearea unei conducte end-to-end Kubeflow.
- Personalizarea conductelor Kubeflow Pipeline
Securizarea unui cluster Kubeflow Cluster
- Configurarea autentificării și autorizării
- Utilizarea controalelor serviciilor VPC și a GKE privat
Stocarea, Accessing, gestionarea datelor
- Înțelegerea sistemelor de fișiere partajate și a stocării atașate la rețea (NAS)
- Utilizarea serviciilor gestionate de stocare a fișierelor în GCE
Executarea unui loc de muncă de formare ML
- Formarea unui model MNIST
Administrarea Kubeflow
- Jurnalizare și monitorizare
Depanare
Rezumat și concluzii
Cerințe
- O înțelegere a conceptelor de învățare a mașinilor.
- Cunoașterea conceptelor de cloud computing. .
- O înțelegere generală a containerelor (Docker) și a orchestrației (Kubernetes).
- O anumită experiență de programare Python este utilă.
- Experiență de lucru cu o linie de comandă.
Audiență
- Inginerii de știință a datelor.
- DevOps ingineri interesați de implementarea modelelor de învățare automată.
- Inginerii de infrastructură interesați de implementarea modelului de învățare automată.
- Inginerii de software care doresc să automatizeze integrarea și implementarea funcțiilor de învățare automată cu aplicația lor.
Mărturii (2)
the ML ecosystem not only MLFlow but Optuna, hyperops, docker , docker-compose
Guillaume GAUTIER - OLEA MEDICAL
Curs - MLflow
I enjoyed participating in the Kubeflow training, which was held remotely. This training allowed me to consolidate my knowledge for AWS services, K8s, all the devOps tools around Kubeflow which are the necessary bases to properly tackle the subject. I wanted to thank Malawski Marcin for his patience and professionalism for training and advice on best practices. Malawski approaches the subject from different angles, different deployment tools Ansible, EKS kubectl, Terraform. Now I am definitely convinced that I am going into the right field of application.