Curs de pregatire Clasificarea audio și detecția evenimentelor cu ML

Fundamentele clasificării audio

• Tipuri de evenimente sonore: de mediu, mecanice, generate de om
• Prezentare generală a cazurilor de utilizare: supraveghere, monitorizare, automatizare
• Clasificare audio vs detecție vs segmentare

Date audio și extracția caracteristicilor

• Tipuri de fișiere și formate audio
• Considerații privind rata de eșantionare, ferestrele și dimensiunea cadrelor
• Extragerea MFCC-urilor, a caracteristicilor chroma și a mel-spectrogramelor

Pregătirea și adnotarea datelor

• UrbanSound8K, ESC-50 și seturi de date personalizate
• Etichetarea evenimentelor sonore și a limitelor temporale
• Echilibrarea seturilor de date și augmentarea audio

Construirea modelelor de clasificare audio

• Utilizarea rețelelor neuronale convoluționale (CNN) pentru audio
• Intrarea modelului: formă de undă brută vs caracteristici
• Funcții de pierdere, metrici de evaluare și overfitting

Detecția evenimentelor și localizarea temporală

• Strategii de detecție bazate pe cadre și pe segmente
• Post-procesarea detecțiilor folosind praguri și netezire
• Vizualizarea predicțiilor pe timeline-uri audio

Subiecte avansate și procesare în timp real

• Transfer learning pentru scenarii cu date limitate
• Implementarea modelelor cu TensorFlow Lite sau ONNX
• Procesarea audio în streaming și considerații privind latența

Dezvoltarea proiectului și scenarii de aplicare

• Proiectarea unui pipeline complet: de la ingerare la clasificare
• Dezvoltarea unui proof-of-concept pentru supraveghere, controlul calității sau monitorizare
• Logging, alertare și integrare cu dashboard-uri sau API-uri

Rezumat și pașii următori