Cursuri de pregatire Web Scraping cu Python
Web Scraping este o tehnică de extragere a datelor de pe un site web și salvarea lor într-un fișier local sau într-o bază de date.
Acest training condus de un instructor, live (online sau la fața locului) este destinat dezvoltatorilor care doresc să folosească Python pentru a automatiza procesul de crawler a mai multor site-uri web pentru a extrage date pentru procesare și analiză.
La sfârșitul acestui training, participanții vor putea:
- Instala și configura Python și toate pachetele relevante.
- Prelua și analiza date stocate pe mai multe site-uri web.
- Înțelege cum funcționează site-urile web și cum este structurat HTML-ul lor.
- Construi păianjeni pentru a face crawling la scară largă.
- Folosi Selenium pentru a face crawling pe pagini web bazate pe AJAX.
Formatul cursului
- Curs interactiv și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de personalizare a cursului
- Acest curs presupune cunoștințe de programare.
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Schița de curs
Introducere
Configurarea mediului de dezvoltare
Introducere în Python: Structuri de date, condiționale, manipularea fișierelor, etc.
Pachete Python pentru Web Scraping: Scrapy și BeautifulSoup
Cum funcționează un site web
Cum este structurat HTML-ul
Realizarea unei cereri web
Scraping a unei pagini HTML
Lucrul cu XPath și CSS
Filtrarea datelor folosind expresii regulate
Crearea unui Web Crawler
Crawling pe pagini AJAX și JavaScript cu Selenium.
Bune practici în Web Scraping
Depanare
Rezumat și concluzii
Cerințe
- Experiență în programare, preferabil în Python. Dacă participanții au experiență în programare într-un alt limbaj decât Python, trainingul poate fi extins pentru a include mai multe exerciții introductive de Python.
Publicul țintă
- Dezvoltatori
Cursurile publice necesita 5+ participanti
Cursuri de pregatire Web Scraping cu Python - Rezervare
Cursuri de pregatire Web Scraping cu Python - Solicitare
Web Scraping cu Python - Cerere de consultanta
Mărturii (1)
S-au acoperit multe exemple și subiecte diferite, de la investigații de bază până la gestionarea autentificării și a paginilor dinamice.
Daniele Tagliaferro - Creditsafe Italia Srl
Curs - Web Scraping with Python
Tradus de catre o masina
Cursuri viitoare
Cursuri înrudite
Scalarea Analizei de Date cu Python și Dask
14 OreAcest training condus de un instructor, live în România (online sau la fața locului), este destinat specialiștilor în știința datelor și inginerilor de software care doresc să utilizeze Dask în ecosistemul Python pentru a construi, scala și analiza seturi de date mari.
La finalul acestui training, participanții vor putea:
- Să configureze mediul pentru a începe construirea procesării datelor mari cu Dask și Python.
- Să exploreze caracteristicile, bibliotecile, instrumentele și API-urile disponibile în Dask.
- Să înțeleagă cum Dask accelerează calculul paralel în Python.
- Să învețe cum să scaleze ecosistemul Python (Numpy, SciPy și Pandas) folosind Dask.
- Să optimizeze mediul Dask pentru a menține o performanță ridicată în gestionarea seturilor de date mari.
Analiza Datelor cu Python, Pandas și Numpy
14 OreAcest training condus de un instructor, live în România (online sau la fața locului), este destinat dezvoltatorilor Python de nivel intermediar și analiștilor de date care doresc să-și îmbunătățească abilitățile în analiza și manipularea datelor folosind Pandas și NumPy.
La finalul acestui training, participanții vor putea:
- Să configureze un mediu de dezvoltare care include Python, Pandas și NumPy.
- Să creeze o aplicație de analiză a datelor folosind Pandas și NumPy.
- Să efectueze operații avansate de curățare, sortare și filtrare a datelor.
- Să realizeze operații agregate și să analizeze date de tip serie temporală.
- Să vizualizeze date folosind Matplotlib și alte biblioteci de vizualizare.
- Să depisteze și să optimizeze codul lor de analiză a datelor.
FARM (FastAPI, React, și MongoDB) Dezvoltare Full Stack
14 OreAcest training condus de un instructor, în format live (online sau la fața locului), este destinat dezvoltatorilor care doresc să utilizeze stiva FARM (FastAPI, React, și MongoDB) pentru a construi aplicații web dinamice, de înaltă performanță și scalabile.
La finalul acestui training, participanții vor putea:
- Să configureze mediul de dezvoltare necesar, integrând FastAPI, React și MongoDB.
- Să înțeleagă conceptele cheie, caracteristicile și beneficiile stivei FARM.
- Să învețe cum să construiască API-uri REST cu FastAPI.
- Să învețe cum să proiecteze aplicații interactive cu React.
- Să dezvolte, testeze și să implementeze aplicații (frontend și backend) folosind stiva FARM.
Dezvoltarea API-urilor cu Python și FastAPI
14 OreAcest training condus de un instructor, live în România (online sau la fața locului), este destinat dezvoltatorilor care doresc să folosească FastAPI cu Python pentru a construi, testa și implementa API-uri RESTful mai ușor și mai rapid.
La finalul acestui training, participanții vor putea:
- Să configureze mediul de dezvoltare necesar pentru a dezvolta API-uri cu Python și FastAPI.
- Să creeze API-uri mai rapid și mai ușor folosind biblioteca FastAPI.
- Să învețe cum să creeze modele și scheme de date bazate pe Pydantic și OpenAPI.
- Să conecteze API-uri la o bază de date folosind SQLAlchemy.
- Să implementeze securitate și autentificare în API-uri folosind instrumentele FastAPI.
- Să construiască imagini de container și să implementeze API-uri web pe un server în cloud.
Învățare Automată cu Python – 2 Zile
14 OreScopul acestui curs este de a oferi o competență de bază în aplicarea metodelor de Învățare Automată în practică. Prin utilizarea limbajului de programare Python și a diverselor sale biblioteci, și pe baza unei multitudini de exemple practice, acest curs învață cum să folosești cele mai importante componente ale Învățării Automate, cum să iei decizii de modelare a datelor, să interpretezi rezultatele algoritmilor și să validezi rezultatele.
Scopul nostru este să îți oferim abilitățile necesare pentru a înțelege și a utiliza cele mai fundamentale instrumente din cutia de unelte a Învățării Automate cu încredere și pentru a evita capcanele comune ale aplicațiilor din Știința Datelor.
Învățare automată cu Python – 4 Zile
28 OreScopul acestui curs este să ofere competențe generale în aplicarea metodelor de Învățare Automată în practică. Prin utilizarea limbajului de programare Python și a diferitelor sale biblioteci, și pe baza unei multitudini de exemple practice, acest curs învață cum să folosești cele mai importante componente ale Învățării Automate, cum să iei decizii de modelare a datelor, să interpretezi rezultatele algoritmilor și să validezi rezultatele.
Scopul nostru este să îți oferim abilitățile necesare pentru a înțelege și a utiliza cu încredere cele mai fundamentale instrumente din cutia de unelte a Învățării Automate și pentru a evita capcanele comune ale aplicațiilor din Știința Datelor.
Accelerarea Fluxurilor de Lucru Python Pandas cu Modin
14 OreAcest training condus de un instructor, live în România (online sau la fața locului), este destinat oamenilor de știință și dezvoltatorilor care doresc să folosească Modin pentru a construi și implementa calcule paralele cu Pandas pentru o analiză de date mai rapidă.
La sfârșitul acestui training, participanții vor putea:
- Să configureze mediul necesar pentru a începe dezvoltarea fluxurilor de lucru Pandas la scară largă cu Modin.
- Să înțeleagă caracteristicile, arhitectura și avantajele Modin.
- Să cunoască diferențele dintre Modin, Dask și Ray.
- Să efectueze operațiuni Pandas mai rapid cu Modin.
- Să implementeze întreaga API și funcții Pandas.
Python pentru Generarea Limbajului Natural (NLG)
21 OreÎn acest training condus de un instructor, în direct în România, participanții vor învăța cum să folosească Python pentru a produce text de înaltă calitate în limbaj natural, construind propriul lor sistem NLG de la zero. De asemenea, vor fi examinate studii de caz, iar conceptele relevante vor fi aplicate în proiecte de laborator live pentru generarea de conținut.
La sfârșitul acestui training, participanții vor putea:
- Să folosească NLG pentru a genera automat conținut pentru diverse industrii, de la jurnalism, la imobiliare, la rapoarte meteo și sport.
- Să selecteze și să organizeze conținutul sursă, să planifice propoziții și să pregătească un sistem pentru generarea automată de conținut original.
- Să înțeleagă fluxul de lucru al NLG și să aplice tehnicile potrivite în fiecare etapă.
- Să înțeleagă arhitectura unui sistem de Generare a Limbajului Natural (NLG).
- Să implementeze algoritmii și modelele cele mai potrivite pentru analiză și ordonare.
- Să extragă date din surse de date disponibile public, precum și din baze de date curate, pentru a le folosi ca material pentru textul generat.
- Să înlocuiască procesele manuale și laborioase de scriere cu crearea automată de conținut generat de calculator.
Învățare Automată Avansată cu Python
21 OreÎn acest training live condus de un instructor în România, participanții vor învăța cele mai relevante și inovatoare tehnici de învățare automată în Python, în timp ce vor construi o serie de aplicații demo care implică date de imagine, muzică, text și financiare.
La finalul acestui training, participanții vor putea:
- Să implementeze algoritmi și tehnici de învățare automată pentru rezolvarea problemelor complexe.
- Să aplice învățarea profundă și învățarea semi-supervizată în aplicații care implică date de imagine, muzică, text și financiare.
- Să exploateze algoritmii Python la maximul potențialului lor.
- Să utilizeze biblioteci și pachete precum NumPy și Theano.
Python: Automatează Lucrurile Plictisitoare
14 OreAcest training live, condus de un instructor în România, se bazează pe cartea populară "Automate the Boring Stuff with Python" de Al Sweigart. Este destinat începătorilor și acoperă concepte esențiale de programare în Python prin exerciții practice și discuții. Scopul este învățarea scrierii de cod pentru a crește semnificativ productivitatea în birou.
La sfârșitul acestui training, participanții vor ști cum să programeze în Python și să aplice această nouă abilitate pentru:
- Automatizarea sarcinilor prin scrierea de programe simple în Python.
- Scrierea de programe care pot face recunoașterea modelelor de text cu "expresii regulate".
- Generarea și actualizarea programatică a foilor de calcul Excel.
- Analizarea documentelor PDF și Word.
- Navigarea pe site-uri web și extragerea informațiilor din surse online.
- Scrierea de programe care trimit notificări prin email.
- Utilizarea instrumentelor de depanare din Python pentru a rezolva rapid erori.
- Controlul programatic al mouse-ului și tastaturii pentru a face clic și a tasta pentru tine.
Programare în Python pentru Finanțe
35 OrePython este un limbaj de programare care a câștigat o popularitate imensă în industria financiară. Adoptat de cele mai mari bănci de investiții și fonduri de hedging, este folosit pentru a construi o gamă largă de aplicații financiare, de la programe de tranzacționare până la sisteme de gestionare a riscurilor.
În acest training condus de un instructor, participanții vor învăța cum să utilizeze Python pentru a dezvolta aplicații practice care să rezolve o serie de probleme specifice legate de finanțe.
La sfârșitul acestui training, participanții vor putea:
- Să înțeleagă elementele de bază ale limbajului de programare Python
- Să descarce, să instaleze și să întrețină cele mai bune instrumente de dezvoltare pentru crearea de aplicații financiare în Python
- Să selecteze și să utilizeze cele mai potrivite pachete Python și tehnici de programare pentru a organiza, vizualiza și analiza date financiare din diverse surse (CSV, Excel, baze de date, web etc.)
- Să construiască aplicații care să rezolve probleme legate de alocarea activelor, analiza riscurilor, performanța investițiilor și multe altele
- Să depaneze, să integreze, să implementeze și să optimizeze o aplicație Python
Publicul țintă
- Dezvoltatori
- Analiști
- Quants
Formatul cursului
- Parțial curs, parțial discuții, exerciții și practică intensă
Notă
- Acest training are ca scop să ofere soluții pentru unele dintre principalele probleme cu care se confruntă profesioniștii din domeniul financiar. Cu toate acestea, dacă aveți un subiect, un instrument sau o tehnică specifică pe care doriți să o adăugați sau să o dezvoltați mai detaliat, vă rugăm să ne contactați pentru a aranja.
Python Avansat - 4 Zile
28 OreAcest training condus de un instructor, live în România (online sau la fața locului) este destinat dezvoltatorilor care doresc să învețe tehnici avansate de programare în Python, inclusiv cum să aplice acest limbaj versatil pentru a rezolva probleme în domenii precum aplicații distribuite, analiza și vizualizarea datelor, programarea interfețelor utilizator și scripting pentru întreținere.
Programare în Python - 4 zile
28 OreAcest curs este conceput pentru cei care doresc să învețe limbajul de programare Python. Accentul este pus pe limbajul Python, pe bibliotecile de bază, precum și pe selecția celor mai bune și mai utile biblioteci dezvoltate de comunitatea Python. Python conduce afaceri și este folosit de oamenii de știință din întreaga lume – este unul dintre cele mai populare limbaje de programare.
Cursul poate fi livrat folosind cea mai recentă versiune Python 3.x, cu exerciții practice care exploatează pe deplin puterea acestuia. Acest curs poate fi livrat pe orice sistem de operare (toate variantele UNIX, inclusiv Linux și Mac OS X, precum și Microsoft Windows).
Exercițiile practice constituie aproximativ 70% din timpul cursului, iar aproximativ 30% sunt demonstrații și prezentări. Discuțiile și întrebările pot fi adresate pe tot parcursul cursului.
Notă: formarea poate fi adaptată la nevoi specifice la cerere înainte de data propusă pentru curs.
Testare Automată cu Selenium și Python
14 OreSelenium este un cadru open-source pentru automatizarea testării aplicațiilor web pe diferite browsere. Cu Selenium 4, sunt disponibile API-uri îmbunătățite pentru WebDriver, localizatori relativi nativi și suport îmbunătățit pentru grid. Python oferă simplitate și o integrare puternică cu cadre de testare precum Pytest, făcându-l o alegere puternică pentru dezvoltarea de suite de testare automate scalabile și ușor de întreținut.
Acest training condus de un instructor, live (online sau la fața locului), este destinat testerilor și dezvoltatorilor de nivel începător până la intermediar care doresc să folosească Selenium cu Python pentru a automatiza testarea aplicațiilor web în medii reale.
La finalul acestui training, participanții vor putea:
- Să instaleze și să configureze Selenium cu Python într-un mediu de testare.
- Să construiască scripturi robuste de testare automată folosind Selenium WebDriver și Pytest.
- Să aplice Modelul de Obiect de Pagină (POM) pentru cadre de testare ușor de întreținut.
- Să ruleze teste pe mai multe browsere folosind Selenium Grid.
- Să integreze teste automate în pipeline-uri CI/CD.
- Să depaneze probleme comune și să aplice cele mai bune practici pentru stabilitatea automatizării.
Formatul Cursului
- Prezentare interactivă și discuții.
- Multe exerciții și practică.
- Implementare practică într-un mediu live-lab.
Opțiuni de Personalizare a Cursului
- Pentru a solicita un training personalizat pentru acest curs, vă rugăm să ne contactați pentru a aranja.
Rezumatizarea Textului cu Python
14 OreÎn Învățarea Automată cu Python, funcția de Rezumatizare a Textului poate citi textul de intrare și produce un rezumat al textului. Această capacitate este disponibilă din linia de comandă sau ca o API/Bibliotecă Python. O aplicație interesantă este crearea rapidă a rezumatelor executive; acest lucru este deosebit de util pentru organizațiile care trebuie să analizeze volume mari de date text înainte de a genera rapoarte și prezentări.
În acest training condus de un instructor, participanții vor învăța să folosească Python pentru a crea o aplicație simplă care generează automat un rezumat al textului de intrare.
La sfârșitul acestui training, participanții vor putea:
- Să folosească un instrument din linia de comandă care rezumă textul.
- Să proiecteze și să creeze cod de Rezumatizare a Textului folosind biblioteci Python.
- Să evalueze trei biblioteci Python pentru rezumatizare: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Public țintă
- Dezvoltatori
- Oameni de știință de date
Formatul cursului
- Parte teoretică, parte discuții, exerciții și practică intensă