Dataingeniør - kurs 89 000 rub. fra Otus, trening 4 måneder, dato 30. november 2023.
Miscellanea / / December 03, 2023
Hva vil dette kurset gi deg?
- Forstå de viktigste måtene å integrere, behandle og lagre big data på
- Evne til å jobbe med Hadoop økosystemkomponenter, distribuert lagring og skyløsninger
- Praktiske ferdigheter i å utvikle datatjenester, butikkfronter og applikasjoner
- Kunnskap om prinsippene for organisering av overvåking, orkestrering, testing
Kurset tas opp utviklere, DBMS-administratorer og alle som søker å forbedre sitt faglige nivå, mestre nye verktøy og engasjere seg i interessante oppgaver innen arbeid med data.
Etter å ha studert Datateknikk vil du bli en ettertraktet spesialist som:
- distribuerer, justerer og optimaliserer databehandlingsverktøy
- tilpasser datasett for videre arbeid og analyser
- skaper tjenester som bruker resultatene av behandling av store datamengder
- ansvarlig for dataarkitekturen i selskapet
Ekte casestudier: eksempler på implementeringer, verktøybruk, ytelsesoptimalisering, problemer, feil og anvendte resultater
Svært praktisk orientering:
I løpet av kurset vil vi trinnvis lage et fungerende produkt, og løse anvendte problemer
Et helhetlig bilde av utfordringene og oppgavene til moderne virksomhet, og dataingeniørens rolle i å løse dem
Etterspørsel blant arbeidsgivere
40 arbeidsgivere er allerede klare til å innkalle kurskandidater til intervju
6
kursDataingeniør ved Wildberries, DE Junior kursholder. Mer enn 7 år innen IT
Utdannet ved Voronezh State University med utmerkelser. For tiden student ved HMS masterstudiet "System and Software Engineering". Yrkeserfaring - 2 års arbeid som Dataanalytiker og Dataingeniør. Nå jobber han med 5 populære databaser, utvikler i Python og utvikler ferdighetene sine raskt. Klar til å dele min erfaring.
1
vi vilHan har utviklet analyser i selskapet i mer enn 10 år. Blant prestasjonene: - Bygging av vårt eget ende-til-ende webanalysesystem; - Bygging av et analytisk lager basert på MPP Vertica; - Organisering av databehandling basert på Spark, Kafka, HDFS; -...
Han har utviklet analyser i selskapet i mer enn 10 år. Blant prestasjonene: - Bygging av vårt eget ende-til-ende webanalysesystem; - Bygging av et analytisk lager basert på MPP Vertica; - Organisering av databehandling basert på Spark, Kafka, HDFS;- Bygge prosesser for arbeid med data, inkludert datakvalitet;- Opprettelse av flere interne verktøy for arbeid og strukturering av metadata (Data Catalog);- Konstruksjon av et bedriftsrapporteringssystem, inkludert sanntid; - I mer enn 5 år har han økt datakompetansen i selskapet, gjennomført ulike opplæringer om arbeid med data, verktøy, SQL; Han utviklet også flere analyseledere som nå jobber i store selskaper. Hovedfokuset er å forstå forretningsproblemer når man arbeider med data og løser dem.
1
vi vilAvdelingsleder, Sberbank 8 års erfaring innen industriell utvikling, inkludert opprettelse og vedlikehold av webapplikasjoner både i store selskaper og i startups. 3 år med utvikling av distribuerte systemer for store offentlige...
Avdelingsleder, Sberbank 8 års erfaring innen industriell utvikling, inkludert opprettelse og vedlikehold av webapplikasjoner både i store selskaper og i startups. 3 års utvikling av distribuerte systemer for store statlige kunder. Implementerte tre prosjekter fra bunnen av, fra prototype til klar for industriell bruk. For tiden engasjert i full-stack utvikling for interne kunder i banken, løse problemer knyttet til dataanalyse og engineering. Erfaring med programmering i Java, Scala, Python, Javascript. Et bredt spekter av faglige interesser, alt fra å bygge distribuerte systemer til prediktiv analyse og intensjonsanalyse. Utdanning: Bachelor fra UrFU oppkalt etter. B.N. Jeltsin "Informasjonsteknologi".
Dataarkitektur
-Tema 1.Dataingeniør. Oppgaver, ferdigheter, verktøy, markedsbehov
-Tema 2.Arkitektur av analytiske applikasjoner: grunnleggende komponenter og prinsipper
-Tema 3.On premises / Cloud-løsninger
-Tema 4. Pipeline-automatisering og orkestrering – 1
-Tema 5. Pipeline-automatisering og orkestrering – 2
Data Lake
-Tema 6. Distribuerte filsystemer. HDFS/S3
-Tema 7.SQL-tilgang til Hadoop. Apache Hive/Presto
-Tema 8. Datalagringsformater og deres funksjoner
-Tema 9. Analyse av fjernkontroll for 1 sak
-Tema 10.Meldingskøer. Kafka oversikt.
-Tema 11.Nedlasting av data fra eksterne systemer
-Emne 12. Apache Spark – 1
-Emne 13. Apache Spark – 2
DWH
-Tema 14.Analytisk DBMS. MPP-databaser
-Emne 15.DWH-modellering – 1. grunnleggende om dbt
-Emne 16.DWH-modellering – 2. Data Vault 2.0
-Tema 17.DevOps-praksis i analytiske applikasjoner. CI+CD
-Tema 18. Analyse av fjernkontroll for sak 2
-Tema 19.Datakvalitet. Datakvalitetsstyring
-Tema 20. Utrulling av en BI-løsning
-Tema 21.Overvåking / Metadata
NoSQL/NewSQL
-Emne 22.NoSQL-lagring. Bred kolonne og nøkkelverdi
-Emne 23.NoSQL-lagring. Dokumentorientert
-Tema 24.ELK
-Tema 25.ClickHouse
-Tema 26. Analyse av fjernkontroll for sak 3
MLOps
-Tema 27.Organisering og pakking av kode
-Tema 28.Docker og REST-arkitektur
-Tema 29.MLFlow + DVC
-Tema 30. Utplassering av modeller
-Tema 31. Analyse av fjernkontroll for sak 4
-Tema 32. Analyse av fjernkontroll for sak 5
Avgangsprosjekt
-Tema 33. Valg av tema og organisering av prosjektarbeid
-Tema 34.Konsultasjon
-Tema 35.Beskyttelse