Dataanalyse i Python og databaser (SQL) - gratis kurs fra RANEPA, opplæring, Dato: 6. mars 2023.

instagram viewer

Python

Hvordan fungerer det hele? Python-funksjoner.
Hvorfor bruker alle Python? Sammenligning med andre programmeringsspråk. Hvordan skrive programmer? Fordeler med Python. Hvordan bruke Python i oppgaver: tekstbehandling, arbeid med bilder, skriving av aksjeroboter, lansering av chat-roboter. Inngang og utgang i Python. Navn i Python. Grunnleggende operasjoner. Kontroll av programkjøringsfremdrift (betingede konstruksjoner). Eksempler på enkle programmer.

Sykluser. Linjer. Strengemetoder.
Løkke med forutsetning. Bryt og fortsett uttalelser. For loop Linjestruktur og linjelengde. Linjeelementet og hvordan skjære linjer. Hente en delstreng fra en streng. Linjegjennomgang. Seksjoner.

Tuples. Lister. funksjonskart. Tilfeldig verdilistegenerator.
Hvorfor trengs tupler? Arbeider med en liste. Liste elementer. Skriv ut listen. Riktig kopiering av lister. Funksjoner ved bruk av kartfunksjonen. Hva er tilfeldige verdigeneratorer? En haug med. Operasjoner med sett. Frossensett. Ordbøker. få metode Gjennomgang av ordbok.

Funksjoner. Anvendelse av matematiske funksjoner. Omfang og utelukkelse.
Hvordan skrive funksjoner riktig. Enkle algoritmer. Skrive de første funksjonene. Hvordan legge til matematikk. Anbefalinger for å skrive egne funksjoner. Hvordan scopes fungerer. Globale variabler. Returnerer flere verdier fra en funksjon. Unntak.

Arbeid med filer. Matriser. Typer sortering
Hva kan du gjøre med filene? Åpne og lukke filer. Lese og skrive tekstfiler. Matriser. Fylle ut matriser. Legge inn matriser rad for rad. Lese- og skrivematriser. Boble sortering. Analyse av algoritmen. Flere versjoner av løsningen.

Oversikt over NumPy-biblioteket. Arbeide med NumPy-funksjoner. SciPY bibliotek.
Python-biblioteker og deres installasjon. Grunnleggende NumPy-datatyper. Numeriske funksjoner. Arbeid med arrays. Operasjoner med arrays. Todimensjonale arrays. Matriser. Grunnleggende funksjoner i SciPy-biblioteket.

Pandas bibliotek oversikt. Grunnleggende analyser.
Installerer biblioteket. Opprette et serieobjekt. DataFrame-indeksering. Tabeller. Lese og skrive filer. Indeksering. Datasampling. Operasjoner med rader og kolonner. Jobber med NaN. Sortering.

Datavisualiseringer. Praktiske eksempler
Studerer nye data, forbehandling, datavisualisering, søk etter sammenhenger mellom funksjoner, utarbeider treningsdata og lager kredittrisikoprognosemodeller. Få en modell som svarer på spørsmålet: å utstede eller ikke å utstede et lån.

Automatisering av rutineoppgaver. Praktiske eksempler
Analyse av praktiske eksempler på automatisering av oppgaver knyttet til innhenting av aggregert informasjon fra flere kilder (Excel-filer) eller Internett.

Gjennomgang av maskinlæringsmetoder brukt for dataanalyse. Praktiske eksempler
Et praktisk eksempel på å identifisere grunnleggende trekk og deres tolkning i et veiledet læringsproblem.

Midlertidig modulvurdering
Midlertidig sertifisering skjer i form av en test (datatesting). Eksempel på en typisk testbygning:

Hvilken Python-funksjon kan du bruke for å finne ut hvilken type variabel?

• hwoami
• type
• type
• er

Hvilket tallområde vil bli opprettet i følgende kode: range (9, 3, -2)

• 9 8 7 6 5 4 4
• 9 7 5 3
• 9 7 5
• 11 9 8 7 6 5 4

Hva lar kodebiten i oppføringen deg utføre?

• Kodebit: print(math.sqrt(2))
• viser tallet 2 fra matematikkbiblioteket
• koble til matematikkbiblioteket
• kvadre et matematisk tall
• viser kvadratroten av to

SQL

Datalagring og integritet.
Datalagring: datafiler, logger, RAID-nivåer, Tempdb. Relasjoner i databaser, en til en, en til mange, mange til mange. Dataintegritet: PRIMÆR NØKKEL, SJEKK, UNIK og UTENLANDSKE NØKKEL. Normalisering av tabeller.

Opprette en database og tabeller.
DBMS-arkitektur: logisk (tabeller og datatype, nøkler, indekser, visninger, sammenstillinger, begrensninger, regler, standardverdier) og fysiske nivåer (filer og filgrupper, sider). Database opprettelse. Tabellfeltdatatyper: Eksakte tall, Unicode-tegnstrenger, omtrentlige tall, binære data, dato og klokkeslett, andre datatyper, tegnstrenger. Lage tabeller. Hvor skal man skrive forespørsler?

Indekser. Diagrammer.
Indekser: gruppert, ikke-klynget, unik identifikasjon, filtrert, kolonnelager, hash, ikke-klynget, minneoptimalisert indeks. ER diagrammer: Database Diagrams, Database Node. DML og de vanligste SQL-operatørene: SELECT, INSERT, UPDATE, DELETE. Viktigheten av unike faktorer.

Forespørsler. Eksterne tilkoblinger.
Spørsmål på ett bord. Prøvetaking uten repetisjoner. Spørsmål på flere tabeller. Ytre skjøter: VENSTRE, HØYRE eller FULL.

Aggregerte funksjoner. Undersøk.
Undersøk: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Sammenføyningsdata: VELG JOIN. Aggregerte funksjoner: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Vilkår for aggregerte funksjoner.

Nyttige funksjoner.
Litt mer om operatører. Industriell forespørsel. Nyttige funksjoner: SQRT, RAND, CONCAT, numeriske og strengfunksjoner. Operasjonsprioritet og typekonvertering: CAST, CONVERT.

Transaksjoner. Representasjon.
En forespørsel på fire måter. Transaksjoner: konsept for transaksjoner - atomitet, konsistens, isolasjon, holdbarhet, transaksjonsstyring - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Parallell datatilgang: problemer med skitten, ikke-repeterbar lesing, fantomer. Visninger: indeksert, partisjonert, system.

Variabler og looper.
Start av programmering. Variabler: DECLARE, SET, SELECT. Kodestruktur. Databeskrivelsesoperatører: CREATE, DROP, ALTER, etc. Datamanipulasjonsoperatører: INSERT, DELETE, SELECT, UPDATE, etc. Operatører for å sette tilgangsrettigheter i databasen: TILLEIE / TILBAKE, LÅSE / LÅSE OP, SETTE LÅSMODUS Operatører for beskyttelse, datagjenoppretting og andre operatører. Sykluser: MENS.

Lagrede prosedyrer og funksjoner.
Midlertidige bord. Transact-SQL-pekere, server, klient. Markørtyper: ensrettet, statisk, Keyset, dynamisk. Lagrede prosedyrer og funksjoner: OPPRETT PROSEDYRE, OPPRETT PROC.

Utløsere. Unntak.
Transportør HF. Triggere: ETTER, I STEDET FOR. Unntak: UNNTAK. Dynamisk SQL ved hjelp av nøkkelord og bruk av lagret prosedyre: UTFØR UMIDDELBART.

DBMS. NoSQL-databaser.
Transaksjoner i programmering/DBMS/SQL. Hvordan forespørsler utføres. Hvordan forbedre søkeytelsen. NoSQL-database og dens fordeler.

Midlertidig modulvurdering
Midlertidig sertifisering skjer i form av en test (datatesting). Eksempel på en typisk testbygning:

Hvilken type feltdata er NUMBER-typen?

• streng
• numerisk
• binær

Hvilken SQL-kommando spør etter data?

• ENDRE
• PLUKKE UT
• FRA

Hva er en transaksjon?

• dette er en gruppe operasjoner utført av DBMS
• er en gruppe operasjoner som har ACID-egenskaper
• dette er operasjonen for å utføre en SQL-kommando