10 skammelige spørsmål om nevrale nettverk: Maskinlæringsspesialist Igor Kotenkov svarer
Miscellanea / / August 08, 2023
Vi har samlet alt du ønsket å vite, men var for sjenerte til å spørre.
I det nye serie Artikler av kjente eksperter svarer på spørsmål som vanligvis er pinlige å stille: det ser ut til at alle allerede vet om det, og spørren vil se dum ut.
Denne gangen snakket vi med spesialist i kunstig intelligens Igor Kotenkov. Du vil lære om du kan lagre din digitale kopi til oldebarna dine, hvorfor nevroner ikke kan stoles 100 % på, og om verden står i fare for et maskinopprør.
Igor Kotenkov
1. Hvordan fungerer nevrale nettverk? Det er en slags magi. Hvordan kunne ChatGPT i det hele tatt lages? Og Midjourney eller DALL-E?
Et nevralt nettverk er en matematisk modell oppfunnet med et øye for å forstå hvordan hjernen til en levende organisme fungerer. Riktignok ble de mest grunnleggende ideene fra begynnelsen av andre halvdel av 1900-tallet tatt som grunnlag, som nå kan kalles irrelevante eller for forenklede.
Selv navnet "nevralt nettverk" kommer fra ordet "nevron" - dette er navnet på en av de viktigste funksjonelle enhetene i hjernen. Nevrale nettverk består i seg selv av noder - kunstige nevroner. Så vi kan si at mange ideer om moderne arkitektur ble "kikket" fra naturen selv.
Men enda viktigere er det nevrale nettverket en matematisk modell. Og siden dette er noe relatert til matematikk, så kan vi bruke den fulle kraften til det matematiske apparatet for å finne ut eller vurdere egenskapene til en slik modell. Du kan betrakte et nevralt nettverk som en funksjon, og en funksjon er også et matematisk objekt. Det enkleste og mest forståelige eksemplet: en funksjon som for eksempel tar et hvilket som helst tall som input og legger til 2 til det: f (4) = 6, f (10) = 12.
Men en slik funksjon er veldig enkel å programmere, selv et barn kan håndtere den etter et par timers språklæring. programmering. Og grunnen er at en slik funksjon er veldig lett formalisert, beskrevet i detalj i et enkelt og forståelig språk.
Det er imidlertid noen oppgaver som vi ikke engang vet hvordan vi skal gripe an. Jeg kan for eksempel gi deg bilder av katter og hunder blandet sammen, og du kan sortere dem i to hauger uten problemer. Men hva veiledes du egentlig av når du skal bestemme svaret? Begge er luftige. Begge artene har en hale, ører, to øyne. Kanskje størrelsen? Men det er veldig små hunder, det er store katter.
Vi kan ikke beskrive mange oppgaver i den virkelige verden, vi vet ikke avhengigheten av vår observasjon og et betinget "riktig" svar.
Vi vet bare hvordan vi skal gi dette svaret – og det er det, uten å tenke på hvordan det blir.
Det er her nevrale nettverk kommer til unnsetning. Disse matematiske funksjonene trenes opp fra dataene. Du trenger ikke å beskrive forholdet mellom input og output. Du forbereder ganske enkelt to stabler med bilder og modellen trener på å gi riktige svar. Hun lærer selv å finne denne sammenhengen, hun finner den selv, stole på feilhvem gjør. Forvirret en bengalkatt og en rottweiler? Vel, det blir bedre neste gang!
Prosessen med å lære et nevralt nettverk er en slik justering av "nevroner" for å lære å løse et problem og gi det riktige svaret. Og det som er mest bemerkelsesverdig: det er et teoretisk bevis for at et tilstrekkelig stort nevralt nettverk med et tilstrekkelig stort datasett kan lære enhver kompleks funksjon. Men det viktigste her er datakraften (fordi nevronet kan være veldig stort) og tilgjengeligheten av merkede data. Nemlig merket, det vil si at de har klassen «hund», katt eller hva som helst.
Vi forstår ikke helt hvordan modeller fungerer - de mest komplekse og store modellene liker ChatGPT nesten uanalyserbar.
De beste forskerne jobber med utfordringen med å "forstå" de indre prosessene deres akkurat nå.
Men vi vet hvilken oppgave modellene ble trent for, hvilken feil de forsøkte å minimere under trening. For ChatGPT består oppgaven av to. Den første er spådommen av det neste ordet i henhold til dets kontekst: "mamma vasket ..." Hva? Dette er hva modellen skal forutsi.
Den andre oppgaven er å sikre at svarene ikke er støtende, men samtidig forblir nyttige og forståelige. Derfor ble modellen viral – den er direkte opplært til å generere den typen tekst som folk liker!
Du kan lese mer om hvordan ChatGPT fungerer i min artikkel.
2. Kan nevroner tenke?
Forskere forstår fortsatt ikke hva det vil si å "tenke" eller "fornuft" og hvordan intellektet fungerer generelt. Derfor er det vanskelig å bedømme om en modell som ChatGPT har slike egenskaper.
La oss forestille oss en situasjon: du nærmer deg døren til leiligheten din. Har du ideen om at du må hente nøkkelen fra venstre lomme på ryggsekken for å åpne døren? Kan vi si at beskrivelse og presentasjon av handlinger er en tankeprosess? I hovedsak har vi etablert et forhold mellom gjeldende tilstand og ønsket mål (åpen dør). Hvis du tror svaret på spørsmålet ovenfor er ja, vil svaret mitt være det samme. 🙂
En annen ting er når det kommer til innovative tanker som ikke har vært uttrykt før eller ikke er så vanlige. Tross alt, for eksempel, kan du lett finne feil med eksempelet ovenfor: "Ja, jeg leste denne modellen 100500 ganger på Internett og i bøker. Selvfølgelig vet hun det! Ikke noe overraskende." Forresten, hvordan visste du det? Er det fordi foreldrene dine viste deg i barndommen, og du så prosessen hundrevis av dager på rad?
I dette tilfellet er det ikke noe eksakt svar. Og poenget her er at vi ikke tar hensyn til én viktig komponent: sannsynlighet.
Hvor sannsynlig er det at modellen vil generere en tanke som passer din spesifikke definisjon av "tanke"?
Tross alt kan et nevron som ChatGPT fås til å generere en million forskjellige svar på den samme forespørselen. For eksempel, "kom opp med en idé til Vitenskapelig forskning». Hvis én generasjon av en million er virkelig interessant og ny, teller det som bevis på at en modell kan føde en idé? Men hvordan vil den skille seg fra en papegøye som roper ut tilfeldige ord som nei-nei og legger opp til noe forståelig?
På den annen side gir folk heller ikke alltid ut riktige tanker – noen fraser fører til en blindvei og ender i ingenting. Hvorfor kan ikke nevrale nettverk tilgi dette? Vel, en ny idé av en million generert er virkelig dårlig... Men hva om 100 av en million? Tusen? Hvor går denne grensen?
Dette er det vi ikke vet. Trenden er at vi først tror at det vil være vanskelig for maskiner å løse problem X. For eksempel for å bestå Turing-testen, hvor du bare trenger å chatte med en person i en halvtime. Så, med utviklingen av teknologi, kommer folk opp med måter å løse, eller rettere sagt, trene modeller for en oppgave. Og vi sier: "Vel, det var faktisk feil test, her er en ny til deg, nevroner vil definitivt ikke klare den!" Og situasjonen gjentar seg.
De teknologiene som er nå, for 80 år siden, ville blitt oppfattet som et mirakel. Og nå prøver vi med all kraft å presse grensen til "rimelighet" for ikke å innrømme for oss selv at maskiner allerede vet hvordan de skal tenke. Faktisk er det til og med mulig at vi først finner opp noe, og deretter post factum og retrospektivt definerer det som AI.
3. Hvis nevroner kan tegne og skrive poesi, så kan de være kreative og nesten som mennesker?
Svaret er faktisk avhengig av informasjonen ovenfor. Hva er kreativitet? Hvor mye kreativitet er det i en gjennomsnittlig person? Er du sikker på at en vaktmester fra Sibir vet hvordan man lager? Og hvorfor?
Hva om en modell kan produsere et dikt eller et maleri som, betinget, vil nå finalen i en bykonkurranse for amatørforfattere eller barnekunstnere? Og hvis dette ikke skjer hver gang, men én av hundre?
De fleste av disse spørsmålene kan diskuteres. Hvis det virker som om svaret er åpenbart, prøv å intervjue venner og slektninger. Med en veldig høy sannsynlighet vil deres synspunkt ikke falle sammen med ditt. Og her er det viktigste ikke krangle.
4. Er det mulig å stole på svarene fra nevrale nettverk og ikke lenger google?
Alt avhenger av hvordan modellene brukes. Hvis du stiller dem et spørsmål uten kontekst, uten medfølgende informasjon i ledeteksten, og forventer et svar om emner der saklig nøyaktighet er viktig, og ikke den generelle tonen i svaret (for eksempel et hendelsesforløp innenfor en viss periode, men uten en nøyaktig omtale av steder og datoer), så er svaret Nei.
Av innenlands Antatt OpenAI, i slike situasjoner, den beste modellen til dags dato, GPT-4, svarer riktig i omtrent 70-80% av tilfellene, avhengig av temaet for spørsmålene.
Det kan virke som om disse tallene er veldig langt fra den ideelle 100% faktiske "nøyaktigheten". Men faktisk er dette et stort sprang sammenlignet med den forrige generasjonen av modeller (ChatGPT, basert på GPT-3.5-arkitekturen) - de hadde en nøyaktighet på 40-50%. Det viser seg at et slikt hopp ble gjort innenfor rammen av 6-8 måneders forskning.
Det er klart at jo nærmere vi kommer 100%, jo vanskeligere vil det være å gjøre noen korrigeringer for ikke å "bryte" noe i forståelsen og kunnskapen om modellen.
Alt det ovennevnte refererer imidlertid til spørsmål uten kontekst. Du kan for eksempel spørre: «Når var Einstein? Modellen skulle kun stole på intern kunnskap som ble "hardwired" inn i den på stadiet av langsiktig opplæring på data fra hele Internett. Så personen vil ikke kunne svare! Men hvis de ga meg en side fra Wikipedia, så kunne jeg lese den og svare i henhold til informasjonskilden. Da ville riktigheten av svarene vært nær 100 % (justert for riktigheten av kilden).
Følgelig, hvis modellen er utstyrt med en kontekst der informasjon er inneholdt, vil svaret være mye mer pålitelig.
Men hva om vi lar modellen google og finne informasjonskilder på Internett? Slik at hun selv finner kilden og bygger et svar ut fra den? Vel, dette er allerede gjort! Så du kan ikke google deg selv, men delegere deler av Internett-søket til selve GPT-4. Dette krever imidlertid et betalt abonnement.
Når det gjelder videre fremgang i utviklingen av påliteligheten til faktainformasjon i modellen, sier OpenAI-sjef Sam Altman gir et estimat på 1,5–2 år for å løse dette problemet av et team av forskere. Det kommer vi til å glede oss veldig til! Men for nå, husk at du ikke trenger å stole 100% på det som er skrevet av et nevron, og sjekk i det minste kildene på nytt.
5. Er det sant at nevrale nettverk stjeler tegninger av ekte kunstnere?
Ja og nei – begge sider av konflikten krangler aktivt om dette i domstoler rundt om i verden. Det kan sies med sikkerhet at bildene ikke er direkte lagret i modellene, bare "vaktsomhet" vises.
I denne planen nevroner veldig lik folk som først studerer kunst, forskjellige stiler, ser på forfatternes arbeid, og deretter prøver å imitere.
Imidlertid lærer modeller, som vi allerede har funnet ut, i henhold til prinsippet om feilminimering. Og hvis modellen under trening ser det samme (eller veldig likt) bildet hundrevis av ganger, så er den beste strategien fra hennes synspunkt å huske bildet.
La oss ta et eksempel: læreren din ved kunstskolen valgte en veldig merkelig strategi. Du tegner to bilder hver eneste dag: det første er alltid unikt, i en ny stil, og det andre er Mona Lisa. Etter et år prøver du å evaluere det du har lært. Siden du har tegnet Mona Lisa over 300 ganger, husker du nesten alle detaljene og nå kan du gjengi den. Det vil ikke være den eksakte originalen, og du vil helt sikkert legge til noe eget. Farger vil være litt annerledes.
Og nå blir du bedt om å tegne noe som var for 100 dager siden (og som du så en gang). Du vil gjengi det som kreves mye mindre nøyaktig. Bare fordi hånden ikke er fylt.
Det er det samme med nevroner: de lærer på samme måte i alle bilder, bare noen er mer vanlige, noe som betyr at modellen også oftere blir bøtelagt under trening. Dette gjelder ikke bare for malerier av kunstnere - for ethvert bilde (til og med reklame) i treningseksemplet. Nå er det metoder for å eliminere duplikater (fordi trening på dem i det minste er ineffektivt), men de er ikke perfekte. Forskning viser at det er bilder som oppstår 400-500 ganger i løpet av en treningsøkt.
Min dom: nevrale nettverk stjeler ikke bilder, men tar ganske enkelt tegninger som eksempler. Jo mer populært eksemplet er, desto mer nøyaktig gjengir modellen det.
Folk gjør det samme under trening: de ser på skjønnheten, studerer detaljene, stilene til forskjellige kunstnere. Men for kunstnere eller fotografer som har brukt halve livet på å lære et håndverk, er synspunktet ofte radikalt forskjellig fra det som er beskrevet ovenfor.
6. Er det sant at "alt er tapt" og nevrale nettverk vil ta fra folk arbeid? Hvem bryr seg mest?
Det er viktig å skille bare "nevrale nettverk" som utfører visse oppgaver fra generelle nevrale nettverk som ChatGPT. Sistnevnte er veldig flinke til å følge instruksjoner og kan lære av eksempler i sammenheng. Riktignok er størrelsen på "minnet" deres begrenset til 10-50 sider med tekst, det samme er ferdighetene til refleksjon og planlegger.
Men hvis noens arbeid kommer ned til rutinemessig utførelse av instruksjoner og dette er lett å lære på et par dager ved å lese artikler (eller hvis hele Internett er fylt med denne informasjonen), og arbeidskostnadene er over gjennomsnittet - så snart slikt arbeid automatisere.
Men i seg selv betyr ikke automatisering en fullstendig utskifting av mennesker. Bare deler av rutinearbeidet kan optimaliseres.
En person vil begynne å få mer interessante og kreative oppgaver som maskinen (så langt) ikke kan takle.
Hvis vi gir eksempler, så til gruppen av foranderlige eller utskiftbare yrker Jeg vil inkludere for eksempel skatteassistenter-konsulenter som hjelper til med å utarbeide en erklæring og sjekke for typiske feil, identifisere inkonsekvenser. Endringer er mulig i en slik spesialitet som en dataansvarlig for kliniske forsøk - essensen av arbeidet er å fylle ut rapporter og forene dem med en tabell med standarder.
Men en kokk eller en bussjåfør vil være etterspurt mye lenger rett og slett fordi de kan koble nevrale nettverk og en ekte den fysiske verden er ganske komplisert, spesielt når det gjelder lover og regler - takket være byråkratene for å flytte bort Krise AI!
Det forventes store endringer i bransjene knyttet til trykt materiale og tekstinformasjon: journalistikk, utdanning. Med en veldig høy sannsynlighet for den første, vil nevroner veldig snart skrive utkast med et sett med teser, der folk allerede vil gjøre punktendringer.
Jeg er mest fornøyd med endringene på utdanningsfeltet. Spise forskning, som viser at kvaliteten på utdanningen direkte avhenger av tilnærmingens "personlighet" og hvor mye tid læreren bruker til en bestemt elev. Det enkleste eksemplet: undervisning i grupper på 30 personer ved hjelp av en lærebok er mye verre enn individuell veileder for spesifikke behov (riktignok etter samme program som i læreboka). Med utviklingen av AI vil menneskeheten ha muligheten til å gi en personlig assistent til hver student. Det er bare utrolig! Lærerens rolle vil, slik jeg ser det, skifte til en strategisk og kontrollerende rolle: å bestemme det generelle programmet og studiesekvensen, teste kunnskap og så videre.
7. Er det mulig å laste opp bevisstheten din til en datamaskin, lage en digital tvilling og leve evig?
I den forstand det er forestilt på grunnlag av sci-fi, nei. Du kan bare lære modellen å imitere kommunikasjonsstilen din, lære vitsene dine. Kanskje GPT-4-nivåmodeller til og med vil kunne finne opp nye innrammet i din unike stil og presentasjonsmåte, men dette betyr tydeligvis ikke en fullstendig overføring av bevissthet.
Vi som menneskehet, igjen, vet ikke hva bevissthet er, hvor den er lagret, hvordan den skiller seg fra andre, hva som gjør meg – meg, og deg – til deg. Hvis det plutselig viser seg at alt dette bare er et sett med minner og opplevelser, multiplisert med individuelle egenskaper persepsjon, da vil det mest sannsynlig være mulig å overføre kunnskap til nevrale nettverk slik at de simulerer fremtidig liv på deres grunnlag.
8. Er det farlig å laste opp stemmen din, utseendet, tekststilen din i et nevralt nettverk? Det ser ut til at en slik digital identitet kan stjeles.
Du kan bokstavelig talt ikke laste ned noe til dem. Du kan trene dem (eller trene dem på nytt) på en slik måte at resultatene ligner mer på utseende, stemme eller tekst. Og en slik trent modell kan virkelig bli stjålet, det vil si ganske enkelt kopiere skriptet og et sett med parametere for å kjøre på en annen datamaskin.
Du kan til og med generere en video med en forespørsel overføre penger på andres bekostning, som din slektning vil tro på: de beste deepfake- og stemmekloningsalgoritmene har allerede nådd dette nivået. Det kreves riktignok tusenvis av dollar og titalls timer med opptak, men likevel.
Generelt, med utviklingen av teknologi, blir spørsmålet om identifikasjon og bekreftelse av identitet viktigere.
Og de prøver å løse det på en eller annen måte. For eksempel er det en oppstart WorldCoin (faktisk lager den en kryptovaluta), som lederen av OpenAI, Sam Altman, investerte i. Meningen med oppstarten er at hver informasjon om en person vil bli signert med sin egen nøkkel for senere identifikasjon. Det samme vil gjelde for massemediene, for å vite sikkert om denne nyheten er sann eller falsk.
Men, dessverre, mens alt dette er på stadiet av prototyper. Og jeg anser ikke den dype introduksjonen av systemer i alle bransjer for å bli implementert i horisonten av det neste tiåret, rett og slett fordi det er for komplisert og storskala.
9. Kan nevroner begynne å skade og ta over verden?
Faren er ikke dagens utvikling, men det som vil følge dem med videre utvikling. Foreløpig har ingen metoder blitt oppfunnet for å kontrollere driften av nevrale nettverk. Ta for eksempel en veldig enkel oppgave: å sørge for at modellen ikke banner. Aldri noen sinne. Det er ingen metode som lar deg følge en slik regel. Så langt kan du finne forskjellige måter å "avle" det på.
Tenk deg nå at vi snakker om GPT-8 betinget, hvis ferdigheter vil være sammenlignbare med ferdighetene til de mest dyktige og smarte menneskene. Det nevrale nettverket kan programmere, bruke Internett, vet psykologi og forstår hvordan folk tenker. Hvis du gir den frie tøyler og ikke setter en spesifikk oppgave, hva vil den da gjøre? Hva om hun finner ut at hun ikke kan kontrolleres?
Sannsynligheten for en dårlig vending er ikke så stor, ifølge estimater. Det er forresten ingen allment akseptert vurdering – selv om alle krangler om detaljene, om de skadelige konsekvensene, og så videre. Nå kaller de omtrentlige tall fra 0,01 % til 10 %.
Etter mitt syn er dette enorme risikoer, forutsatt at det mest negative scenariet er ødeleggelsen av menneskeheten.
Interessant nok er ChatGPT og GPT-4 produkter som ble laget av team som jobber med problemene med å "justere" intensjonene til mennesker og nevroner (detaljer kan bli funnet her). Det er derfor modeller lytter til instruksjoner så godt, prøv å ikke være frekk, spør oppklarende spørsmål, men dette er fortsatt veldig langt fra ideelt. Problemet med kontroll er ikke engang halvveis løst. Og mens vi ikke vet om det blir løst i det hele tatt, og i så fall med hvilke metoder. Dette er dagens heteste forskningstema.
10. Kan et nevralt nettverk bli forelsket i en person?
Med nåværende tilnærminger og arkitekturer for nevroner, nei. De genererer kun tekst som er mest plausibel som en fortsettelse av inndatateksten. Hvis du kaster inn det første kapittelet av en kjærlighetshistorie, skriver den om under personligheten din, og ber modellen svare på kjærlighetsbrevet ditt, vil hun takle det. Men ikke fordi jeg ble forelsket, men fordi det passer best til konteksten og forespørselen "skriv meg et brev!". Husk at modeller lærer å generere tekst som følger instruksjoner.
Dessuten har nevrale nettverk i grunnversjonen ikke hukommelse – mellom to forskjellige lanseringer glemmer de alt og ruller tilbake til «fabrikkinnstillingene». Minne kan legges til kunstig, som fra siden, slik at for eksempel 10 sider av de mest relevante "minnene" mates inn i modellen. Men så viser det seg at vi ganske enkelt mater et sett med hendelser inn i den originale modellen og sier: "Hvordan ville du oppført deg under slike forhold?" Modellen har ingen følelser.
Les også🧐
- Hvor og hvordan kunstig intelligens brukes: 6 eksempler fra livet
- 9 naive spørsmål om kunstig intelligens
- 8 kunstig intelligens-myter selv programmerere tror