Samle en spilleliste, finn et spor som sitter fast i hodet ditt, skriv et skuespill: hva kunstig intelligens kan gjøre med musikk
Miscellanea / / March 30, 2022
Gjenkjenne komposisjoner
Et kult spor kan høres hvor som helst: i et kjøpesenter, på en kafé, og til og med fra vinduet på en bil i nærheten, mens du står i en trafikkork. For ikke å gå glipp av den ukjente sangen du liker, er det nok å slå på gjenkjenningsapplikasjonen. Navnet på komposisjonen og navnet på kunstneren i dem blir gitt ut av kunstig intelligens i løpet av sekunder. Det er sant, bak et så raskt resultat er det en grundig forberedelse: for raskt å lære melodien, må programmet først huske den. For å gjøre dette introduseres nevrale nettverk til et enormt bibliotek med spor, og deretter konverterer algoritmer lyden til et spektrogram og bryter den ned i tid, frekvens og intensitet.
Anatoly Starostin
Leder for teknologiutviklingstjeneste hos Yandex Media Services.
Et spektrogram er en graf. Tid er plassert langs den horisontale aksen, frekvensen av lyd er plassert langs den vertikale aksen, og dens intensitet i et fast øyeblikk uttrykkes i farger. Et lavt signal er representert med en rød stolpe nederst, og et høyt signal øverst. Resultatet er et bilde som består av fargede horisontale striper. Analysen av slike kretsløp bidrar til å gjenkjenne musikk. Når du arbeider med spektrogrammer, brukes de samme nevrale nettverkstilnærmingene som i bildeanalyse.
Anta at en person hører en sang på radioen og vil vite navnet og artisten. Gjenkjenningsprogrammet bygger et spektrogram av lydpassasjen og sender det til biblioteket med spor. Deretter sammenligner den "bildet" av den ønskede melodien med spektrogrammene til andre komposisjoner og velger den mest nøyaktige matchen. Samtidig gjenkjenner kunstig intelligens melodien selv gjennom alvorlige forstyrrelser, som veistøy eller reparasjoner i en naboleilighet.
Forresten, det nevrale nettverket er i stand til ikke bare å identifisere artisten og navnet på sporet som sitter fast i hodet, men også grovt bestemme sjangeren. For å gjøre dette læres kunstig intelligens å finne mønstre i ulike musikalske stiler. Slike spesifikke egenskaper er vanligvis utilgjengelige for menneskelig syn og hørsel. Men takket være maskinlæring blir det mulig å beregne musikalske sjangere fra spektrogrambilder.
Anbefal sanger
Det virker som om å finne det "samme" sporet som passer humøret ditt i milliarder av sanger på egen hånd er nesten like usannsynlig som å bli forelsket ved første blikk. Men takket være anbefalingsalgoritmer skjer ikke perfekte treff så ofte. Først ser kunstig intelligens etter personer med lignende smak, og deretter kobles statistiske formler sammen: antall liker, misliker, avspillinger og hopper over en bestemt komposisjon.
Anatoly Starostin
Sanganbefaling fungerer i henhold til et enkelt opplegg: hvis Vasya likte spor X, og Petya også vurderte det, så når Vasya liker Y, bør Petya også anbefale spor Y. Når algoritmen trenger å finne neste sang, brukes formelen på et sett med potensielle sanger. De best egnede flyter til toppen.
«Kaldt» innhold, som ikke sees i spillelistene til masselytteren, sprer seg saktere. Men takket være nevrale nettverk har ukjente artister og nisjemusikk fortsatt en liten sjanse til å flimre i strømmen av anbefalinger. Hvis vi forenkler alle de tekniske nyansene, kan vi si at i slike tilfeller finner kunstig intelligens ut hvor ofte en spesifikk bruker lytter til sanger med lignende spektrogrammer, og inviterer ham med jevne mellomrom til å bli kjent med nye spor.
Mary Gu
Sanger.
Noen ganger ser jeg etter inspirasjon i anbefalinger. Jeg overlater valget av komposisjon til musikktjenesten, lytter til melodiene, finner interessante lyder eller tekster. Så du kan virkelig spontant bli forelsket i et spor av en ukjent artist. Og en annen linje jeg ved et uhell hørte kan få meg til å lage mine egne dikt.
Nevrale nettverk bidrar også til å generere musikkvalg for trening, turgåing eller søvn. Innholdsredaktører velger referansespor for algoritmer, og basert på deres spektrogrammer utvider kunstig intelligens tematiske anbefalinger.
generere musikk
Tidligere var det bare komponister som kunne lage melodier. Nå er det mulig uten medvirkning fra musikere. I 2020 var Nederland vertskap for den første Eurovision Song Contest for nevrale nettverk - AI Song Contest. Australieren vant samarbeid kunstig intelligens med koalaer, isfugler og tasmanske djevler. Sangen var dedikert til skogbrannene som raste på kontinentet. Dyrelyder ble tatt opp i korte prøver - fragmenter på 1-2 sekunder lange. Algoritmen kombinerte dem med hitene til alle de tidligere vinnerne av den virkelige Eurovision, hvoretter de satt sammen prøvene til sin egen melodi.
Dette er ikke det eneste eksemplet på en vellykket kreativ forening av programmerere og nevrale nettverk. I 2019, ved avslutningen av Winter International Arts Festival i Sotsji, fremførte statsorkesteret et 8-minutters stykke. Den ble skrevet av komponisten Kuzma Bodrov fra separate fragmenter av melodier generert av nevrale nettverk. I dag er skapelsen av musikk det mest lovende området for utvikling av kunstig intelligens.
Anatoly Starostin
Kunstig intelligens kan skape musikk på tre måter. Den første er forbundet med konstruksjonen av ferdige "klosser" av lyd - prøver. I dette tilfellet arrangerer algoritmen dem ganske enkelt i riktig rekkefølge over flere lydspor, og den elektroniske arrangøren blander det ferdige sporet. Den andre måten er å generere notasjon. Det er som å skrive instruksjoner for musikeren om å spille det ferdige verket på det. Og den tredje måten er å ta opp det "rå" lydsignalet. I dette tilfellet skaper det nevrale nettverket selv lydbølger som ligner for eksempel på Mozart eller Beatles.
Nevrale nettverk kan forresten også skrive poesi til sanger. Så langt høres slike spor ganske merkelige ut, så låtskrivere bør ikke bekymre seg for arbeidsledighet. I tillegg er «datamaskinsinnet» blottet for følelser. Han kan ikke trenge inn i den emosjonelle konteksten og formidle opplevelsene som tvang forfatterne av verkene til å skape.
Mary Gu
Poesi og musikk handler først og fremst om sjelen, den indre verden, opplevelser, følelser og følelser hos mennesker. For eksempel er det nye sporet «Don't Burn Out» min personlige historie, men det handler også om alle som går etter en drøm og prøver å forstå seg selv. Jeg tror ikke at kunstig intelligens noen gang vil erstatte en levende person i musikkbransjen. Men her kan du få et interessant tandem "menneskelig - nevralt nettverk". Vi kjenner allerede dusinvis av eksempler når kunstig intelligens hjalp komponister med å lage unike melodier. Faktisk er dette en ny retning i musikkverdenen, som, jeg er sikker på, vil ha sin egen lytter og publikum i fremtiden.
Kunstig intelligens gjør kreativitet tilgjengelig for alle, og musikk hjelper den å utvikle seg. For å forstå hvordan disse to polene konvergerer og påvirker hverandre, kan du "Leksjonsnummer" fra Yandex - "Digital Art: Music and IT". Sammen med tegneseriens helter vil deltakerne lære hvordan nevrale nettverk gjenkjenner og genererer spor og hvilke teknologier som hjelper i arbeidet med musikktjenester vi kjenner. På timen skal elevene prøve å gjette melodien ved spektrogrammet selv og sette sammen en spilleliste med anbefalinger.
Jeg vil "Leksjonstall"
Dekke: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker