Kunstig intelligens i bildebehandling

Av Manuel Ruiz Dupont: Konsulent og trener for utviklingsprosess i sanntid hos Pixelacademia

Denne artikkelen diskuterer AI-forstyrrelser i bildeindustrien. Selv om du ikke er i bransjen, kan du lett forstå det fordi jeg forklarer poenget mitt med flere visuelle eksempler (og jeg anbefaler deg å se først Video av Mr. Villanis taleI senatet debatterer han begrensningene til AI).

Hva er AI?

Det finnes mange typer AI (ANI, AGI, ASI…), hver med sin egen definisjon[1], men jeg vil kun ta for meg de som bruker en database administrert av komplekse algoritmer. Det er også AI-er som ikke allerede har opprettet databaser: disse er for øyeblikket opprettet «D«Når ordren initieres eller gradvis genereres (maskinlæring).

Hva gjør vi med AI?

I dag er det allerede mange applikasjoner som fungerer godt med AI.

Lage bilder av høyeste kvalitet, laget av tekst eller en enkel skisse


Bilde laget av Google Colab (til venstre) og Nvidia (til høyre).

Et veldig enkelt grensesnitt eller muligheten til å lage musikk fra tekst

Aiva Interface, programvare for musikkskaping med AI
Aiva Interface, programvare for musikkskaping med AI

Automatisk generering av en historie (spesielt historier)

Muligheten for å spille spillet «prognose«Spillerhandlinger i videospillindustrien

«Neural State Machine«Presentert på Sikarp Show 2019, Can Learn and»Fordommer«Interaksjoner mellom karakter (avatar) og scene fra sanntids bevegelsesfangstdata.

Det er også mange morsomme apper allerede på markedet som utelukkende bruker AI. Du kan også finne dem gratis på internett (Google Colab). De er vanligvis programmert i Python, men kan brukes uten å vite hvordan de skal programmeres.

Se ansiktet ditt i stedet for skuespilleren i filmscenen

Et eksempel på en deepfake med skuespilleren Tom Cruise (til høyre).
Et eksempel på en deepfake med skuespilleren Tom Cruise (til høyre).

Sjansene for å se ansiktet ditt om 50 år eller så hvis du er en kvinne eller mann eller av en annen rase

Bilde generert fra AI-programvaren Artbreeder
Bilde generert fra AI-programvaren Artbreeder

Søknader som kun er i det embryonale forskningsstadiet er inkludert

Oppretting av 3D-karakterer fra tekst til animasjon

Oppretting av 3D-karakterer fra tekst til animasjon
«HumanML3D Pioneer of Animation»Tekst«

Lage 3D-blokker fra et bilde

Og selvfølgelig alle applikasjonene vi ønsker at AI skulle gjøre mulig i dag, som automatiserte muskelrigger, eller lage hyperrealistiske klær som kan animeres basert på et mønster eller et enkelt bilde, men vi må vente litt lenger .

AI i bildeproduksjon

Nåværende AI-programvare er ikke posisjonert som løsninger på utviklingsproblemer. Unreal Engine tok mer enn 6 år å lage en relativt akseptabel crossover med 3DSMax, Maya og Houdini – til tross for sine enorme algoritmer, men var for svak for Nuke. Som et resultat, hvis vi vilkårlig anser 2022 som året null for AI, må vi fortsatt vente før AI virkelig blir brukt i bildeproduksjonskjeden, og dette krever implementering av plug-ins i produksjonsprogramvare. Samtidig – med fødselen av AI-programvare som tar hensyn til behovene til produksjonsprogramvare: AI vil virkelig påtvinge seg selv når den blir tilgjengelig for allerede etablert produksjonsprogramvare.

READ  PS5 tilbake i salg denne tirsdagen: Finn ut hvilket nettsted som annonserer lager

Til nå, hvis du jobbet innen videospill, måtte du bare utvikle noen få tekniske konsepter (UV, bein, normaler, polygoner, shader), men økningen i maskinens kraft har skapt broer med andre felt. Håndterer andre konsepter (væsker, hår, gjengivelser, etc.) av handling (spesielt kino). Takket være enkle grensesnitt tror jeg AI i første omgang vil gjøre det mulig å lage verktøy med svært kraftige og brukervennlige tekniske konsepter, og dette vil bli brukt til kino- og sanntidsindustrien.

For det andre kan AI også gjøre det mulig å raskt lage visuelle effekter eller triks som krever mer utviklingstid. Dette inkluderer grafiske stiler eller den populære deepfake-skapelsen (som allerede er mulig, men resultatet er ikke nøyaktig eller kvalitativt nok til å implementeres i et produkt).

Portland, i stil med Van Goghs Starry Night
Ved å bruke ulike matematiske modeller for kunstnerisk stiloverføring, er her Portland bysilhuett, i stil med Van Goghs Starry Night.

Er dette slutten på noen bransjer? Ingen trodde det, men Quixel, Kitbash3d eller til og med teksturbanker har redusert de menneskelige behovene til et produkt betydelig, men samtidig har visuell produksjon eksplodert og menneskelige behov øker.

For eksempel prøvde jeg å lage 3D-animasjon med så lite menneskelig innblanding som mulig.

Slik gjorde jeg det:

  • Jeg laget teksten med AI-programvare som genererer dikt
  • Jeg opprettet bildet med programvare for AI-bildeoppretting fra tekst (jeg kopierte teksten som ble opprettet av programvaren for å lage dikt)
Sommerfugler
  • Jeg skapte»2D Vol«Med AI-programvare
2D Vol
  • Jeg laget en 3D-modul ved hjelp av fotogrammetriprogramvare
  • Jeg eksporterte blokken i Maya og laget deretter en kino med kamerabevegelse
  • Jeg eksporterte gjengivelsen til AI-programvare for å homogenisere animasjonen

Hva er fremtiden til AI?

For øyeblikket er det største hinderet for AI tiden det tar å lage en database og behandle den gjennom algoritmer.

Hvis vi kan redusere denne tiden, kan vi forestille oss at AI kan hjelpe oss med å forbedre kreasjonene våre eller fikse feilene våre i sanntid – gjennom hele utviklingen. Å kombinere denne sanntids-AI med andre teknikker (aktivabibliotek, avatargenerering, etc.) vil også forbedres enormt, noe som gjør det enklere å lage bilder (med dialoger og musikk) eller i henhold til tegneserier. Et mer eller mindre detaljert storyboard hvor AI fyller ut hullene i henhold til databasene. Skaperen av dette bildet trenger bare å endre noen få detaljer av resultatet, ved å bruke et veldig enkelt grensesnitt, i henhold til hans visjon. Jeg vet at dette kan høres ut som science fiction, men nå…

Selvfølgelig må mange skritt tas før en levedyktig løsning er nådd, men jo nærmere vi kommer en vilkårlig skapelse med minimalt menneskelig innspill, dukker problemet med originalitet til skapelse opp fordi AI trenger databaser. Men for tiden er mange av dem opprettet uten samtykke fra forfatterne.

Kan vi allerede forestille oss etableringen av nye selskaper som skal markedsføre databaser med bilder som de er forfattere av? Til syvende og sist, er en av de mulige fremtiden for utviklingsselskaper å bare bygge bilder med den hensikt å lage databaser?

Når skal du bytte til AI?

Det minner meg om for 4 eller 5 år siden da sanntid begynte å bli brukt på andre felt enn videospill. Det ble i utgangspunktet sett på som den ultimate løsningen på mange utviklingsproblemer. I noen tilfeller var det sant, men i andre var det ikke. Og ofte gir sanntid ganske enkelt mer kreativ bekvemmelighet. For eksempel gir sanntid reell merverdi til videokartlegging, og i kinobransjen gir det større iscenesettelsesfleksibilitet. I animasjonsbransjen gjør dette det mulig å lage en mer fleksibel utviklingsprosess, men på bekostning av endelig gjengivelseskvalitet.

I dag er AI allerede i pre-produksjonsstadier (den brukes av konseptkunstnere). I produksjonsfasen er det ikke klart utviklet eller fortsatt i gang, men jeg tror det snart er i siste fase (post-produksjon), spesielt i fargeskalaer (DVinchi), det er allerede tusenvis av databaser som tillater det. Du bruker det raskt.

Når skal du bytte til AI? Bør vi vente til programvaren er klar, vel vitende om at neste versjon alltid vil være bedre? Avslutningsvis, hvis du er forsiktig og bruker litt tid til FoU og teknologiovervåking, er det ikke noe dårlig valg. Men i noen deler av prosessen, spesielt innen foto- eller videorestaurering (selvfølgelig allerede i musikk), vil implementeringen av AI være raskere.

Foto restaurering
Fotorestaurering utført med Photoshop og AI-programvare (Standard Diffusion).

Hvordan lære bort det og hvorfor?

Å lære Maya eller Blender til en grafisk designer virker umulig for meg fordi til syvende og sist handler det om matematikk. Men vi kommer ikke til å be en grafisk designer om å programmere AI. På den annen side kan vi forklare ham de tekniske konseptene som AI bruker og er langt fra UV eller væsker.

Følgende trend vil garantert dukke opp med årene: Bedrifter ser etter profiler som er både estetisk og teknisk dyktige.

Nye yrker vil dukke opp, så nye profiler med andre kvaliteter enn estetiske eller tekniske, og vil ha en sterk abstraksjonskarakter for å håndtere de tekniske konseptene til AI, snarere enn å være matematisk dyktige.

Vi bør allerede undervise i AI på skolene, og hver skole bør identifisere hvordan det skal gjøres, fordi bedrifter på kort sikt vil be om profiler som er komfortable med AI-konsepter.

Sammendrag

På mellomlang sikt tror jeg at AI vil være en reell vektor for omveltning i produksjonskjedene våre, ettersom utviklingsprosesser vil utvikle seg ved å implementere den i programvaren vi bruker. Undervisningen i AI vil ta over i videospillskoler og vi vil se det dukke opp i nye kurs.

Det vil selvfølgelig dukke opp nye bransjer og bedrifter. På kort sikt er det virkelige hinderet på nivået av etikk og juridiske aspekter. Faktisk tillater AI å lage etisk forkastelig innhold av høy kvalitet. For øyeblikket kan databaser også opprettes uten samtykke fra forfatterne, noe som utgjør et juridisk problem.

Hvis du er interessert i juridiske og etiske aspekter ved AI, foreslår jeg at du leser denMR. Intervjuet av Emat MostakGrunnlegger av Stable Diffusion (AI-programvare) presentert for The Times.

Manuel Ruiz DuPont
Konsulent i sanntids utviklingsprosess og trener hos Pixelacademia

Legg att eit svar

Epostadressa di blir ikkje synleg. Påkravde felt er merka *