Iako mnogi imaju osjećaj da se o umjetnoj inteligenciji intenzivnije priča tek zadnjih 10 godina, a najviše posljednje dvije, osvit AI-ja smješta se već u sredinu prošlog stoljeća, kada su na istraživačkoj konferenciji u Dartmouthu postavljeni neki od prvih principa umjetne inteligencije. Unatoč dobrom zaletu, tadašnja ograničenja u procesorskoj snazi ​​s jedne, i složenost stvarnih problema s druge strane – brzo su postali očiti. Nastupila je prva “AI zima” u 1970-ima, obilježena smanjenim financiranjem i interesom za područje.

Narednih godina stručna zajednica svjedočila je usponima i padovima u komercijalizaciji i istraživačkim uspjesima. U osamdesetima se stvari opet bude, osigurane su i prve jače investicije, no tadašnja razina računalne znanosti jednostavno nije mogla isporučiti što su ljudi obećavali…

Devedesete: Fokus na strojno učenje

Krajem 90-ih snijeg druge AI zime napokon kopni, nakon čega su uslijedila dva plodonosna desetljeća istraživanja koja su značajno obilježila razvoj AI tehnologija koje poznajemo danas. Devedesete ćemo pamtiti po usmjeravanju na sustave koji mogu učiti iliti strojno učenje, što je zacementiralo važnost ove grane računalne znanosti i mimo istraživačkih krugova…

Suosnivač Visage Technologiesa, Igor Pandžić, prisjeća se kolegija Umjetna inteligencija koji je slušao na Sveučilištu u Ženevi sredinom 90-ih godina.

Slušali smo o ekspertnim sustavima, evolucijskim algoritmima, ali i neuronskim mrežama. One su u osnovama bile slične današnjima, ali i same mreže i skupovi podataka za učenje bili su neusporedivo manji, a rezultati koji su se mogli dobiti nisu bili nimalo impresivni.

Na FER-u se 90-ih područje istraživalo kroz druge kolegije i vezane projekte. Tako je profesor Siniša Šegvić otkrio njihov potencijal kroz praktičan rad. Nakon što je završio fakultet, zaposlio se u istraživačkoj grupi profesora Slobodana Ribarića gdje mu je prvi zadatak bio napisati program koji će pribaviti sliku i u njoj pronaći geometrijska tijela označena jarkim bojama.

Nije to bilo baš nešto sjajno. Nismo baš znali što radimo (ne znamo ni danas), a tadašnja računala su i te uistinu jednostavne programe izvršavala minutama. Međutim, bili smo strpljivi. Već nakon nekoliko godina, u okviru magistarskog rada predložio sam postupak koji je znao iz slika dosta pouzdano odrediti smjer pružanja hodnika.

Kasnije, u okviru doktorskog rada, razvio sam program za ispravljanje radijalnog izobličenja leće. Taj program dobro mi je došao nekoliko godina kasnije, kad sam s kolegama s instituta IRISA u Rennesu predložio jedan od ranih algoritama za autonomnu navigaciju automobila bez vozača. Naš Cycab autonomno je obišao gotovo cijeli kampus Beaulieu u Rennesu, a to u 2005. godini nije bio maleni pothvat.

Postdoktorsko istraživanje prof. Šegvića na institutu IRISA u francuskom Rennesu pokazalo je u konačnici da je autonomna navigacija izvediva čak i ako ne postoji dovoljno informacija za izradu konzistentne 3D karte okoliša.

Novi milenij: Eksperimentiranjem do komercijalizacije

Početkom novog milenija stiže pravo proljeće za AI. Algoritamska poboljšanja, s mnogo većim procesorskim kapacitetima te na izobilje dostupnim velikim količinama podataka za treniranje, dovela su do razvoja metoda koje su primjenjive na složene probleme u raznim industrijama i svakodnevnom životu.

Visage Technologies bio je nusprodukt istraživačkih projekata i prijateljstva kolega s fakulteta koji su pratili te promjene. Viziju osnivača Igora Pandžića i Jörgena Ahlberga te njihovog mentora Roberta Forchheimera, koji su se u to vrijeme (2002.) bavili računalnom grafikom i kodiranjem videa. To odaje i slogan Visage Technologies – The Face Animation Company. Glavni im je proizvod bila tehnologija za animaciju likova na webu…

S vremenom se počeo pojavljivati interes klijenata za jednu specifičnu komponentu tehnologije – praćenje ključnih točaka na licu koja je služila za preslikavanje izraza i gesti sa stvarne osobe na animiranog lika.

Prvo razdoblje tvrtke tako je obilježeno istraživanjem – što mogu kroz računalni vid doznati iz ljudskog lica u svrhu zabave, sigurnosti ili interakcije s računalom, pojašnjava Petar Stojanac, Visageov VP of Engineering.

Među prvim istraživanjima koje smo radili bilo je prepoznavanje emocije na temelju više usporednih slika lica što i dan danas predstavlja interesantan problem – promijenile su se samo tehnike s obzirom na znatno veće količine podataka koje su danas dostupne. Jedan od prvih većih projekata je zahtijevao da izdvojimo lice od pozadine u slici, a pritom koristeći što manje resursa tadašnjih mobilnih uređaja.

Duboke neuronske mreže: Točka nakon koje ništa nije bilo isto

Takozvane plitke neuronske mreže s godinama su evoluirale u duboke neuronske mreže nizom prekretnica u području i tehnologiji općenito: od novih algoritama koji su poboljšali konvergenciju dubokih mreža, omogućavajući brže i stabilnije treniranje, do jačih grafičkih i procesorskih jedinica koje su ubrzale njihovo treniranje.

Ipak, nekad velike znanstvene prekretnice izgledaju sasvim neprimjetno dok ih proživljavaš, iskreno će prof. Šegvić.

Tamo negdje krajem 2012. godine, naš tadašnji postdok Josip Krapac donio je vijesti da konvolucijski modeli pobjeđuju sve druge algoritme za klasifikaciju slika. Odmah smo uputili Vedrana Vukotića, našeg tadašnjeg studenta, da za diplomski rad isproba to “zmijsko ulje”. Mi “odrasli” nismo se stigli odmah pozabaviti tom novotarijom jer smo imali znanstveni projekt na kojem smo trebali isporučiti ugovorene rezultate, a osim toga nismo imali grafičke kartice za provođenje takvih eksperimenata. Međutim, Vedranov diplomski rad jasno je pokazao da novo doba kuca na vrata.

Jedan od studenata u to vrijeme, koji je mogao slobodnije istraživati i eksperimentirati, bio je i Matija Ilijaš, nekadašnji VP of Engineering u Microblinku, danas osnivač tvrtke Eigenpixel, koji kaže da se još sjeća uzbuđenja na fakultetu kada su 2012. krenuli eksperimenti s prvim dubokim neuronskim mrežama.

Imao sam i tu sreću da su se u Microblinku i Photomathu već uspješno razvile prve verzije proizvoda klasičnim metodama računalnog vida, tako da sam imao s čime izravno uspoređivati nove AI metode i uvjeriti se iz prve ruke da daju značajno bolje rezultate na nekim problemima.

Njihov prvi AI projekt 2015. bio je toliko uspješan da su obje firme strateški počele značajno ulagati u razvoj AI timova i izgradnju vlastite AI infrastrukture, a to se pokazalo kao velika prednost u odnosu na konkurenciju u narednim godinama.

Pojava dubokih neuronskih mreža bila je i velika prekretnica za Visage Technologies, prisjeća se CEO Gordan Kreković.

Pojava dubokog učenja značajno je utjecala na područje računalnog vida jer je omogućila dotad najveći napredak u zadacima klasifikacije i detekcije, veću robusnost na varijancu u podacima, kao i neslućene skokove u primjenama poput semantičke segmentacije, procjene udaljenosti iz jedne kamere, realistične rekonstrukcije slika s nepoznatim izvorima degradacije ili generiranja realističnih slika. Na vlastitim proizvodima, kao i na proizvodima klijenata primjena dubokog učenja značajno je poboljšala preciznost i robusnost algoritama.

Mnoge stare ideje pokažu se korisnima i u novom kontekstu

“Svakih 5-10 godina događala se prekretnica koja bi preispitala sve što smo do tada znali, temeljito ispremiješala karte i svakome od nas pružila priliku da napiše novu jednadžbu koja će dramatično poboljšati uspješnost naših algoritama”, ističe slikovito profesor Šegvić.

U vrijeme znanstvenih prekretnica mnoge etablirane teorije i metode trenutno postaju nezanimljive pa mnoga započeta istraživanja nikad ne budu objavljena. Laboratoriji u tom trenutku moraju prihvatiti štetu i započeti novo istraživanje. Ipak, postojeća znanja nikad nisu teret, jer mnoge stare ideje pokažu se korisnima i u novom kontekstu.

Neke prekretnice su pak izazovnije od drugih, dodaje prof. Šegvić.

Primjerice, najmanji eksperiment iz prvog članka o raspoznavanju slika slojevima pažnje podrazumijevao je računski napor koji odgovara preko 200 dana računanja na jednoj grafičkoj kartici V100 (radi se o članku An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale). Tko je u tom trenutku imao 100 grafičkih kartica, takav model mogao je naučiti za manje od tri dana. U tom smislu, dobra vijest je da je sveučilišni računski centar Srce lani pustio u rad računalo Supek s 80 grafičkih kartica za potrebe domaće akademske zajednice.

Superračunala: od japanskog Fugaku do hrvatskog Supeka – tko se njima služi?

Međutim, unatoč svim tehnološkim i znanstvenim naprecima, možda je još i najveći izazov prebaciti saznanja iz znanstvenih radova u stvarni proizvod.

Primjena: Od znanosti do industrije

Unatoč ranijem iskustvu s (plitkim) neuronskim mrežama, prebacivanje na duboko učenje bilo je značajan korak za mnoge inženjere pa tako i one u Visage Technologiesu. Za njih je, primjerice, osim ponovnog razvoja dijelova proizvoda, proces zahtijevao i izgradnju popratne infrastrukture za treniranje i validaciju modela te njihovo izvršavanje u konačnom proizvodu.

S obzirom na to da se radi o softverskoj komponenti namijenjenoj za razne operacijske sustave i tipove računala, jedan od izazova je bio osigurati da algoritmi rade efikasno i precizno bez obzira na okruženje u kojem se izvršavaju.

To je značilo da smo prilikom izbora arhitekture i treniranja vlastitih modela morali voditi računa o ograničenjima koja nisu postojala u akademskim istraživanjima pa su tako naši modeli u usporedbi s modelima iz znanstvenih članaka kojima smo se inspirirali, morali biti manji, trenirani s raznolikijim i često zahtjevnijim skupovima podataka, s ograničenim izborom tipova slojeva (s obzirom na mogućnosti tadašnjih biblioteka za izvršavanje neuronskih mreža na raznim platformama), ponekad kvantizirani te temeljito testirani i dokumentirani.

Do prije svega 4 do 5 godina, inženjerski izazovi vezani uz efikasno izvršavanje modela dubokog učenja na različitim platformama bili su značajni, dodaje Kreković.

Iako su tada već bili u primjeni rašireni integrirani krugovi s ugrađenim hardverskim akceleratorima za matrično množenje i druge operacije prisutne u izvršavanju modela dubokog učenja, podrška za njih je bila ograničena. Biblioteke nisu podržavale sve najnovije tipove slojeva neronskih mreža, a u tim ranim fazama znali su nas usporiti i neočekivani bugovi u samim bibliotekama te dokumentacija koja nije uvijek ažurno pratila brze promjene.

U jednom su periodu u Visage Technologiesu zbog toga razvijali i održavali vlastitu okolinu za izvršavanje modela, no brzo su shvatili da ne mogu držati korak s promjenama i da je bolja strategija koristiti postojeće okoline pa makar bile različite za različite platforme – čime su ubrzali rad svojih algoritama za red veličine.

Neka od tih pitanja relevantna su dan danas, komentira Ilijaš: Kako sa što manje podataka i sa što manjim modelom postići točnosti i brzine koje su potrebne za krajnje proizvode?

Za Microblink i Photomath dodatna otegotna okolnost bila je što su se njihovi AI proizvodi trebali izvoditi lokalno, na mobilnim uređajima…

Drugim riječima, vlastiti ML modeli morali su biti za red veličine manji od onih koji su u akademskim istraživanjima davali impresivne rezultate, a pritom zadržavajući ili čak nadmašujući točnost u njihovoj domeni. U tome se i uspjelo zahvaljujući jakom multidisciplinarnom timu ML inženjera koji su otkrivali optimalne arhitekture ML modela, softverskih inženjera koji su razvijali izrazito brz sustav za ML izvođenje na mobitelu te označivača podataka koji su gradili velike skupove kvalitetnih podataka za učenje.

Muke po podacima su nezaobilazne

Danas se otvara cijela nova razina potencijala najnovijih AI metoda, ali prije nekoliko godina industrija (pa ni akademija) nije bila spremna ni po pitanju količine dostupnih podataka ni što se tiče snage servera za učenje. Usporedno s naprednijom (i skupljom) infrastrukturom za treniranje modela, pojavila se i potreba za spremanjem veće količine podataka. Petar Stojanac pojašnjava kako su u Visage Technologiesu zato često preferirali dugoročni pristup nabavke vlastite opreme prije nego iznajmljivanje opreme po potrošnji u oblaku.

Tehnički smo se prebacili na treniranje na grafičkim karticama na dijeljenoj infrastrukturi umjesto na zasebnim računalima.

Mogućnost treniranja kao i dostupnost velike količine podataka danas donose manje briga, ali problem ostaje kvaliteta tih podataka. Nedostatak kvalitetno označenih podataka za učenje vječiti je izazov tvrtkama koje razvijaju AI proizvode – bilo da se radi o skupoj anotaciji ili nemogućnosti dobavljanja relevantnih podataka. Ne čudi stoga da je istraživačka grupa profesora Šegvića tražila rješenja i baš ove godine predstavila znanstveni rad o najpotpunijem pristupu za učenje na nekonzistentno označenim podatcima.

Ilijaš se također prisjeća kako se u Microblinku ulagalo velike napore u pronalasku efikasnijih metoda učenja koje mogu i sa svega nekoliko primjera postizati visoke razine točnosti, zbog čega su razvijali i vlastiti generator umjetnih podataka koji je vrlo brzo postao cjelovit AI sustav.

Veliku prekretnicu u tom pogledu donijela je generativna umjetna inteligencija koja je omogućila korištenje takozvanih sintetskih slika, ali i realistične modifikacije stvarnih slika, dodaje Kreković:

Iako nam se pokazalo da bez stvarnih slika ne možemo osigurati najvišu kvalitetu algoritama za rad u stvarnom svijetu, sintetski i augmentirani podaci važni su kako bi ublažili pritisak potrebe za ogromnom količinom stvarnih podataka te tako ubrzali razvoj ili potpomogli u zadovoljavanju potreba za specifičnim podacima koji se rjeđe mogu prikupiti u stvarnosti.

Kamo plovi AI brod?

S dolaskom generativne umjetne inteligencije, ušli smo u još jedno novo poglavlje AI povijesti. Zadnje dvije godine ispunjene su prekretnicama u području čiji su se pomaci prelili van akademskih i stručnih krugova na niz industrija, a možemo i reći život općenito. Samo u zadnjih mjesec dana bilježimo nekoliko velikih novosti, poput toga da je OpenAI izbacio novi prototip za pretraživanje – SearchGPT; Meta objavila svoj novi model Llama 3.1, a francuski Mistral svoj Large 2, dok je AI Google DeepMinda osvojio srebrnu medalju na ovogodišnjoj Međunarodnoj matematičkoj olimpijadi (IMO).

Ubrzan razvoj umjetne inteligencije otvorio je mnoga pitanja oko regulacije razvoja vezanih tehnologija i drugih proizvoda i usluga koji ih koriste. EU je preuzela vodeću riječ u svijetu definirajući prvi AI akt, koji je pokrenuo lavinu komentara u stručnoj zajednici. Pitanje u nazivniku njihovih briga je kako izbalansirati inovaciju i regulaciju?

Korist koju AI može donijeti civilizaciji ujedno je najveća prednost, ali i najveći rizik AI tehnologije, smatra Kreković.

Rizik je u tome što smo za takvu jasnu korist spremni prihvatiti i nejasne posljedice na naše društvo, ekonomiju i demokraciju. Veliki jezični modeli već su sada sposobni koherentno obrazlagati određene teme, a algoritmi na društvenim mrežama birati sadržaj i reklame na način da nas navedu na kupnju određenog proizvoda, glasanje za određenu političku opciju ili utvrđivanja stavova u koje otprije vjerujemo. Za deset ili možda za već dvije godine, veliki jezični modeli postat će još uvjerljiviji, emotivno inteligentniji te daleko bolji prodavači i pregovarači od ljudi, protiv kojih nećemo imati šanse zadržati razinu javnog diskursa kakav danas postoji…

Inovacija pod svaku cijenu sigurno nije rješenje, slaže se i Ilijaš komentirajući kako to može dovesti u pitanje prava i slobode na kojima se ljudsko društvo zasniva, a koje su, napominje, i preduvjet za stanje uma pojedinca koje omogućuje pravu inovaciju. Međutim, kao i Kreković, zaključuje da uz regulaciju komercijalizacije i korištenja AI tehnologija treba poticati istraživanje i razvoj. Kreković smatra da upravo istraživanje može dovesti do veće sigurnosti tehnologije, ponuditi informacije i vrijeme za promišljanje posljedica te povećati potencijal korisnosti tehnologije. Profesor Šegvić također komentira i kako “ograničenje brzine nema smisla ako ne postoje automobili i ceste…

Osim toga, nije produktivno otežavati stjecanje znanja koja mogu ubrzati gospodarski razvoj. Zbog toga ne očekujem da će regulacija značajnije utjecati na razvoj područja, pogotovo u akademskim okvirima.

Matija zaključuje kako se optimalna ravnoteža inovacije i regulacije može postići samo dubljim razumijevanjem realnih mogućnosti i rizika, odnosno demistificiranjem AI tehnologije, ali i razumijevanjem dinamike potrebne za razvoj inovativnih proizvoda, koja je – pogotovo u EU, još uvijek priličan misterij.

pročitaj cijeli članak