Učitavanje video playera...
00:55:49
Goran Ivanković: Memorijski učinkovito treniranje velikih modela: LORA
U posljednje vrijeme često slušamo o napretku umjetne inteligencije koja uključuje chatbotove i generativne modele. Većinu tog napretka dugujemo velikom broju parametara modela. Za pokretanje takvih modela potrebne su skupine vrlo jakih računala, dostupnih samo velikim kompanijama. Mnoge firme, a pogotovo one koje se zalažu za open-source, okreću se treniranju manjih i efikasnijih modela koje napokon može pokrenuti krajnji korisnik uz prosječnu grafičku karticu. S nedavnim napretkom u područjima optimizacije i kvantizacije, čak i fino podešavanje modela u vlastite i specijalizirane svrhe postaje sve jednostavnije.
U ovom seminaru opisat ćemo jednu metodu koja to omogućuje – LORA (Low-Rank Adaptation). Metoda je zanimljiva zbog načina na koji smanjuje broj parametara koji se treniraju, zbog čega potrebna memorija na grafičkoj kartici ostaje unutar dohvata prosječnog korisnika.
