Neseniai „ChatGPT“ tapo nauja karštąja dirbtinio intelekto vieta, kai „Microsoft“ ir „Google“ Silicio slėnyje daug investuoja į tokias technologijas (Microsoft turi 10 mlrd. USD akcijų paketą „OpenAI“, už ChatGPT, ir „Google“ neseniai išleido savo BARD modelį). Kinijos interneto technologijų įmonės, atstovaujamos Baidu ir kitų, taip pat nurodė, kad kuria tokią technologiją ir artimiausiu metu pradės veikti. Kinijoje „Baidu“ ir kitos interneto technologijų bendrovės taip pat nurodė, kad kuria tokias technologijas ir artimiausiu metu pradės veikti.
„ChatGPT“ atstovaujami generatyviniai modeliai turi bendrą bruožą, ty jie naudoja didžiulius duomenis išankstiniam mokymui ir dažnai yra suporuojami su galingesniu kalbos modeliu. Pagrindinė kalbos modelio funkcija yra mokytis iš didžiulio esamo korpuso, o išmokęs jis gali suprasti vartotojo kalbines instrukcijas arba, be to, generuoti atitinkamą teksto išvestį pagal vartotojo nurodymus.
Generatyvieji modeliai gali būti iš esmės suskirstyti į dvi kategorijas: viena yra kalba pagrįsti generatyviniai modeliai, o kita - vaizdiniais generatyviniai modeliai. Kalba pagrįstus generatyvinius modelius reprezentuoja ChatGPT, kurio kalbos modelis gali ne tik išmokti suprasti vartotojo komandų reikšmę (pvz., „parašyti eilėraštį Li Bai stiliumi“), bet ir generuoti atitinkamą tekstą pagal vartotoją. komandos po treniruotės su didžiuliais duomenimis (aukščiau pateiktame pavyzdyje rašant eilėraštį Li Bai stiliumi). eilėraštis). Tai reiškia, kad ChatGPT turi turėti didelį kalbos modelį (LLM), kuris suprastų vartotojo kalbą ir galėtų sukurti aukštos kokybės kalbos išvestį – pavyzdžiui, modelis turi suprasti, kaip generuoti eilėraščius, kaip generuoti eilėraščius Li Bai stiliumi. , ir taip toliau. Tai taip pat reiškia, kad dideliems kalbų modeliams naudojant generatyvųjį AI reikia labai daug parametrų, kad būtų galima atlikti tokį sudėtingą mokymąsi ir atsiminti tiek daug informacijos. Pavyzdžiui, „ChatGPT“ turi 175 milijardus parametrų (700 GB saugyklos vietos, jei naudojami standartiniai slankiojo kablelio skaičiai), kurie parodo, koks „didelis“ yra jo kalbos modelis.
Kita generuojamųjų modelių klasė yra vaizdų generavimo modelis, kurį atstovauja „Diffusion“, paprastai „Dalle“ iš „OpenAI“, „ImaGen“ iš „Google“ ir šiuo metu populiariausias „Stable Diffusion“ iš Runway AI. Šie į paveikslėlį panašūs generavimo modeliai taip pat naudoja kalbos modelį, kad suprastų vartotojo kalbines komandas ir generuotų aukštos kokybės vaizdus pagal šias komandas. Skirtingai nei kalba pagrįsti generatyviniai modeliai, čia naudojamas kalbos modelis daugiausia naudoja kalbą, kad suprastų vartotojo įvestį negeneruojant kalbos išvesties, todėl parametrų skaičius gali būti gana mažas (apie kelis šimtus milijonų), o parametrų skaičius Vaizdu pagrįsti difuzijos modeliai yra palyginti maži, iš viso siekia kelis milijardus, tačiau skaičiavimo pastangos nėra mažos, nes sugeneruotų vaizdų ar vaizdo įrašų skiriamoji geba gali būti labai didelė.
Generatyvieji modeliai gali sukurti precedento neturinčią aukštos kokybės išvestį, naudojant didžiulį duomenų mokymą, ir jau yra daug aiškių programų rinkų, įskaitant paiešką, dialogo robotus, vaizdų generavimą ir redagavimą ir kt. Ateityje tikimasi daugiau taikomųjų programų, o tai taip pat padidins paklausą susijusių lustų.
Lustų poreikis klasės modeliams generuoti
Kaip minėta anksčiau, „ChatGPT“ yra generacinis modelis, kuriam reikia mokytis iš daugybės mokymo duomenų, kad būtų pasiekta aukštos kokybės generacinė produkcija. Siekiant palaikyti veiksmingą mokymą ir išvadas, generatyvieji modeliai turi savo reikalavimus susijusiems lustams.
Pirmasis yra paskirstyto skaičiavimo poreikis; kalbų generavimo modelių, tokių kaip „ChatGPT“, parametrų skaičius siekia šimtus milijardų, ir beveik neįmanoma naudoti vieno kompiuterio mokymo ir išvadų, tačiau reikia naudoti daug paskirstytų skaičiavimų. Paskirstytoje kompiuterijoje duomenų sujungimo dažnių juostos plotis tarp mašinų ir tokio paskirstytojo skaičiavimo (pvz., RDMA) skaičiavimo lusto turi didelę paklausą, nes dažnai užduoties kliūtis gali būti ne kompiuterijoje, o aukščiau esančiame duomenų sujungime, ypač Tokio didelio masto paskirstytojo skaičiavimo lustas, skirtas efektyviai palaikyti paskirstytą skaičiavimą, tapo svarbesnis.
Kitas yra atminties talpa ir pralaidumas. Nors paskirstytas mokymas ir išvados yra neišvengiami kalba pagrįstuose generatyviniuose modeliuose, kiekvieno lusto vietinė atmintis ir pralaidumas daugiausia lems vienos lusto vykdymo efektyvumą (nes kiekvieno lusto atmintis išnaudojama iki galo). Vaizdu pagrįstų generuojamųjų modelių atveju galima visus modelius (apie 20 GB) įdėti į lusto atmintį, tačiau ateityje tobulėjant vaizdiniams generuojamiems modeliams, tikėtina, kad atminties poreikiai dar padidės. . Žvelgiant iš šios perspektyvos, itin didelio pralaidumo atminties technologija, atstovaujama HBM, taps neišvengiamu susijusių greitintuvo lustų pasirinkimu, o generatyvinės klasės modeliai taip pat pagreitins HBM atmintį, kad dar labiau padidintų talpą ir pralaidumą. Be HBM, naujos saugojimo technologijos, pvz., CXL, kartu su programinės įrangos optimizavimu, taip pat gali padidinti vietinės saugyklos talpą ir našumą tokiose programose ir, kaip manoma, bus labiau pritaikytos pramonėje dėl generatyvinės klasės modelio atsiradimo.
Galiausiai, skaičiavimas, tiek kalba pagrįsti, tiek vaizdais pagrįsti generatyvūs klasių modeliai turi didelį skaičiavimo poreikį, o vaizdiniais generuojamieji modeliai gali turėti daug didesnį aritmetinės galios poreikį, nes jie generuoja vis didesnę skiriamąją gebą ir pereina prie vaizdo programų. Įprastų vaizdo generavimo modelių skaičiavimo apimtis yra maždaug 20 TFLOPS, o kalbant apie didelę skiriamąją gebą ir vaizdus, 100-1000 TFLOPS aritmetinės paklausos tikriausiai yra norma.
Apibendrinant, manome, kad generatyvinių lustų modelių reikalavimai apima paskirstytą skaičiavimą, saugojimą ir skaičiavimą, kurie, galima sakyti, apima visus lustų projektavimo aspektus ir, dar svarbiau, kaip visus šiuos reikalavimus derinti protingu būdu. užtikrinti, kad vienas aspektas netaptų kliūtimi, kuri taps ir lustų projektavimo sistemos inžinerijos problema.
GPU ir naujasis AI lustas, kuris turi didesnę galimybę
Generatyvieji modeliai turi naują lustų paklausą. Kas turi didesnę galimybę užfiksuoti šią naują GPU (atstovaujamų „Nvidia“ ir AMD) ir naujų AI lustų (atstovaujamų „Habana“, „GraphCore“) paklausą ir rinką?
Pirma, kalbant pagrįstų generatyvinių modelių požiūriu, GPU pardavėjai, kurie šiuo metu turi visą tokio pobūdžio ekologijos išdėstymą, yra naudingesni dėl didelio dalyvių skaičiaus ir gero paskirstyto skaičiavimo palaikymo. Tai yra sistemos inžinerijos problema, kuriai reikalingas visas programinės ir aparatinės įrangos sprendimas, todėl „Nvidia“ sujungė savo GPU, kad paleistų „Triton“ sprendimą, kuris palaiko paskirstytą mokymą ir paskirstytas išvadas, leidžiančią padalyti modelį į kelias dalis ir apdoroti. skirtinguose GPU, taip išspręsdami per daug parametrų, kurių negali sutalpinti pagrindinė vieno GPU atmintis, problemą. Taip išsprendžiama per daug parametrų vienai GPU pagrindinei atminčiai problema. Nesvarbu, ar naudojate „Triton“ tiesiogiai, ar ateityje plėtojate „Triton“ pagrindu, patogiau turėti pilną ekologišką GPU. Skaičiavimo požiūriu, kadangi pagrindinis kalbos pagrindu sukurto modelio skaičiavimas yra matricinis skaičiavimas, kuris yra GPU stiprybė, naujasis AI lustas šiuo požiūriu neturi akivaizdaus pranašumo prieš GPU.
Vaizdais pagrįstų kartos modelių požiūriu, tokių modelių parametrų skaičius taip pat yra didelis, tačiau viena ar dviem dydžiais mažesnis nei kalbomis pagrįstų kartos modelių, be to, jo skaičiavimas vis tiek bus naudojamas didelėje. konvoliucinių skaičiavimų skaičius, todėl išvadų programos, jei galite atlikti labai gerą optimizavimą, AI lustai gali turėti tam tikrų galimybių. Čia optimizavimas apima didelį kiekį lusto saugyklos, kad būtų galima pritaikyti parametrus ir tarpinius skaičiavimo rezultatus, kad būtų galima atlikti konvoliuciją ir efektyviai palaikyti matricos operacijas.
Apskritai, dabartinės kartos AI lustai yra skirti mažesniems modeliams (parametrų skaičius milijardo lygiu, skaičiavimas 1TOPS lygiu), o generuojamųjų modelių paklausa vis dar yra santykinai didesnė nei pradinio dizaino tikslas. GPU sukurti taip, kad būtų lankstesni efektyvumo kaina, o AI lustai sukurti priešingai, siekiant tikslinės programos efektyvumo. Todėl manome, kad per ateinančius metus ar dvejus GPU vis tiek dominuos tokiame generuojamajame modelių pagreitėjime, tačiau generuojamųjų modelių dizainai tampa stabilesni ir AI lustų dizainai turi laiko pasivyti generacines modelių iteracijas, AI lustai turi galimybę pranokti GPU. generatyvinio modelio erdvėje efektyvumo požiūriu.
