Umelá inteligencia (AI) skutočne smeruje k vyvolaniu technologickej revolúcie. Od uvedenia generatívneho modelu ChatGPT, o ktorého vznik sa postarala spoločnosť OpenAI, začali do tejto oblasti investovať viaceré popredné firmy, vrátane Mety. Tá s AI experimentuje už dlhšie, no po novom prináša niečo, čo nenechá v pokoji žiadneho z jej konkurentov. Predstavila totiž najväčší model na svete, ktorý ohromuje nielen svojimi kapacitami, ale aj tým, že funguje na báze open-source, píše server Notebookcheck.
Tento model nesie názov Llama 3.1 405B a záujemcom je k dispozícii bezplatne. Láka pritom obrovskou kapacitou, ktorá zahŕňa až 405 miliárd parametrov. Chce tak konkurovať iným popredným modelom, ako sú Anthropic Claude 3.5 Sonnet a ChatGPT-4o. A keďže nejde o súkromný projekt, za ktorý si treba platiť, ale funguje na báze open-source, používatelia ho môžu bez akýchkoľvek obmedzení spustiť priamo na vlastných počítačoch. Samozrejme, treba na to dostatočne výkonnú zostavu.
Neprehliadnite
Vznik nového modelu umožnili grafické karty NVIDIA H100, pričom každá z nich má TDP na úrovni 700 W a pamäť o veľkosti 80 GB. Použitých ich malo byť vyše 16-tisíc, konkrétne 16 384. Meta taktiež využila vlastnú serverovú platformu Meta Grand Teton AI.
Ďalšou atraktívnou črtou je aj to, že AI pracuje až so 16,55-triliónmi tokenov, pričom na tisíc tokenov pripadá približne 750 slov.
Náročné školenie
Pokiaľ ide o proces tréningu, ten nebol zrovna bezproblémový. Došlo k početným zlyhaniam, pričom 57,3 percenta z nich vraj mali na svedomí grafické karty. Celkovo proces zabral 54 dní. Treba pritom spomenúť, že tréning nebol náročný len časovo, ale aj ekologicky. Počas školenia modelu mala Meta spotrebovať viac ako 11 GWh elektrickej energie, pričom sa mal uvoľniť ekvivalent až 11 390 ton oxidu uhličitého. Možno predpokladať, že v konečnom dôsledku budú tieto čísla ešte vyššie, keďže emisie a zdroje sa spájajú nielen s vývojom a tréningom, ale aj samotnou prevádzkou.
Na druhú stranu, tréning mal byť naozaj poctivý. Model vraj bol poučený o poznatkoch vo viacerých citlivých oblastiach, vrátane kybernetickej bezpečnosti či bezpečnosti maloletých. Meta tvrdí, že vďaka systému Llama Guard 3 ponúka lepšiu bezpečnosť, než iné modely.
Chvályhodné výsledky
Má byť taktiež neuveriteľne chytrý. V testoch na vysokoškolskej a absolventskej úrovni mal dosiahnuť 51,1 až 96,6 percenta bodov, čo je porovnateľné s výsledkami, ktoré dosiahli modely Claude 3.5 Sonnet a GPT-4o. V reálnych testoch, ktoré hodnotili ľudia, však GPT-4o poskytoval o 52,9 percenta presnejšie, resp. lepšie odpovede. Meta teda stále má čo zlepšovať.
Taktiež treba zmieniť, že nový model má obmedzené znalosti o všetkých udalostiach, ku ktorým došlo po decembri 2023. Aktuálnejšie informácie však priebežne zbiera z internetu, a to prostredníctvom Brave Search.
Nespustí ho len-tak hocikto
Ak by ste si ho chceli spustiť na svojom počítači, najskôr sa budete musieť uistiť, že na to máte dostatočné kapacity. Lokálne spustenie si totiž vyžaduje minimálne 750 GB voľného úložného priestoru, ako aj osem grafických procesorov NVIDIA A100 (alebo podobných) s dvoma uzlami MP16 a 810 GB VRAM. Meta vydala aj menšie verzie modelu, ktoré nemajú tak náročné požiadavky, no zároveň neponúkajú až tak pokročilé kapacity. Konkrétne verzie Llama 3.1 8B potrebuje „iba“ grafickú kartu so 16 GB VRAM, čo je kritérium, ktoré spĺňajú napríklad čipy NVIDIA RTX 4090.
