Elon Musk, generálny riaditeľ viacerých úspešných spoločností, sa podelil s verejnosťou o pár zaujímavých predikcii týkajúcich sa vývoja umelej inteligencie, a to nie iba tej svojej, ale aj všeobecne. Uviedol napríklad, že umelá inteligencia môže prekonať ľudskú inteligenciu už v priebehu budúceho roka, prípadne v roku 2026, píše server Tom’s Hardware.
Proces to ale nebude jednoduchý – aby bolo možné vyškoliť umelú inteligenciu na takú úroveň, bolo by potrebných extrémne veľa špičkových grafických procesorov. Výroba a prevádzka veľkého množstva grafických kariet však vedie k obrovskej spotrebe elektrickej energie, čo rozhodne neprospieva životnému prostrediu.
Hardvér za 3 miliardy dolárov
Skutočnosť, že spotreba elektriny je jedným z faktorov, ktoré brzdia vývoj AI, uznal aj Musk. Ten taktiež venoval pár slov plánom týkajúcim sa modelu Grok, ktorého vývoj zastrešuje jeho startup xAI. Podľa aktuálnych očakávaní by mala byť tréningová fáza novej verzie modelu dokončená v priebehu mája. Vizionár prezradil, že na trénovanie druhej generácie Grok bolo použitých okolo 20 000 grafických kariet NVIDIA H100.
Očakáva pritom, že budúce verzie modelu si budú vyžadovať ešte viac grafických kariet, a to niekoľkonásobne. Konkrétne pri vývoji tretej generácie predpokladá použitie nie menej ako 100 000 kusov NVIDIA H100. Každá jedna takáto grafická karta pritom stojí približne 30 000 dolárov (28 000 €, pozn red.).
Dve hlavné brzdy
Ako už bolo spomenuté vyššie, pokrok v oblasti umelej inteligencie je brzdený dvoma hlavnými faktormi, a to nedostatkom pokročilých procesorov (získať 100 000 kusov NVIDIA N100 nie je zrovna jednoduché) a dostupnosťou elektrickej energie. Vážnosť týchto dvoch faktorov potvrdzuje aj Musk.
Pre lepšiu predstavu – jeden čip NVIDIA H100 spotrebuje okolo 700 W pri maximálnom vyťažení. Ak by ich na vývoj Grok 3 bolo potrebných až 100 000, hovorili by sme o spotrebe až 70 MW, a to len v tréningovej fáze. Netreba pritom zabúdať na to, že pohon umelej inteligencie si vyžaduje viac, než len grafickú kartu. Ak by sme do rovnice zahrnuli aj efektívny chladiaci systém (čipy pri práci produkujú teplo), mohli by sme rátať so spotrebou tak 100 MW. Takáto spotreba je porovnateľná s menším mestom.
V posledných rokoch boli podľa Muska problémom najmä dodávky dostatočne výkonných grafických čipov. V nasledujúcich dvoch rokoch sa to však má zmeniť – kritickými sa stanú dostatočné dodávky elektrickej energie. Stále však budú do určitej miery vývoj umelej inteligencie brzdiť obidve obmedzenia, čo predstavuje nemalý problém, keďže dopyt po novej technológií rapídne stúpa.
Pokrok ako kompenzácia
Treba však poznamenať, že pokrok v oblasti výpočtových a pamäťových architektúr umožní v nasledujúcich rokoch trénovať čoraz objemnejšie jazykové modely (LLM). Napríklad NVIDIA na konferencii GTC 2024 odhalila doposiaľ najvýkonnejšiu GPU pre umelú inteligenciu. Nesie názov NVIDIA B200 Blackwell a pýši sa skutočne nevídanými kapacitami.
Prečítajte si tiež:
- AI získava strašidelné schopnosti: OpenAI testuje model, ktorý v priebehu sekúnd zreplikuje ľudský hlas
- Nová generácia vodiacich psov nemá mäso ani kosti. Nahradiť ich môžu roboty používajúce AI
- Je Apple s AI skutočne tak pozadu, ako si myslíme? Tim Cook tvrdí, že nie
B200 Blackwell pozostáva až z 208 miliárd tranzistorov, čo je priam neuveriteľné číslo. Pre porovnanie – model Hopper H100, ktorý bol uvedený len minulý rok, používal iba 80 miliárd tranzistorov. Jensen Huang, šéf spoločnosti, tvrdí, že Blackwell je v porovnaní so súčasnými GPU dvakrát výkonnejší pri trénovaní modelov AI, 30-násobne rýchlejší a až 25-násobne úspornejší, a to ako voči elektrickej sieti, tak aj voči peňaženke. “Generatívna AI je určujúcou technológiou našej doby,” uviedol Huang s dodatkom, že Blackwell je motor, ktorý bude “túto priemyselnú revolúciu poháňať”.
