Generatívny model ChatGPT od spoločnosti OpenAI je azda najobľúbenejšou umelou inteligenciou (AI) na svete. Za posledné roky sa dočkal viacerých prínosných inovácií, vďaka ktorým sa stáva čoraz užitočnejším pre širšiu diaspóru ľudí. No žiaľ, globálna popularita neznamená nulové komplikácie. V mnohých prípadoch práveže platí presný opak. A ChatGPT rozhodne nie je výnimkou.
Ako píše server TechSpot, OpenAI už dlhšiu dobu pracuje na novej generácii svojho modelu, menovite ChatGPT-5. Tento projekt sa však ukazuje byť celkom problematický. Vydanie novej verzie nielenže mešká, spoločnosť taktiež stojí ohromné množstvo peňazí.
Ešte v marci sa objavili informácie, že ChatGPT-5, ktorá má byť zásadne inteligentnejší a obecne schopnejší ako ChatGPT-4, vstúpil do štádia trénovania a pripravuje sa na debut v blízkej dobe. Rok 2024 sa však pomaly chýli ku koncu, pričom aktualizáciu stále nevidno.
Denník The Wall Street Journal ozrejmil, že GPT-5 sa označuje aj ako Project Orion. V štádiu tréningu má byť už bezmála 18 mesiacov. Dokonca aj Microsoft, najväčší investor OpenAI, očakával, že nová generácia bude vydaná približne v polovici tohto roka.
Príliš dlhý tréning
Podľa zdrojov denníka mala spoločnosť vykonať už minimálne dva tréningové cykly, ktoré cielili na zlepšenie kapacít modelu prostredníctvom tréningu na obrovskom množstve dát. Výsledky týchto cyklov však údajne nepriniesli požadované výsledky.
Zistilo sa, že aby model dosiahol také kapacity, aké mu boli prednastavené, potrebuje pestrejšie a kvalitnejšie tréningové dáta. A to je problém. Získať takéto dáta je extrémne náročné nielen z hľadiska času, ale aj z hľadiska peňazí. Finančnú záťaž potom predstavuje aj príliš dlhé trénovanie. Tento proces je potrebné adekvátne financovať, pričom čím dlhšie trvá, tým viac peňazí stojí.
OpenAI skúma a skúša rôzne spôsoby, ako dosiahnuť žiadané výsledky, vrátane najímania ľudí na vytváranie nových tréningových dát, čo má zahŕňať písanie kódu či riešenie matematických problémov. Tento prístup však bol už v minulosti označený za relatívne problematický, nakoľko trénovanie AI modelu na umelo vytvorených dátach môže viesť k nekvalitným, resp. nepresným výstupom. Strojca modelu však verí, že tieto riziká sa dajú obísť použitím dát vytvorených modelom o1.
AI zápasí s časom
Ďalšou komplikáciou je (opäť) čas – takýto prístup je veľmi pomalý. Pre porovnanie, GPT-4 bol trénovaný na približne 13-biliónoch tokenov. Pokiaľ by aj tisíc ľudí denne dokázalo napísať 5-tisíc slov, len tvorba jednej miliardy tokenov by zabrala celé mesiace.
A to stále nie je všetko. Proces spomalilo aj krátke odvolanie Sama Altmana, generálneho riaditeľa OpenAI, ku ktorému došlo koncom minulého roka. Do funkcie sa mu síce podarilo relatívne rýchlo vrátiť, no spoločnosť následne opustilo viac ako 20 kľúčových zamestnancov.
Nateraz nie je isté, kedy ChatGPT-5 debutuje, ani ako veľmi bude schopný. OpenAI zápasí s časom. Potrebuje kvalitnejšie dáta, no ich získanie jednoducho trvá. A ako sme spomenuli, čím je príprava dlhšia, tým je aj nákladnejšia.
