Kinų dirbtinio intelekto kūrėjas Z.ai Co. šį rytą oficialiai pristatė naująją GLM‑5.3 versiją – atviro kodo didelio masto kalbos modelį, kuris jau iš karto išsiskiria įspūdingais rezultatais tiek programavimo, tiek kibernetinio saugumo tyrimų srityse. Modelis remiasi ankstesniu GLM‑5.2 algoritmu, išleistu birželio viduryje, tačiau per pastarąsias savaites buvo pritaikytas išsamus po‑mokymo procesas, leidžiantis pasiekti reikšmingą našumo šuolį.
Architektūra ir parametrų mastas
GLM‑5.3 išlaiko tą patį „mixture of experts“ (ekspertų mišinio) architektūros pagrindą, kaip ir GLM‑5.2, tačiau šį kartą modelis turi 753 mlrd. parametrų ir milžinišką kontekstinį langą – iki 1 milijono žetonų. Tokia apimtis leidžia modeliui išlaikyti ilgalaikį kontekstą, kas ypač svarbu atliekant sudėtingas kodavimo užduotis, kurios gali trukti kelias dienas.
Ilgalaikio kodavimo patobulinimai
Z.ai po‑mokymo etape sukūrė specialiai programuotojų darbo vietas imituojančias smėlio dėžutes (sandbox). Šiose aplinkose modelis buvo skatinamas atlikti sudėtingas programavimo užduotis, kai kai kurios pratimų trukmė siekė net kelias dienas. Tokios „ilgo horizonto“ užduotys padėjo GLM‑5.3 išmokti nuosekliai planuoti ir įgyvendinti didelius kodų fragmentus, o ne tik trumpus fragmentus. Be to, smėlio dėžutes generavo AI agentai, kurie modeliuodavo realaus pasaulio programų struktūras ir sukūrė individualiai pritaikytas programavimo užduotis. Kiekvieną užduotį prieš pateikimą modelio apdorojimui patikrinė „judge agent“, užtikrinantis, kad užduotis yra įgyvendinama.
Kibernetinio saugumo tyrimai
GLM‑5.3 ne tik išsiskiria kodavimo srityje, bet ir demonstruoja stiprius rezultatus kibernetinio saugumo tyrimuose. Modelis pasiekė aukščiausią rezultatą tarp atviro kodo AI modelių „Terminal Bench 3.0“ – testas, matuojantis LLM gebėjimą rašyti komandų eilutės skriptus. Kodo saugumo srityje GLM‑5.3 viršijo „Claude Mythos 5“ „CyberGym“ benchmarke, kuris vertina modelio sugebėjimą aptikti programų pažeidžiamumus. Nors modelis liko šiek tiek už „Anthropic“ vėliausio LLM kai kuriuose kitų kibernetinio saugumo benchmarkuose, jis vis tiek įrodė, kad gali rasti didelį skaičių pažeidžiamų vietų.
Z.ai teigia, kad iki šiol GLM‑5.3 aptiko daugiau nei 2 400 pažeidžiamumų 269 programų projektuose, iš kurių maždaug pusė turi vidutinio ar aukštesnio sunkumo įvertinimą. Vienas iš rastių pažeidžiamų kodų fragmentų buvo parašytas prieš 40 metų, kas rodo modelio gebėjimą analizuoti senus ir retus kodų bazes.
Mokymo infrastruktūra ir prieinamumas
Modelio mokymo procesą palengvino du atviro kodo įrankiai – „slime“ ir „SAO“. „Slime“ supaprastina LLM perkėlimą iš mokymo aplinkos į gamybos inferencijos infrastruktūrą, o „SAO“ – asinchroninio sustiprinimo mokymosi metodą – pagreitina mokymo ciklus. Be to, Z.ai sukūrė automatizuotą duomenų srautą, generuojantį atlygį (reward signal), kuris veikia kaip grįžtamasis ryšys modelio mokymui, padedantis nuolat tobulinti išvestį.
GLM‑5.3 šiuo metu prieinamas per Z.ai „GLM Coding Plan“ prenumeratos paslaugą. Įmonė planuoja per dvi savaites išleisti modelio svorius „Hugging Face“ platformoje, suteikdama bendruomenei galimybę naudoti ir toliau tobulinti šį didelio masto kalbos modelį.
Išvados
Z.ai GLM‑5.3 yra svarbus žingsnis į priekį tiek dirbtinio intelekto programavimo, tiek kibernetinio saugumo srityse. Didžiulis parametrų skaičius, milžiniškas kontekstinis langas ir išsamus po‑mokymo procesas suteikia modeliui galimybę spręsti sudėtingas, ilgalaikes užduotis, tuo pačiu aptikti ir analizuoti programų pažeidžiamumus. Atviro kodo licencija ir greitas svorių išleidimas dar labiau skatina bendradarbiavimą ir inovacijas technologijų bendruomenėje.
—
CTA: Jei norite sužinoti, kaip GLM‑5.3 gali padėti jūsų organizacijai stiprinti kibernetinį saugumą ar automatizuoti programavimo procesus, susisiekite su Krikis IT specialistais.
Jei norite sužinoti, kaip GLM‑5.3 gali padėti jūsų organizacijai stiprinti kibernetinį saugumą ar automatizuoti programavimo procesus, susisiekite su Krikis IT specialistais.
