NVIDIA plečia dirbtinio intelekto galimybes už duomenų centro ribų, suteikdama kūrėjams priemones, kurios leidžia greitai kurti, testuoti ir diegti modelius įterptinėse sistemose. Pagrindinis įrankis – NVIDIA TensorRT Edge‑LLM, lengvas C++ inferencijos variklis, skirtas įterptinėms darbo apkrovoms. Jis veikia tiek NVIDIA DGX Spark, tiek kitose platformose, tokiose kaip Jetson Thor, DRIVE AGX Thor ir IGX Thor. Šiame straipsnyje apžvelgsime, kaip kelios paprastos komandos leidžia paleisti tekstinį modelį Nemotron‑3.5 Lightning tiesiai iš terminalo ir kaip galima paspartinti generavimą naudojant DSpark spekuliatyvų dekodavimą.
NVIDIA DGX Spark kaip prototipų platforma
DGX Spark su 64 GB atminties konfigūracija suteikia įterptinių įrenginių kūrėjams galimybę prototipuoti, smulkiąją derinimą ir testavimą vienoje aplinkoje. Platforma palaiko NVIDIA CUDA 13, TensorRT 10.16.1.11 (ar naujesnę) ir Python 3.10‑3.12. Ši programinės įrangos kombinacija užtikrina, kad TensorRT Edge‑LLM veiktų stabiliai ir galėtų išnaudoti visą aparatūros potencialą.
Pradžia su trtedge CLI
Paleisti modelį galima per trtedge komandų eilutės įrankį (CLI). Pirmiausia atidarome terminalą ant DGX Spark, sukuriame ir aktyvuojame virtualią aplinką, po to įdiegiame TensorRT Edge‑LLM paketą. Virtuali aplinka leidžia izoliuoti naujai įdiegtus paketus, tačiau suteikia prieigą prie visų sistemos Python paketų, įskaitant TensorRT.
„bash python -m venv .venv source .venv/bin/activate pip install tensorrt-edgellm „
Po įdiegimo patikriname, ar TensorRT Edge‑LLM runtime sėkmingai įkeliamas. Jei trūksta suderinamų TensorRT ryšių, reikia vadovautis NVIDIA TensorRT pip diegimo instrukcijomis ir įdiegti tinkamą 10.x versiją.
Modelio atsisiuntimas ir pirmas paleidimas
Su aktyvią virtualią aplinką paleidžiame pokalbį su Nemotron‑3.5 Lightning:
„bash trtedge chat nemotron-3.5-lightning „
Pirmasis paleidimas trunka ilgiau, nes modelis (apie 21 GB) atsisiunčiamas ir TensorRT variklis (engine) sukuriamas. Failai saugomi ~/.cache/tensorrt-edgellm kataloge, todėl reikia užtikrinti pakankamą vietą diske. Vėlesnių paleidimų metu naudojami jau sukurtų variklių talpyklos duomenys, todėl procesas tampa beveik momentinis.
API serverio paleidimas prototipų kūrimui
Norint integruoti modelį į programą, galima paleisti vietinį OpenAI‑suderinamą API serverį:
„bash trtedge serve nemotron-3.5-lightning --port 8000 „
Serveris sukuria arba pakartotinai naudoja variklį, o po starto išvedamas JSON atsakymas su "status":"ready". Kita terminalo sesija gali siųsti užklausas į http://localhost:8000/v1/chat/completions. Atsakymai grąžinami kaip srautiniai JSON įvykiai, leidžiantys realiu laiku stebėti generavimą.
DSpark spekuliatyvus dekodavimas – greitesnis generavimas
TensorRT Edge‑LLM palaiko DSpark spekuliatyvų dekodavimą, kuris naudoja „draft“ modelį, kad pasiūlytų kelis tokenus pagrindiniam modeliui patikrinti vienu kartu. Įjungti šią funkciją reikia sustabdyti serverį (Ctrl+C) ir paleisti jį su papildomu parametru, nurodančiu, kiek „draft“ tokenų naudoti, pvz., trys:
„bash trtedge serve nemotron-3.5-lightning --dspark 3 „
Įjungus DSpark, matuojami duomenys rodo, kad laikas iki pirmojo tokeno (TTFT) ir bendras tokenų generavimo greitis gerokai pagerėja. Testavimas DGX Spark 64 GB su DSpark rodo, kad maksimalus sistemos atminties naudojimas yra 27.9 GB, įskaitant operacinę sistemą. Tai rodo, kad net su papildoma spekuliatyvia logika įrenginys išlieka gerai subalansuotas atminties ir našumo atžvilgiu.
Praktiniai patarimai ir išvados
- Talpykla – naudokite numatytąjį
~/.cache/tensorrt-edgellmkatalogą, kad išvengtumėte pakartotinių atsisiuntimų. - Versijos – įsitikinkite, kad CUDA, TensorRT ir Python versijos atitinka reikalavimus; nesuderinamumas gali sukelti runtime klaidas.
- DSpark konfigūracija – eksperimentuokite su
num_speculative_tokensir kitais parametrais, kad rastumėte optimalų greitį konkrečiam darbo krūviui. - Įrenginių įvairovė – TensorRT Edge‑LLM veikia ne tik DGX Spark, bet ir Jetson, DRIVE ir IGX serijose, todėl kūrėjai gali perkelti prototipą į realius krašto įrenginius be didelių pakeitimų.
Apibendrinant, NVIDIA TensorRT Edge‑LLM suteikia paprastą, bet galingą priemonę AI modelių paleidimui krašto įrenginiuose. Kelios komandos leidžia greitai atsisiųsti, sukurti inferencijos variklį, paleisti interaktyvų pokalbį ir net pasiekti API serverį, o DSpark spekuliatyvus dekodavimas suteikia papildomą našumo pranašumą. Ši technologija atveria kelią naujai kartai įterptinių AI sprendimų, nuo vairuotojo dėmesio stebėjimo iki robotų aplinkos suvokimo ir gamybos linijų koordinavimo.
