SkyRL lisab toetuse nägemus-keeltele tugevdusõppele multimodaalsete mudelite jaoks

Joerg Hiller 24. aprill 2026, 16:33

SkyRL tutvustab nägemus-keelte tugevdusõpet (vision-language reinforcement learning), võimaldades skaalatavat õppimist multimodaalsete ülesannete jaoks. Selgitame, kuidas see mõjutab AI arengut.

SkyRL on tugevdusõppe (RL) teek, mille on välja töötanud UC Berkeley Sky Computing Lab ja Anyscale. Teek on kuulutanud välja toetuse nägemus-keelemudelite (VLM) järgõppimisele. See värskendus võimaldab meeskondadel õppida multimodaalseid mudeleid järeleõppe (SFT) ja tugevdusõppe (RL) töövoogude abil, vastates kasvavale nõudlusele mudelite järele, mis suudavad samaaegselt töödelda visuaalset ja tekstilist andmestikku.

Multimodaalsed töökoormused, nagu arvutinägemise ülesanded, robotitehnika ja agentide põhjendamine, nõuavad mudelitelt visuaalsete sisendite töötlemist, tegevuste sooritamist ja tagasiside põhjal kohandumist. SkyRL uus funktsionaalsus muudab VLM-id oma õppimisstacki täisväärtuslikuks osaks ning pakub tööriistu, et skaleerida õppimist kohalike GPU-de või mitmesõlmelistes klasterites. See rajaneb SkyRL olemasoleval infrastruktuuril, mis toetab juba keerukaid agentide ülesandeid, näiteks tarkvararenduse võrdlusülesandeid ja tekstist SQL-i genereerimist.

Värskenduse peamised omadused

Üheks põhiline probleemiks tugevdusõppes nägemus-keeleülesannete puhul on õppimise ja järeldamise (inference) vahelise kooskõla säilitamine. SkyRL lahendab log-tõenäosuse nihe (log probability drift) – mida sageli esineb visuaalsete sisendite töötlemisel – sissejuhtides eraldatud töövoogu. Kasutades vLLM järeldamisstacki kui tõe allikat, tagab platvorm tokeniseerimise ja sisendi ettevalmistamise ühtlaseks kogu töövoogudes.

See lähenemisviis ei ainult stabiilisemaks õppimist muuda, vaid võimaldab ka CPU töötajate sõltumatut skaalatavust sisendi töötlemiseks, tagades, et GPU läbilaskevõime ei muutu kitsaskohaks. Värskendus toetab ka valmislahendusi ülesannete jaoks nagu Maze2D navigatsioon ja Geometry-3k – andmestik, mis nõuab visuaalset geomeetrilist põhjendamist. Esialgsed tulemused näitavad parandatud õppimisstabiilsust isegi suuremate mudelite puhul, näiteks Qwen3-VL 8B Instruct.

Mõju AI arengule

SkyRL asub positsioonile kui esiklassiline platvorm skaalatava tugevdusõppe ja SFT jaoks multimodaalsete mudelite õppimisel. Tööriistade, näiteks Tinker API, integreerimisega saavad kasutajad tugevdusõppe töövoogusid käivitada oma infrastruktuuril, vähendades sõltuvust väliste pakkujate suhtes. See on eriti oluline, kuna suurte mudelite õppimise arvutuslikud nõudmised kasvavad pidevalt.

Need edusammud ilmuvad ajal, mil multimodaalsed AI-süsteemid on väga nõutud reaalmaailma rakendustes. Ülesanded, mis nõuavad järjestikust otsustamist, visuaalset põhjendamist ja kohanduvust – näiteks autonoomne navigatsioon ja dünaamiline interaktsioon tööriistadega – saavad oluliselt kasu. SkyRL modulaarne disain toetab ka kiiret prototüübimist, võimaldades teadlastel ja arendajatel eksperimenteerida uute algoritmide ja õppimisparadigmadega.

Tulevikuväljavaated

SkyRL tegevuskavas on funktsioonid nagu järjestuste pakkimine (sequence packing), Megatron taustsüsteemi toetus ja pikkade kontekstide õppimine konteksti paralleelsusega. Oodatakse, et need täiendused suurendavad veelgi SkyRL võimet käsitleda keerukaid agentide töökoormusi. Arendajad, kes soovivad süveneda VLM-õppimisse, leiavad SkyRL-is õppematerjale ja dokumentatsiooni, mis aitavad neil alustada.

Nii nagu AI-tööstus järjest rohkem integreerib multimodaalsed süsteemid praktikas, muutub selliste mudelite tõhus õppimine ja järeleõppimine oluliseks eristusmärgiks. SkyRL viimane värskendus peegeldab selle pühendumust jääda selle arengu eesliinil, pakkudes skaalatavat ja modulaarset raamistikku tipptasemel tugevdusõppe teadusuuringute ja kasutuselevõtu jaoks.

• skyrl
• tugevdusõpe
• nägemus-keelemudelid
• AI õppimine