SkyRL Menambahkan Dukungan RL Vision-Language untuk Model Multimodal

Joerg Hiller 24 Apr 2026 16:33

SkyRL memperkenalkan pembelajaran penguatan vision-language, memungkinkan pelatihan yang dapat diskalakan untuk tugas-tugas multimodal. Pelajari bagaimana hal ini berdampak pada pengembangan AI.

SkyRL, sebuah library pembelajaran penguatan (RL) yang dikembangkan oleh Sky Computing Lab UC Berkeley dan Anyscale, telah mengumumkan dukungan untuk pelatihan pasca-training model vision-language (VLM). Pembaruan ini memungkinkan tim untuk melatih model multimodal menggunakan alur kerja supervised fine-tuning (SFT) dan RL, menjawab permintaan yang terus meningkat akan model yang mampu menangani data visual dan teks secara bersamaan.

Beban kerja multimodal seperti tugas computer vision, robotika, dan penalaran agentik mengharuskan model untuk memproses input visual, mengambil tindakan, dan beradaptasi berdasarkan umpan balik. Fungsionalitas baru SkyRL menjadikan VLM sebagai warga kelas satu dalam tumpukan pelatihannya, menyediakan alat untuk menskalakan pelatihan di seluruh GPU lokal atau kluster multi-node. Hal ini dibangun di atas infrastruktur SkyRL yang sudah ada, yang telah mendukung tugas-tugas agentik kompleks seperti tolok ukur rekayasa perangkat lunak dan pembuatan Text-to-SQL.

Fitur Utama Pembaruan

Salah satu tantangan utama dalam RL untuk tugas vision-language adalah menjaga konsistensi antara pelatihan dan inferensi. SkyRL mengatasi pergeseran log probabilitas—yang umum terjadi saat memproses input visual—dengan memperkenalkan pipeline yang didisagregasi. Menggunakan tumpukan inferensi vLLM sebagai sumber kebenaran, platform ini memastikan tokenisasi dan persiapan input tetap konsisten di seluruh alur kerja.

Pendekatan ini tidak hanya menstabilkan pelatihan, tetapi juga memungkinkan penskalaan independen pekerja CPU untuk pemrosesan input, memastikan throughput GPU tidak mengalami bottleneck. Pembaruan ini juga mendukung resep siap pakai untuk tugas-tugas seperti navigasi Maze2D dan Geometry-3k, sebuah dataset yang membutuhkan penalaran geometri visual. Hasil awal menunjukkan peningkatan stabilitas pelatihan bahkan pada ukuran model yang lebih besar, seperti Qwen3-VL 8B Instruct.

Implikasi bagi Pengembangan AI

SkyRL memposisikan dirinya sebagai platform utama untuk RL dan SFT yang dapat diskalakan dalam pelatihan model multimodal. Dengan mengintegrasikan alat-alat seperti Tinker API, pengguna dapat menerapkan alur kerja RL pada infrastruktur mereka sendiri, mengurangi ketergantungan pada penyedia eksternal. Hal ini sangat relevan mengingat meningkatnya kebutuhan komputasi untuk melatih model-model besar.

Kemajuan ini hadir pada saat sistem AI multimodal sangat diminati untuk aplikasi dunia nyata. Tugas-tugas yang membutuhkan pengambilan keputusan berurutan, penalaran visual, dan kemampuan adaptasi—seperti navigasi otonom dan interaksi dinamis dengan alat—akan memperoleh manfaat yang signifikan. Desain modular SkyRL juga mendukung pembuatan prototipe cepat, memungkinkan peneliti dan pengembang untuk bereksperimen dengan algoritma baru dan paradigma pelatihan.

Melihat ke Depan

Peta jalan SkyRL mencakup fitur-fitur seperti sequence packing, dukungan backend Megatron, dan pelatihan konteks panjang dengan paralelisme konteks. Peningkatan ini diharapkan dapat semakin meningkatkan kemampuannya dalam menangani beban kerja agentik yang kompleks. Bagi para pengembang yang ingin mendalami pelatihan VLM, SkyRL menawarkan tutorial dan dokumentasi untuk membantu mereka memulai.

Seiring industri AI yang semakin mengintegrasikan sistem multimodal ke dalam kasus penggunaan praktis, kemampuan untuk melatih dan melakukan fine-tune model-model tersebut secara efisien akan menjadi pembeda utama. Pembaruan terbaru SkyRL mencerminkan komitmennya untuk tetap berada di garis terdepan evolusi ini, menyediakan kerangka kerja yang dapat diskalakan dan modular untuk penelitian dan penerapan RL mutakhir.

• skyrl
• pembelajaran penguatan
• model vision-language
• pelatihan ai