21/09/2026 · VietTechies · Biên tập
SGLang v0.5.20, phát hành ngày 18/9/2026, mở rộng framework phục vụ LLM với sampling mask có thể phát lại, trình mô phỏng chỉ dùng CPU, cơ chế unified prefix caching và các image mới cho bộ tăng tốc. Bản phát hành này hợp nhất 713 pull request từ 237 người đóng góp, đồng thời loại bỏ một số đường dẫn runtime và triển khai cũ.
Phát lại các lượt chạy RL
Tùy chọn mới return_sampling_mask ghi lại chính xác tập token khả dụng ở mỗi bước giải mã cùng log-probability của token được lấy mẫu. Nhờ đó, hệ thống huấn luyện có thể phát lại các lượt chạy reinforcement learning mà không phải tái dựng quyết định top-k hoặc top-p. Sampling mask hiện hoạt động với overlap scheduling và DisallowedTokensLogitsProcessor; sức chứa mặc định là 4.096 token và có thể thay đổi bằng –sampling-mask-max-tokens.
Theo số liệu Qwen3-8B do SGLang công bố, phiên bản triển khai overlap tăng thông lượng giải mã 17% ở batch size 1 và 52% ở batch size 64 so với cách triển khai mask trước đây. Đây là số liệu benchmark của dự án, không phải kết quả kiểm thử độc lập.
Thay đổi về bộ nhớ đệm và mô phỏng
Một unified radix tree nay duy trì trạng thái sliding-window attention tại điểm các request tách ra từ cùng một prefix. Trong thử nghiệm DeepSeek-V4-Flash của dự án với system prompt dùng chung, tỷ lệ token được lấy từ cache tăng từ 43,8% lên 60,8%, còn thời gian trung bình đến token đầu tiên giảm từ 1,57 giây xuống 1,07 giây. Linker bên ngoài là tùy chọn, cho phép kết nối cây với bộ nhớ dùng chung thông qua Mooncake hoặc UMBP.
Bản phát hành cũng giới thiệu SGLang Simulator. Công cụ này chạy scheduler, radix cache và hierarchical cache thực tế trên CPU, đồng thời thay phần thực thi mô hình bằng một bộ dự đoán độ trễ. SGLang cho biết dự đoán thời gian đến token đầu tiên có sai lệch khoảng 6% ở phần lớn trace được đo, tăng lên 10% với các trace dài nhất, từ 32K đến 128K token. Nhờ đó, người dùng có thể nghiên cứu cache và scheduling mà không cần GPU.
Cải thiện theo phần cứng
Việc tải mô hình trên ROCm nhận được tối ưu hóa lớn nhờ chia nhỏ và trung chuyển các lần sao chép dữ liệu lớn, có thể phân trang, từ host sang device. Theo số liệu phát hành, GLM-5.2 ở tensor parallelism 4 tải trên bốn GPU MI355X trong 40,4 giây, giảm từ 505,7 giây. Người dùng Intel XPU nay nhận được Docker image có phiên bản trong mỗi bản phát hành được gắn thẻ, cùng các image ROCm 10, gfx1151 và Moore Threads MUSA mới.
DeepSeek-V4 cũng nhận được các kernel attention của TRT-LLM cho phần cứng Blackwell SM100 và SM103. SGLang báo cáo prefill nhanh hơn khoảng 1,2 lần và decode nhanh hơn 1,45 lần so với FlashMLA ở cấp kernel trên B200. Các thay đổi bật tùy chọn riêng cũng tăng tốc DeepSeek-V4-Flash trên bốn GPU RTX PRO 6000; trong thử nghiệm của dự án, TPOT khi decode ở batch size 1 giảm từ 36,1 mili giây xuống 10,5 mili giây.
Các thay đổi triển khai cần lưu ý
Việc lưu trữ cho Responses API nay bị tắt mặc định, trừ khi server được khởi động với –enable-response-store. Nếu không có cờ này, thao tác lấy lại kết quả, liên kết bằng previous_response_id và các request chạy nền sẽ trả về HTTP 400; các triển khai prefill-decode không thể bật cơ chế lưu trữ. Runtime context-parallel cho prefill nguyên bản cùng các tùy chọn dòng lệnh liên quan cũng đã bị loại bỏ, trong khi đường dẫn thay thế hiện từ chối HIP, NPU và MUSA. Wheel và image CUDA 12 kết thúc ở v0.5.19, còn các artifact ROCm 7.0 đã được ngừng phát hành.
Ảnh minh họa do AI tạo.
Nguồn: SGLang — v0.5.20