09/10/2026 · VietTechies · Biên tập
NVIDIA vừa công bố các tối ưu hóa nhận biết phiên trong bộ công cụ phục vụ (serving stack) Dynamo nhằm giải quyết các điểm nghẽn hiệu năng trên những khối lượng công việc đa lượt của AI Agent. Khác với các chatbot đơn lượt truyền thống, các AI Agent tự hành và trợ lý lập trình thường tạo ra câu lệnh dài, khởi chạy đồng thời nhiều subagent và tạm dừng trong lúc gọi công cụ mà vẫn duy trì ngữ cảnh trong bộ nhớ. Dynamo xử lý đặc thù lưu lượng này bằng cách chuyển từ cơ chế đánh giá từng yêu cầu riêng lẻ sang quản lý theo từng phiên hoạt động.
Theo dõi tiến trình hoạt động của agent bằng mã định danh phiên
Trọng tâm của bản cập nhật này là mã định danh cấp phiên hợp nhất, hỗ trợ theo dõi toàn bộ chuỗi suy luận và tiến trình chạy công cụ của AI Agent qua nhiều lượt gọi LLM. Mã định danh phiên cha cho phép liên kết tác vụ chính của agent với các subagent con. Dynamo hỗ trợ sẵn việc ánh xạ các tiêu đề định danh từ những công cụ lập trình như Claude Code, Codex và OpenCode, đồng thời cung cấp bộ cắm (plugin) cho các framework như Pi, Hermes và OpenClaw. Các bộ khung kiểm thử agent tùy chỉnh có thể dễ dàng tham gia hệ thống bằng cách sử dụng các tiêu đề HTTP chuẩn mà không cần sửa đổi API cấp dưới.
Lập lịch phiên và kiểm soát áp lực tại ranh giới thực thi công cụ
Các bộ định tuyến suy luận thông thường xử lý từng yêu cầu theo từng lượt độc lập, dễ dẫn đến hiện tượng tráo đổi dữ liệu đệm liên tục (cache thrashing) khi nhiều phiên đang hoạt động làm quá tải bộ nhớ băng thông cao (HBM) của GPU trong thời gian gọi công cụ bên ngoài máy chủ. Dynamo tích hợp một bộ lập lịch viết bằng Rust dựa trên nghiên cứu ThunderAgent để nhóm các yêu cầu theo trạng thái phiên. Khi mức sử dụng bộ nhớ đạt ngưỡng cao, bộ lập lịch sẽ tạm hoãn các phiên đang hoạt động tại đúng ranh giới thực thi công cụ thay vì ngắt quãng các lượt giải mã trực tiếp, sau đó khôi phục lại các phiên nhỏ hơn khi dung lượng bộ nhớ trống trở lại.
Khả năng nhận biết đệm chia sẻ và kết quả đo hiệu năng
Để hỗ trợ môi trường bộ nhớ đa tầng, Dynamo bổ sung một bộ đánh chỉ số hồ chứa chia sẻ (shared-pool indexer) dạng thử nghiệm, kết hợp luồng sự kiện từ bộ lưu trữ Mooncake cùng với FlashIndexer. Thiết kế này giúp bộ định tuyến tính toán các khối bộ nhớ đệm KV đã đẩy sang hệ thống lưu trữ ngoài vào quyết định điều phối mà không tính trùng dung lượng bộ nhớ GPU nội cục. Theo NVIDIA, các bài đo hiệu năng trên SWE-bench với các bản sao MiniMax-M2 ghi nhận mức tăng trưởng hiệu năng từ 12% đến 16% so với định tuyến KV truyền thống. Trong các đợt triển khai dần học tăng cường cho agentic AI với mô hình Qwen3-Coder-30B-A3B-Instruct, bộ lập lịch nhận biết phiên duy trì tỷ lệ trúng bộ nhớ đệm tiền tố trên 94.5% và duy trì khả năng mở rộng tốt ngay cả dưới tải đồng thời cao.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.