30/09/2026 · VietTechies · Biên tập
NVIDIA VSS Blueprint 3.3 mang đến hai thay đổi nhằm giảm chi phí xây dựng và vận hành AI Agent thị giác: kỹ năng Build Vision Agent, có thể kết hợp các quy trình video từ những thành phần có sẵn, và Adaptive Efficient Video Sampling (EVS), giúp giảm số token hình ảnh gửi đến mô hình ngôn ngữ-thị giác (VLM). NVIDIA cho biết bản cập nhật có thể cắt giảm 80% token đầu vào của VLM khi tóm tắt video dài 60 phút, đồng thời tăng 46% số luồng đồng thời trên cùng một GPU.
Tạo kế hoạch triển khai từ một câu lệnh
Kỹ năng mới vss-build-vision-ai tiếp nhận mô tả bằng ngôn ngữ tự nhiên rồi ánh xạ yêu cầu đó vào các quy trình VSS, microservice và cấu hình tương ứng. Quy trình bắt đầu từ một trong bốn hồ sơ nhà phát triển đã được kiểm chứng; hồ sơ được chọn làm điểm xuất phát được gọi là Foundation. Sau đó, kỹ năng tính toán phần thay đổi nhỏ nhất cần thiết thay vì dựng lại toàn bộ hệ thống. Những dịch vụ dùng chung như Kafka, Redis, Elasticsearch và Video IO and Storage (VIOS) có thể được tái sử dụng khi nhiều quy trình cùng cần đến chúng.
Kỹ năng tạo các tệp triển khai, hiển thị sơ đồ kiến trúc để xem xét, rồi thực hiện xác thực, triển khai và kiểm tra mức độ sẵn sàng. Nó cũng có thể mở rộng một hệ thống đang tồn tại thông qua một phần thay đổi nhỏ hơn. NVIDIA cho biết một agent mẫu dành cho dây chuyền đóng chai nước cam, kết hợp tiếp nhận hình ảnh từ camera, cảnh báo, tìm kiếm đoạn video và báo cáo theo ca, đã đạt trạng thái triển khai có thể xem trước trong chưa đầy 30 phút trên máy chủ RTX PRO 6000 Blackwell dùng hai GPU.
Bỏ qua những phần video không thay đổi
Adaptive EVS hoạt động bên trong microservice VLM thời gian thực. Tính năng này so sánh các vùng nhỏ của khung hình với khung hình trước đó, loại bỏ những vùng không thay đổi và gom việc xử lý quanh các giai đoạn có hoạt động. Cách làm này hướng tới các tác vụ như xác minh cảnh báo, tạo chú thích dày đặc và tóm tắt video dài, nơi việc liên tục gửi các vùng tĩnh đến VLM có thể tiêu tốn đáng kể thời gian GPU và token.
Trong thử nghiệm do NVIDIA báo cáo trên NVIDIA RTX PRO 6000 Blackwell với Cosmos 3 Super FP8, Adaptive EVS giảm độ trễ bổ sung ngữ cảnh cho cảnh báo từ 1.021 mili giây xuống 844 mili giây, đồng thời tăng số luồng VLM thời gian thực đồng thời từ 13 lên 19. NVIDIA cũng cho biết một video dài 60 phút được tóm tắt trong khoảng một nửa thời gian, với số token đầu vào của VLM giảm 80%.
Vẫn cần đo kiểm theo dữ liệu thực tế
Mức cải thiện được báo cáo phụ thuộc vào chuyển động trong cảnh, độ dài đoạn video và ngưỡng tương đồng. Adaptive EVS là tùy chọn; tính năng này đem lại ít lợi ích hơn khi chỉ vài khung hình tạo ra phần trả lời dài, và chạy trong container RT-VLM thay vì làm việc với các endpoint từ xa. NVIDIA khuyến nghị đo độ chính xác, thông lượng và độ trễ trên những đoạn video tiêu biểu trước khi chọn cấu hình cho môi trường sản xuất.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.
Nguồn: Lower the Cost of Building and Running Visual AI Agents with NVIDIA VSS Blueprint 3.3