02/10/2026 · VietTechies · Biên tập
NVIDIA vừa giới thiệu Do Inference Now (DIN) Deploy, một kho lưu trữ mã nguồn mở chứa các mã mẫu C++ được thiết kế nhằm hỗ trợ các nhà phát triển xây dựng ứng dụng AI cục bộ tăng tốc phần cứng trên Windows và Linux. Dự án này kết hợp ONNX Runtime với nhà cung cấp thực thi NVIDIA TensorRT RTX, cho phép các ứng dụng mã nguồn gốc chạy suy luận mô hình tốc độ cao thông qua giao diện API ONNX Runtime tiêu chuẩn hoặc WinML 2.0.
Tách biệt xuất mô hình khỏi logic thực thi gốc
DIN Deploy tách biệt quá trình chuyển đổi mô hình khỏi mã nguồn ứng dụng bằng cách sử dụng tập lệnh Python để tải các bản đóng gói (checkpoint) từ Hugging Face và xuất chúng thành định dạng ONNX. Phía ứng dụng phụ thuộc vào giao diện dòng lệnh C++ gốc được xây dựng trực tiếp trên các API session và tensor của ONNX Runtime. Các phần mở rộng dành riêng cho nhà cung cấp, chẳng hạn như API CUDA hoặc kernel tùy chỉnh, được cô lập trong các luồng thực thi tùy chọn, giúp logic ứng dụng chính luôn sạch sẽ và dễ dàng di chuyển giữa các phần cứng hỗ trợ.
Để quản lý vị trí dữ liệu hiệu quả mà không cần gọi trực tiếp các API nhà cung cấp, các mã mẫu này sử dụng API copy tensor của ONNX Runtime. Đối với các tác vụ yêu cầu xử lý hình ảnh chuyên biệt như mẫu FLUX.2, kho lưu trữ tận dụng khả năng tương tác đồ họa của ONNX Runtime 1.25 cùng với shader Vulkan và DirectX để xử lý trực tiếp các tài nguyên nằm trên GPU.
Các khối lượng công việc và quy trình mô hình hỗ trợ
Bộ mã mẫu này đáp ứng nhiều tác vụ thực tế về thị giác máy tính, nhận dạng giọng nói và AI tạo sinh. Các mẫu nhận dạng giọng nói tự động bao gồm OpenAI Whisper phục vụ chuyển đổi âm thanh ngoại tuyến, cùng với NVIDIA Parakeet TDT và NVIDIA Nemotron ASR Streaming dành cho các quy trình xử lý âm thanh phát trực tiếp theo thời gian thực.
Trong lĩnh vực thị giác máy tính, mẫu Meta SAM 2.1 cung cấp khả năng phân đoạn hình ảnh và video tương tác nhằm tạo mặt nạ phục vụ theo dõi và lựa chọn đối tượng. Đối với tác vụ tạo hình ảnh, mẫu FLUX.2-klein-4B minh họa khả năng tạo hình ảnh từ văn bản. Nó cho thấy cách các mô hình được lượng hóa bằng NVIDIA Model Optimizer có thể thay thế trực tiếp mà vẫn giữ nguyên giao diện ONNX mà không cần cập nhật mã nguồn ứng dụng.
Môi trường biên dịch và hạn chế nền tảng
DIN Deploy đi kèm các cấu hình CMake sẵn có giúp tự động tải các phụ thuộc ONNX Runtime và TensorRT RTX trong quá trình biên dịch. Các kiến trúc mục tiêu được hỗ trợ bao gồm x86-64 và Arm64 trên cả môi trường Linux và Windows.
Một số tính năng vẫn bị giới hạn bởi khả năng của từng nền tảng. Mặc dù tương tác đồ họa Vulkan hoạt động đa nền tảng, việc tích hợp DirectX chỉ giới hạn trên hệ điều hành Windows. Ngoài ra, dù các kỹ thuật lượng hóa phụ thuộc vào phần cứng mục tiêu cụ thể, cấu trúc thiết lập thực thi ONNX vẫn duy trì sự đồng nhất trên toàn bộ hệ thống triển khai.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.
Nguồn: Build Local AI Apps with C++ and NVIDIA TensorRT RTX Samples