02/10/2026 · VietTechies · Biên tập
Các mô hình ngôn ngữ lớn (LLM) tạo sinh thường được tối ưu hóa cho việc tạo văn bản tự nhiên, điều này có thể gây ra độ trễ khi áp dụng vào các tác vụ trung gian như kiểm tra giao dịch tài chính theo thời gian thực. Để giải quyết vấn đề này, các kỹ thuật phân loại chuyên biệt đã sửa đổi quy trình của LLM nhằm bỏ qua hoàn toàn giai đoạn tạo văn bản. Thay vì đưa ra câu trả lời dạng trò chuyện, các mô hình chỉnh sửa này đánh giá các truy vấn có cấu trúc trong một kỳ xử lý song song duy nhất và xuất trực tiếp xác suất phân loại. Trong bài viết trên blog Ubuntu ngày 30 tháng 9 năm 2026, Rob Gibbon đã chi tiết cách các nhà phát triển có thể tận dụng các công cụ MLOps mã nguồn mở để vận hành mô hình phân loại trọng số mở nhằm phát hiện gian lận theo thời gian thực.
Tối ưu hóa mô hình LoRA với kỹ thuật lượng hóa AWQ
Triển khai các mô hình trọng số mở tại địa phương—chẳng hạn như system-one-qwen3.5-4b-scorer—yêu cầu quá trình tối ưu hóa để tránh tiêu tốn quá nhiều bộ nhớ. Quy trình làm việc này hợp nhất trực tiếp các trọng số Adaption Hạng Thấp (LoRA) vào mô hình nền tảng nhằm loại bỏ chi phí vận hành khi phải chạy song song hai đường dẫn mô hình.
Để giảm thêm nhu cầu tài nguyên, kỹ thuật Lượng hóa Trọng số Nhận biết Kích hoạt (AWQ) được áp dụng. Phương pháp lượng hóa 4-bit sau huấn luyện này nén dung lượng bộ nhớ của mô hình từ khoảng 18GB xuống còn khoảng 5GB mà hầu như không ảnh hưởng đến độ chính xác. Dù AWQ thường được tối ưu hóa cho tăng tốc GPU, các phần tử đã lượng hóa vẫn có thể vận hành trên kiến trúc CPU tiêu chuẩn cho các cấu hình phát triển tại địa phương.
Triển khai tải công việc suy luận với KServe và vLLM
Môi trường vận hành dựa trên các công cụ MLOps mã nguồn mở của Canonical, cụ thể là triển khai KServe trên cụm MicroK8s Kubernetes được cấu hình thông qua Juju và Terraform. KServe đóng vai trò là tầng điều khiển để quản lý các pod suy luận trong môi trường sản xuất.
Việc phục vụ mô hình được xử lý bởi vLLM. Sau khi được triển khai trong cụm Kubernetes, vLLM sẽ tải các phần tử mô hình đã lượng hóa vào bộ nhớ và cung cấp các điểm cuối API để xử lý các yêu cầu suy luận có cấu trúc.
Phân loại rủi ro gian lận trong một kỳ xử lý duy nhất
Thay vì yêu cầu giải thích dài dòng, các ứng dụng máy khách sẽ gửi các bản ghi giao dịch có cấu trúc—bao gồm loại giao dịch, số tiền và sự thay đổi số dư tài khoản—kèm theo các tùy chọn rủi ro theo phân loại (như LOW_RISK, MEDIUM_RISK, hoặc HIGH_RISK_FRAUD).
Bằng cách đánh giá xác suất log trên các lựa chọn token trong một kỳ lan truyền tiến duy nhất, mô hình trả về các token quyết định cụ thể cùng với các chỉ số độ tin cậy. Mặc dù triển khai trên CPU cục bộ chủ yếu phục vụ cho việc kiểm thử và phát triển, các triển khai sản xuất hướng tới độ trễ thấp ở mức vài mili giây trên các vòng lặp giao dịch khối lượng lớn thường yêu cầu phần cứng GPU chuyên dụng.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.