05/10/2026 · VietTechies · Biên tập
Microsoft và Hugging Face đã phát hành ThinkingBox, một khung tiêu chuẩn (benchmark) được thiết kế để đánh giá các tác vụ AI (AI agents) dựa trên trạng thái thực tế của cơ sở dữ liệu phía backend thay vì phản hồi dạng văn bản hoặc các lệnh gọi công cụ. Dự án tập trung vào việc đo lường hiệu suất trên các quy trình làm việc lưu trữ trạng thái của doanh nghiệp nhằm làm rõ khoảng cách giữa việc hoàn thành nhiệm vụ trên bề mặt và tính nhất quán dữ liệu thực sự.
Đo lường thực tế phía Backend
Các tiêu chuẩn đánh giá truyền thống thường dựa vào nhật ký công cụ hoặc tóm tắt của mô hình, những yếu tố có thể che giấu các lỗi ẩn bên dưới. Theo Microsoft và Hugging Face, một tác vụ AI có thể báo cáo xử lý thành công nhưng lại để lại dữ liệu không đầy đủ, thiết lập sai giá trị trường hoặc gây ra các tác dụng phụ không mong muốn. ThinkingBox giải quyết vấn đề này bằng cách vận hành các tác vụ bên trong các phiên công cụ của Giao thức Ngữ cảnh Mô hình (MCP) độc lập, sử dụng các bộ đánh giá xác định để kiểm tra sự thay đổi cơ sở dữ liệu cuối cùng và phát hiện các tác dụng phụ bị thiếu hoặc dư thừa.
Một lần thử nghiệm so với độ ổn định lặp lại
Quá trình đánh giá đã kiểm thử 12 mô hình ngôn ngữ trên 507 nhiệm vụ kinh doanh, chạy mỗi kịch bản 20 lần độc lập từ trạng thái ban đầu sạch. Mặc dù các mô hình hàng đầu như Claude Opus 5.5 và Kimi-K3 đạt tỷ lệ chính xác cao ở lần thử đầu tiên (pass@1), mức độ ổn định lại giảm mạnh khi yêu cầu thành công cả 20 trên 20 lần chạy. Ví dụ, Kimi-K3 giải quyết được hơn 93% nhiệm vụ ít nhất một lần nhưng chỉ hoàn thành ổn định 13,41% trong toàn bộ các lần thử. Ngược lại, Claude Opus 5 hoàn thành 47,53% nhiệm vụ trong mọi lần thử, cho thấy thành công ở một lần chạy không đồng nghĩa với độ tin cậy trong môi trường doanh nghiệp.
Các dạng lỗi và khả năng truy cập
Phân tích về các lỗi trong bộ tiêu chuẩn cho thấy khoảng 4 trong 5 lỗi xuất phát từ việc xử lý công cụ và phục hồi sau lỗi thay vì do khả năng suy luận cấp cao. Các tác vụ AI thường gặp khó khăn trong việc xử lý lỗi công cụ, các điều kiện tiên quyết chưa được đáp ứng hoặc truy vấn rỗng. ThinkingBox hiện có sẵn thông qua giao diện OpenEnv trên Hugging Face. Khung thực thi được phát hành theo giấy phép MIT, trong khi bộ dữ liệu tiêu chuẩn được phát hành theo giấy phép CDLA-Permissive-2.0.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.