15/09/2026 · VietTechies · Biên tập
Claude Fable 5.1 đứng đầu Real-SWE, bộ đánh giá tác nhân lập trình dựa trên mã nguồn riêng tư của doanh nghiệp, nhưng chỉ hoàn thành 38,8% khối lượng công việc được kiểm tra. Theo kết quả do The New Stack đăng tải, cấu hình dẫn đầu vẫn thất bại hơn sáu trong mỗi 10 lần thử.
Kiểm tra trên mã nguồn riêng tư
Real-SWE do Specific Labs, công ty được Y Combinator hỗ trợ, xây dựng nhằm kiểm tra các tác nhân trên mã nguồn độc quyền và những nhiệm vụ tương tự công việc kỹ thuật trong môi trường sản xuất. Mã nguồn cùng lời giải của bộ đánh giá không được công khai, nhờ đó giảm khả năng các mô hình từng gặp chúng trong dữ liệu huấn luyện, dù Specific Labs không thể bảo đảm điều này.
Bộ đánh giá gồm 10 nhiệm vụ, với lời giải tham chiếu chỉnh sửa trung vị 11 tệp. Mỗi mô hình có tám lần thử cho từng nhiệm vụ và hoạt động thông qua công cụ lập trình tương ứng. Vì vậy, điểm số phản ánh toàn bộ cấu hình mô hình và công cụ, thay vì chỉ đo riêng mô hình.
Các đối thủ xếp sau
GPT-6 Astra sử dụng Codex CLI đứng thứ hai với 33,8%, tiếp theo là Gemini 3.8 Flash sử dụng Gemini CLI với 31,2%. GLM 5.3 đạt 28,8%; Grok 4.6 và Muse Spark 1.3 cùng đạt 23,8%. Kimi K3 ghi nhận 18,8%, còn GPT-5.6 Sol đứng cuối với 16,2%.
Do phần mềm đi kèm có thể ảnh hưởng đến hiệu suất của tác nhân, bảng xếp hạng này không cho biết các mô hình sẽ hoạt động ra sao khi dùng công cụ khác. Nguồn tin lưu ý rằng Fable 5.1 chạy trong Cursor, chẳng hạn, có thể cho kết quả khác so với cấu hình dùng Claude Code.
Một số nhiệm vụ đánh bại mọi tác nhân
Sáu trong 10 nhiệm vụ của Real-SWE có tỷ lệ thành công dưới 15%. Không mô hình nào giải được nhiệm vụ analytics stream reducer sau tổng cộng 64 lần thử, trong khi nhiệm vụ linearizable scan chỉ đạt tỷ lệ thành công 4,7%. Hiệu suất cũng chênh lệch lớn tùy nhiệm vụ: Astra và Gemini hoàn thành mọi lần thử multi-region sweep, nhưng đều thất bại trong tất cả lần thử linearizable scan.
Mẫu nhỏ nhưng là cảnh báo thực tế
Phân tích thất bại cho thấy mỗi hệ thống có những điểm yếu khác nhau. Fable 5.1 thường xuyên bỏ sót yêu cầu hoặc gặp lỗi tích hợp. Các lần thất bại của Astra chủ yếu đến từ lỗi tích hợp và giả định chưa được kiểm chứng, với tỷ lệ ngang nhau. Những lượt chạy thất bại của Gemini đặc biệt chịu ảnh hưởng bởi lỗi tích hợp, còn giả định chưa được kiểm chứng là nguyên nhân nổi trội trong các thất bại của GPT-5.6 Sol.
Real-SWE chỉ gồm 10 nhiệm vụ và không chứng minh rằng các bộ đánh giá công khai bị sai lệch do dữ liệu huấn luyện bị lẫn nội dung kiểm tra. Tuy vậy, kết quả cho thấy ngay cả cấu hình tác nhân đạt điểm cao nhất cũng chưa thể xử lý ổn định mã nguồn sản xuất gồm nhiều tệp và chưa từng gặp trước đó.
Ảnh minh họa do AI tạo.
Nguồn: AI’s best coding agent fails 60% of the time — and the data backs it up