07/10/2026 · VietTechies · Biên tập
GitHub vừa ra mắt phiên bản xem trước nghiên cứu (research preview) của ReviewBench, bộ khung đánh giá chuẩn hóa nhằm kiểm tra hiệu quả phát hiện lỗi phần mềm và khả năng giảm thiểu cảnh báo giả của các AI Agent rà soát mã nguồn trước khi hợp nhất mã. Người dùng có thể truy cập bài đo hiệu năng này qua cổng thông tin web để đánh giá các mô hình rà soát từ bên thứ ba hoặc kiểm thử agent phân tích mã tùy chỉnh trên các tập dữ liệu kho lưu trữ mã nguồn mở.
Tập dữ liệu và các chỉ số đánh giá
ReviewBench thử nghiệm các công cụ rà soát tự động trên 219 yêu cầu kéo (pull request) được lựa chọn từ 187 kho lưu trữ công khai thuộc 19 ngôn ngữ lập trình. Để tập trung vào các tác vụ kỹ thuật phần mềm thực tế thay vì những chỉnh sửa nhỏ, GitHub đã chủ động tăng tỷ trọng các yêu cầu kéo có kích thước trung bình và phức tạp trên nhiều tệp tin, thay vì các thay đổi đơn lẻ trên một tệp.
Để đo lường hiệu năng, GitHub đã xây dựng tập dữ liệu tham chiếu mang tên "golden set" bằng cách thu thập các phát hiện ứng viên từ hoạt động rà soát của con người, các đợt cập nhật mã, công cụ phân tích tĩnh và mô hình AI. Các kết quả này sau đó được hợp nhất và đánh giá theo một quy chuẩn thống nhất. ReviewBench tính toán sáu chỉ số được chia thành hai nhóm: chỉ số căn bản (grounded) và chỉ số bổ trợ (augmented). Các chỉ số căn bản gồm độ chính xác (precision), độ gợi nhớ (recall) và điểm F1 nhằm đánh giá sự trùng khớp với tập dữ liệu tham chiếu, trong đó độ gợi nhớ căn bản đóng vai trò là chỉ số so sánh chính. Các chỉ số bổ trợ sử dụng một AI làm giám khảo để đánh giá các phát hiện hợp lệ nằm ngoài tập dữ liệu tham chiếu.
Bảng xếp hạng và quy trình gửi agent
Nền tảng tích hợp một bảng xếp hạng tương tác cho phép người dùng lọc hiệu năng theo mức độ nghiêm trọng của sự cố và danh mục lỗi. Các nhà đánh giá có thể điều chỉnh tham số tính điểm, chẳng hạn như chỉnh giá trị beta trong công thức F-beta, để ưu tiên độ gợi nhớ phát hiện lỗi hoặc hạ thấp tỷ lệ cảnh báo giả tùy theo nhu cầu của nhóm phát triển.
Các nhà phát triển có thể gửi agent rà soát tùy chỉnh bằng cách cung cấp tệp ảnh container, các tham số cấu hình và khóa API của mô hình. ReviewBench cung cấp một tập dữ liệu nhỏ gồm 25 yêu cầu kéo để tinh chỉnh agent ban đầu trước khi tiến hành đánh giá toàn diện trên cả 219 yêu cầu kéo. Mọi agent được gửi lên đều được chấm điểm bởi cùng một giám khảo AI. Kết quả sẽ được giữ bảo mật cho đến khi quản trị viên phê duyệt, sau đó điểm số mới được công khai trên bảng xếp hạng.
Kết quả kiểm thử nội bộ trên Copilot
GitHub sử dụng ReviewBench để đánh giá các tinh chỉnh mô hình trong nội bộ trước khi triển khai tới người dùng. Theo dữ liệu từ nhà khoa học dữ liệu Michelle Zhou của Microsoft và nghiên cứu viên ứng dụng cao cấp Alejandro Carderera de Diego của GitHub, việc kết hợp nhiều lượt chạy mô hình độc lập thành một đợt rà soát tổng hợp (ensemble) cho gói Copilot lite đã mang lại những cải thiện rõ rệt về điểm số đánh giá lẫn kết quả thử nghiệm thực tế.
Trong các thử nghiệm thực tế của GitHub, kỹ thuật rà soát tổng hợp này đã làm tăng 8% tỷ lệ nhận xét rà soát dẫn đến thay đổi mã thực tế, cải thiện độ gợi nhớ thêm 13,6% và giảm 8% chi phí cho mỗi lượt rà soát so với mô hình rà soát đơn lẻ. Nhận xét rà soát cũng tập trung hơn vào các lỗi nghiêm trọng và trung bình, đồng thời giảm bớt các góp ý nhỏ ít giá trị.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.
Nguồn: GitHub’s ReviewBench puts AI code reviewers to the test