08/10/2026 · VietTechies · Biên tập
Expo hợp tác cùng các nghiên cứu sinh từ Georgian AI Lab đã giới thiệu một bộ khung kiểm thử nhằm đo lường khả năng các AI Agent lập trình tìm kiếm và áp dụng những kỹ năng phát triển chuyên biệt trong quá trình xây dựng ứng dụng di động. Hệ thống này giải quyết hạn chế của việc chỉ kiểm thử từng lần gọi kỹ năng riêng lẻ; thay vào đó, hệ thống đánh giá liệu các agent có tự chủ phát hiện ra tài liệu hướng dẫn phù hợp trong luồng phát triển ứng dụng tiêu chuẩn hay không.
Đo lường quỹ đạo hoạt động trên ba tầng đánh giá
Bộ khung kiểm thử vận hành các AI Agent lập trình, như Claude Code hay Codex, dựa trên các tài liệu yêu cầu sản phẩm thực tế đại diện cho những kịch bản phát triển ứng dụng di động. Thay vì chỉ đánh giá sản phẩm ứng dụng cuối cùng, bộ khung này ghi lại toàn bộ quỹ đạo hoạt động của agent và thực thi các tiến trình đánh giá song song. Các bước kiểm tra tĩnh sẽ đo lường xem những kỹ năng dự kiến có được tải hay không và khuyến nghị cụ thể của chúng có xuất hiện trong cơ sở mã nguồn hay không. Đồng thời, một trình đánh giá dạng agentic evaluator sẽ biên dịch và chạy ứng dụng di động nhằm xác minh hành vi chức năng, chia quy trình đánh giá thành các giai đoạn: kích hoạt kỹ năng, mức độ tiếp nhận kỹ năng và khả năng thực thi khi ứng dụng chạy.
Cải thiện khả năng phát hiện nhờ kỹ năng cổng vào
Dữ liệu vết (trace data) ban đầu cho thấy các AI Agent lập trình thường hoàn thành việc xây dựng ứng dụng dựa trên tri thức nội tại có sẵn mà không tải các kỹ năng Expo hiện có. Để tối ưu hóa khả năng phát hiện trong danh mục hơn 20 kỹ năng chuyên biệt, nhóm phát triển đã giới thiệu kỹ năng định tuyến cổng vào mang tên expo-overview dành cho các tác vụ liên quan đến Expo và EAS. Trong các bài kiểm thử sử dụng Claude Code với mô hình sonnet-5-high trên 10 kịch bản ứng dụng di động, việc bổ sung kỹ năng cổng vào đã nâng tỷ lệ các phiên agent tải ít nhất một kỹ năng hạ nguồn từ 9% lên 55%. Mặc dù vậy, tỷ lệ khôi phục kỹ năng liên quan (relevant skill recall) mới chỉ đạt 18%, do các agent chủ yếu tham khảo kỹ năng ở giai đoạn thiết lập kiến trúc ban đầu, sau đó vẫn dựa vào tri thức nội tại cho các chi tiết triển khai phía sau.
Giới hạn danh mục và ngân sách cửa sổ ngữ cảnh
Dự án cũng làm nổi bật những thách thức trong việc phát hiện kỹ năng do cơ chế phân bổ cửa sổ ngữ cảnh trong các giao diện CLI như Codex. Trong Codex, mô tả của các kỹ năng hiện có phải chia sẻ một ngân sách danh mục giới hạn ở mức 2% cửa sổ ngữ cảnh, tương đương 5.440 token. Khi danh mục vượt quá ngân sách này, phần mô tả sẽ bị cắt ngắn, có khả năng làm mất đi những thông tin ngữ cảnh quan trọng giúp agent xác định mức độ phù hợp. Do đó, các tác giả viết kỹ năng được khuyến nghị nên đưa những manh mối kích hoạt quan trọng vào ngay tiêu đề và các dòng mở đầu để đảm bảo khả năng phát hiện trong môi trường danh mục đông đúc.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.