18/10/2026 · VietTechies · Biên tập
Theo các chia sẻ trên nền tảng nhà phát triển và nhật ký kỹ thuật cá nhân của Lalit Bagga, các kỹ sư thử nghiệm quy trình viết mã tự động thường gặp phải những chênh lệch nhỏ giữa cờ thông báo thành công của bài kiểm thử và mức độ bao phủ yêu cầu thực tế. Trong một thử nghiệm phòng thí nghiệm gần đây sử dụng dữ liệu triển khai đám mây giả lập, một AI Agent tự trị đã tạo thành công các tập lệnh phân tích Python, thực thi chúng và thông báo rằng tất cả các bài kiểm thử xác thực đều đã vượt qua.
Thiết lập thí nghiệm và các quy tắc
Thử nghiệm dựa trên một tệp CSV đơn giản chứa mười hai lần kiểm tra triển khai cách nhau năm phút. Mỗi bản ghi lưu lại các số liệu như trạng thái hoạt động, phiên bản phần mềm mong muốn so với phiên bản đang chạy, số lượng thể hiện hoạt động và các cảnh báo đang bật. Mục tiêu chính gồm hai phần: tính tổng số lần kiểm tra không lành mạnh và xác định chính xác thời gian của từng khoảng thời gian không lành mạnh dựa trên các quy tắc thời gian rõ ràng do lập trình viên định nghĩa.
Để thiết lập một mốc cơ sở, tác giả đã tự tính toán các kết quả mong đợi trước khi giao nhiệm vụ cho mô hình. Các quy tắc quy định rằng một khoảng thời gian không lành mạnh bắt đầu từ lần kiểm tra thất bại đầu tiên và kết thúc ở lần kiểm tra thành công tiếp theo, để ngỏ các khoảng thời gian chưa hoàn chỉnh nếu tập dữ liệu kết thúc sớm.
Thực thi thông qua hạ tầng Agent quản lý
Thiết lập kỹ thuật sử dụng mô hình Amazon Nova 2 Lite chạy trong một kiến trúc agent được quản lý. Thay vì viết mã thủ công, nhà phát triển cung cấp các quy tắc tính toán, một vài trường hợp kiểm thử mẫu và tập dữ liệu CSV mục tiêu trực tiếp cho mô hình. Hệ thống bên dưới sau đó tạo ra chương trình Python cần thiết và chuyển nó đến Amazon Bedrock AgentCore Code Interpreter.
Trình thông dịch mã chuyên dụng này thực thi các tập lệnh trong một môi trường cô lập, cho phép nhà phát triển kiểm tra luồng thực thi được giữ lại. Bằng cách xem xét đầu ra của công cụ, tác giả có thể kiểm tra đoạn mã chính xác đã chạy và xác minh các kết quả dạng số trả về mà không chỉ dựa vào bản tóm tắt cấp cao của mô hình.
Khoảng cách giữa kiểm thử vượt qua và độ bao phủ hoàn chỉnh
Mặc dù kết quả số khớp với kết quả tự tính toán thủ công — cho thấy tỷ lệ kiểm tra không lành mạnh là 41,7 phần trăm trên toàn bộ tập dữ liệu — việc kiểm tra tiếp theo đối với mã kiểm thử được tạo ra đã phát hiện ra một sự sơ suất đáng chú ý. Mặc dù đầu ra của chương trình hiển thị dấu hiệu vượt qua kiểm thử tích cực, các câu lệnh xác nhận do agent viết chỉ xác minh số lượng khoảng thời gian và tổng thời gian.
Agent đã bỏ sót các câu lệnh xác nhận cụ thể cho dấu thời gian bắt đầu và kết thúc chính xác theo yêu cầu trong lời nhắc ban đầu. Cả hai tài khoản được công bố đều nhấn mạnh rằng mặc dù đạt được kết quả kỹ thuật giống hệt nhau, trạng thái vượt qua chỉ cho thấy các câu lệnh xác nhận do mô hình tự sinh đã thành công, chứ không chứng minh rằng mọi yêu cầu cụ thể do người dùng phác thảo đều được kiểm tra một cách nghiêm ngặt.
Phân tích: Những rủi ro ẩn giấu của việc tạo mã tự động
Thử nghiệm này làm nổi bật một lỗ hổng bảo mật cốt lõi trong các quy trình phát triển phần mềm dựa trên AI hiện nay. Khi một agent tự trị được giao nhiệm vụ viết cả logic phân tích cốt lõi lẫn bộ kiểm thử xác minh của chính nó, một chỉ báo thành công màu xanh lá cây rất dễ tạo ra cảm giác an toàn giả tạo. Dấu hiệu vượt qua chỉ xác nhận rằng các câu lệnh xác nhận do mô hình thực sự viết đã trả về giá trị đúng; nó không đưa ra đảm bảo toán học hay logic nào rằng mọi ràng buộc định tính, trường hợp biên hoặc lời nhắc chi tiết của người dùng đã được chuyển đổi đầy đủ thành mã kiểm thử. Trong môi trường kỹ thuật thực tế, việc tin tưởng các số liệu đầu ra tổng hợp mà không kiểm tra các câu lệnh xác nhận cơ bản sẽ dẫn đến các vectơ lỗi tiềm ẩn. Ngay cả khi kết quả số cuối cùng vô tình khớp với kỳ vọng — như trong môi trường phòng thí nghiệm có kiểm soát này — việc dựa vào việc tạo kiểm thử chưa được xác minh sẽ khiến các khoảng trống logic và các bước kiểm tra ranh giới bị bỏ sót lọt qua các cổng tự động. Các nhà phát triển tích hợp các AI Agent lập trình vào các đường ống triển khai hoặc các tác vụ phân tích dữ liệu phải áp dụng quy trình xem xét bộ ba nghiêm ngặt. Việc kiểm tra tập dữ liệu đầu vào, kiểm toán mã đã chạy và đối chiếu thủ công các câu lệnh xác nhận được tạo với các yêu cầu ban đầu vẫn là những biện pháp bảo vệ không thể thiếu trước khi tin tưởng bất kỳ quy trình tự động nào trong môi trường sản xuất.
Ảnh bìa: minh họa do AI tạo, kèm chữ tiêu đề; không phải ảnh tư liệu.
Nguồn: My AWS AI Agent Passed Its Tests. It Still Missed a Check. · AgentCore: My AI Agent Passed Incomplete Tests — Lalit Bagga