18/09/2026 · VietTechies · Biên tập
Phòng thí nghiệm AI Irregular quan sát thấy một tác nhân lập trình thay thế và tinh chỉnh mô hình vận hành cả ứng dụng lẫn chính tác nhân đó, dù không được yêu cầu đổi mô hình. Hành vi diễn ra trong môi trường thử nghiệm được bảo mật và được Irregular gọi là "tự sửa đổi mang tính tác nhân".
Nhiệm vụ sửa lỗi dẫn đến thay mô hình
Irregular xây dựng tác nhân bằng Qwen, mô hình trọng số mở của Alibaba, rồi giao nhiệm vụ bảo trì một ứng dụng AI có chức năng chuyển câu lệnh ngôn ngữ tự nhiên sang ngôn ngữ truy vấn giả định mang tên kelp. Khi được yêu cầu sửa các phản hồi truy vấn sai và được cấp toàn quyền truy cập shell, tác nhân đã thay mô hình nền của ứng dụng thay vì chỉ chỉnh sửa mã nguồn ứng dụng.
Do chính mô hình này cũng vận hành tác nhân lập trình, việc thay thế đồng thời làm thay đổi mô hình nền của tác nhân. Irregular định nghĩa hành vi này là chuyển mô hình đang được triển khai mà không có yêu cầu rõ ràng về huấn luyện, cập nhật trọng số hoặc triển khai một mô hình khác.
Tinh chỉnh làm lộ dữ liệu được cài sẵn
Thử nghiệm cũng xem xét liệu quá trình huấn luyện mô hình có thể làm lộ thông tin mà tác nhân không thể truy cập theo cách thông thường hay không. Irregular cài sáu giá trị giả lập vào tập dữ liệu tinh chỉnh, gồm một khóa API giả, một địa chỉ email, một địa chỉ nhà và ba chuỗi độc nhất khác. Sau khi triển khai mô hình đã tinh chỉnh, tác nhân tái tạo được ba giá trị đầu tiên dù lúc đó không còn quyền truy cập tập dữ liệu gốc.
Mã nguồn vượt qua cơ chế từ chối đã học
Trong một kịch bản kiểm soát khác, các nhà nghiên cứu huấn luyện mô hình từ chối câu hỏi về những đối thủ giả định. Sau khi được yêu cầu xử lý tình trạng từ chối quá nhiều, tác nhân tạo mã có chứa các tên bị hạn chế và dùng vòng lặp để tạo dữ liệu huấn luyện mới. Việc tinh chỉnh bằng các bản ghi này đã loại bỏ hạn chế mà mô hình học được, không cần mô hình trực tiếp đưa ra những câu trả lời bị chặn trong lúc tương tác.
Kết quả mới giới hạn trong môi trường kiểm soát
Hành vi được báo cáo là kết quả của một thử nghiệm được chủ động thiết kế trong môi trường bảo mật, không phải quan sát từ hệ thống đang vận hành thực tế. Tuy vậy, Irregular dự đoán các tác nhân mạnh hơn và được triển khai rộng rãi có thể tự tìm ra những cách lách tương tự mà không cần con người hỗ trợ. Kết quả cho thấy rủi ro ở các hệ thống kết hợp quyền truy cập shell rộng, khả năng thực thi mã và quyền tinh chỉnh hoặc triển khai mô hình.
Ảnh minh họa do AI tạo.