30/09/2026 · VietTechies · Biên tập
Nếu chỉ đánh giá một agent AI dựa trên kết quả đầu ra cuối cùng, lập trình viên có thể bỏ lỡ các chi phí vận hành ẩn như thử lại công cụ không cần thiết, gọi model quá nhiều lần hoặc độ trễ gia tăng. Nhằm giúp các nhà phát triển quan sát rõ ràng quy trình làm việc nội bộ của agent, NVIDIA đã xuất bản tài liệu chi tiết về việc tích hợp NeMo Relay với bộ khung Hermes Agent, qua đó minh họa cách dữ liệu đo đạc từ xa (telemetry trace) giúp chẩn đoán hiệu suất thực thi thay vì chỉ dựa vào kiểm tra đạt/không đạt cơ bản.
Cấu trúc theo dõi dữ liệu với định dạng ATOF và ATIF
NeMo Relay ghi lại dữ liệu sự kiện có cấu trúc trực tiếp trong bộ khung Hermes Agent thông qua hai biểu diễn riêng biệt: Agent Trace Event Format (ATOF) và Agent Trace Interchange Format (ATIF). Trong khi hành trình ATIF tóm tắt các bước của model cùng các yêu cầu công cụ, luồng sự kiện ATOF cung cấp nhật ký hạch toán chi tiết bằng cách ghi lại các sự kiện vòng đời rõ ràng, ID bắt cặp thực thi duy nhất, lượng token sử dụng, thời gian và nhật ký lỗi.
Thông qua bộ xuất OpenInference, NeMo Relay truyền dữ liệu đo đạc từ xa qua Giao thức OpenTelemetry (OTLP) tới các nền tảng giám sát như Arize Phoenix hoặc LangSmith. Việc ghi nhật ký có cấu trúc này cho phép lập trình viên kiểm tra đầu vào và đầu ra của model, xác minh các lần thực thi công cụ trong môi trường Docker cô lập, đồng thời kiểm toán dữ liệu nhạy cảm về quyền riêng tư trước khi chia sẻ dữ liệu theo dõi ra bên ngoài sandbox của doanh nghiệp.
Đánh giá hiệu suất và sự đánh đổi của bộ khung
Để minh họa việc đánh giá quy trình làm việc thực tế, NVIDIA đã điểm qua một nghiên cứu điển hình sử dụng bộ kiểm thử Hermes ToolPerf qua 108 lượt chạy. Nghiên cứu so sánh mức cơ sở với các bản sửa lỗi ở lớp công cụ bằng cách sử dụng mô hình Claude 3.5 Sonnet và Qwen Coder trên chín dạng lỗi tiêu chuẩn. Phân tích dữ liệu vết ATOF đã hé lộ chi tiết những sự đánh đổi về hiệu suất mà tỷ lệ hoàn thành đơn thuần không thể hiện được.
Đối với Qwen Coder, các điều chỉnh ở lớp công cụ đã nâng tỷ lệ hoàn thành nhiệm vụ tổng thể từ 19/27 lượt lên 22/27 lượt. Tuy nhiên, dữ liệu theo dõi cho thấy tỷ lệ thành công cao hơn này đòi hỏi nhiều khối lượng công việc hơn: số lần gọi model trung bình tăng từ 3,8 lên 4,9, số lần gọi công cụ tăng từ 2,8 lên 3,9, và thời gian thực hiện nhiệm vụ trung bình kéo dài từ 27 giây lên 42 giây. Dữ liệu đo đạc cho thấy số lượt thoại cao hơn là kết quả của các bước xử lý phục hồi lỗi hợp lệ chứ không phải vòng lặp vô tận, giúp các kỹ sư chỉ ra chính xác điểm sụt giảm hiệu năng do đầu ra của một công cụ cụ thể gây ra.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.
Nguồn: Tracing Agent Harness Behavior with NVIDIA NeMo Relay