06/10/2026 · VietTechies · Biên tập
Amazon Web Services đã giới thiệu kỹ năng agent aws-ai-ml nhằm đơn giản hóa quá trình tối ưu hóa suy luận AI tạo sinh trong Amazon SageMaker AI. Được phân phối qua bộ công cụ Agent Toolkit for AWS, kỹ năng này kết nối với các công cụ hỗ trợ lập trình có tích hợp giao thức Model Context Protocol (MCP) như Claude Code, Kiro và Codex. Công cụ này cho phép các AI Agent dành cho nhà phát triển thực hiện bài đo hiệu năng trên các điểm cuối SageMaker, tự động tạo mã Python SDK v3 có thể thực thi và đề xuất cấu hình triển khai dựa trên mục tiêu tải công việc.
Đánh giá bài đo hiệu năng điểm cuối và so sánh chỉ số
Kỹ năng aws-ai-ml cho phép các agent lập trình thực thi bài kiểm thử tải trên các điểm cuối SageMaker AI hiện có bằng cách sử dụng các API Workload.synthetic() và start_benchmark() thuộc SageMaker Python SDK. Thay vì dựa vào ước tính tĩnh, công cụ sẽ thu thập các chỉ số thực tế như lưu lượng truy cập và số lượng token, các phân vị độ trễ, thời gian xuất token đầu tiên, khoảng trễ giữa các token và giới hạn số lượng yêu cầu đồng thời tối đa. Nhà phát triển cũng có thể yêu cầu so sánh tự động giữa các lần chạy bài đo hiệu năng khác nhau để đánh giá mức độ thay đổi hiệu năng khi chuyển đổi thể hiện máy chủ hoặc điều chỉnh cấu hình.
Đề xuất phần cứng từ nhiều nguồn mô hình
Các kỹ sư khi đánh giá yêu cầu phần cứng có thể cung cấp thông tin chi tiết về mô hình để nhận danh sách đề xuất thể hiện máy chủ được xếp hạng theo mục tiêu chi phí hoặc lưu lượng. Kỹ năng này hỗ trợ các mô hình tùy chỉnh lưu trữ trên Amazon Simple Storage Service (S3), các mô hình nền tảng trong danh mục Amazon SageMaker JumpStart và các mô hình mở trên Hugging Face Hub. Đối với các kho lưu trữ Hugging Face có yêu cầu quyền truy cập, AI Agent sẽ nhắc nhà phát triển chấp nhận các điều khoản bản quyền và cung cấp token xác thực trước khi tạo mã đánh giá.
Thiết lập môi trường và ranh giới bảo mật
Nhà phát triển có thể tích hợp kỹ năng này trên máy cục bộ thông qua Agent Toolkit for AWS—yêu cầu phiên bản AWS CLI 2.35+ và uv—hoặc chạy trực tiếp trong Amazon SageMaker Studio thông qua các không gian JupyterLab riêng tư đi kèm hình ảnh môi trường được cấu hình sẵn. Một số trợ lý chọn lọc như Kiro và Claude Code cũng có thể tự động phát hiện và tải kỹ năng linh hoạt khi vận hành thông qua AWS MCP Server. Kỹ năng này hoạt động bằng thông tin xác thực AWS hiện có của nhà phát triển và luôn yêu cầu người dùng xác nhận rõ ràng trước khi khởi tạo các bài kiểm thử tải phát sinh lưu lượng trên các điểm cuối đang hoạt động.
Ảnh minh họa do AI tạo, không phải ảnh tư liệu.
Nguồn: New agent skill: Amazon SageMaker optimized generative AI inference for your coding agent