16/10/2026 · VietTechies · Biên tập
Cloudflare đã triển khai tính năng Logpush Transformers trên tất cả các gói tự phục vụ, mang đến một công cụ SQL tích hợp sẵn trong tiến trình. Giải pháp này giúp các đội ngũ kỹ thuật dễ dàng lọc, định hình lại và che giấu các thông tin nhật ký trực tiếp ngay trong luồng xuất dữ liệu theo các báo cáo từ tài liệu của Cloudflare. Trước đây, các nhóm dữ liệu thường phải triển khai và duy trì các vi dịch vụ riêng biệt để làm sạch luồng dữ liệu đo đạc trước khi gửi chúng đến các nền tảng phân tích hoặc hệ thống quản lý sự kiện và thông tin bảo mật.
Phân tích kiến trúc và tích hợp DataFusion bên trong
Theo các tài liệu kỹ thuật, nguyên mẫu ban đầu của Cloudflare từng thử nghiệm chạy các đoạn mã WebAssembly do khách hàng định nghĩa bên trong Cloudflare Workers. Tuy nhiên, việc thêm một bước gọi mạng từ xa vào đường dẫn xuất dữ liệu chính đã làm tăng độ trễ và rủi ro hết thời gian chờ. Để ưu tiên tốc độ xử lý và độ tin cậy, các kỹ sư thay vào đó đã nhúng trực tiếp Apache DataFusion vào Bufstream — dịch vụ phân phối log tự phát triển của Cloudflare viết bằng ngôn ngữ Go. DataFusion là một công cụ truy vấn viết bằng Rust xây dựng trên Apache Arrow, cung cấp khả năng thực thi theo cột dạng vectơ. Nhờ sử dụng giao thức IPC của Apache Arrow qua giao diện hàm ngoại vi, môi trường Go và Rust có thể trao đổi các gói dữ liệu có kiểu rõ ràng một cách hiệu quả mà không cần phân tích cú pháp JSON cho từng bản ghi hay chia sẻ quyền sở hữu bộ nhớ giữa các môi trường chạy.
Khả năng, cấu hình và cơ cấu chi phí
Các bộ chuyển đổi hỗ trợ nhiều tính năng SQL đơn câu lệnh, bao gồm phép chiếu trường, biểu thức bảng chung, bóc tách mảng và xây dựng cấu trúc JSON lồng nhau hoặc các phép biến đổi vô hướng thông qua hàm SQL chuẩn. Người dùng có thể viết và xem trước các truy vấn bằng Transformer Studio trong bảng điều khiển Cloudflare hoặc quản lý thông qua API. Tài liệu ghi nhận mỗi tài khoản Cloudflare nhận được 1 GB dữ liệu đầu vào chuyển đổi miễn phí mỗi tháng cho các tập dữ liệu đủ điều kiện, với mức phí bổ sung là 0,04 USD cho mỗi GB. Hơn nữa, mỗi tác vụ Logpush riêng lẻ chỉ có thể sử dụng bộ lọc truyền thống hoặc bộ chuyển đổi, không thể dùng đồng thời cả hai, đòi hỏi quản trị viên phải chuyển đổi các bộ lọc hiện có sang dạng mệnh đề SQL khi nâng cấp tác vụ.
Lý do việc chuyển đổi nội bộ quan trọng với đường ống quan sát
Việc ra mắt Logpush Transformers giải quyết một bài toán đau đầu về chi phí và kiến trúc cho các tổ chức xử lý lượng lớn dữ liệu đo đạc: phải trả phí để xuất, nạp và lưu trữ dữ liệu log vốn sẽ bị loại bỏ ngay khi đến nơi. Bằng cách chuyển công việc chuẩn hóa dữ liệu, che giấu trường nhạy cảm và lọc kiểm tra sức khỏe lên phía trước trong cơ sở hạ tầng phân phối của Cloudflare, các nhóm có thể giảm mạnh khối lượng dữ liệu gửi đi và tiết kiệm chi phí mà không cần duy trì các tầng xử lý ngoài. Đối với các đội ngũ kỹ thuật vận hành và bảo mật, điều này loại bỏ cơ sở hạ tầng phụ trợ phức tạp trong khi vẫn duy trì mức tiêu thụ tài nguyên có thể dự đoán. Tuy nhiên, các nhà vận hành phải lưu ý đến các ràng buộc xử lý lỗi; các bộ chuyển đổi được thiết kế theo cơ chế thất bại đóng thay vì quay lại gửi dữ liệu thô, có nghĩa là các tác vụ gặp lỗi liên tục sẽ tạm dừng việc xuất dữ liệu để bảo vệ các giả định về lược đồ ở hạ nguồn cho đến khi sự cố được khắc phục. Quản lý lỗi nghiêm ngặt này đảm bảo dữ liệu hỏng không làm ô nhiễm các hồ phân tích hoặc cơ sở dữ liệu ở hạ nguồn, đặt ra yêu cầu cho lập trình viên phải kiểm tra kỹ lưỡng cú pháp SQL trong Transformer Studio trước khi triển khai sản xuất.
Ảnh bìa: minh họa do AI tạo, kèm chữ tiêu đề; không phải ảnh tư liệu. Logo: Cloudflare, qua Wikimedia Commons (Public domain).
Nguồn: Filter, reshape, and redact logs before export with Transformers · Transformers · Cloudflare Logs docs