VietTechiesHIỂU CÔNG NGHỆ. MỞ GÓC NHÌN.
☰ Chuyên mục

Fastly cho biết thay đổi cấu hình hợp lệ của khách hàng đã kích hoạt lỗi phần mềm, khiến 85% mạng phân phối nội dung web của hãng trả về lỗi năm 2021

23/10/2026 · VietTechies · Biên tập

Các dãy tủ máy chủ tại NERSC, minh họa hạ tầng phân phối nội dung Internet dùng chung.


Ngày 8 tháng 6 năm 2021, một thay đổi cấu hình hợp lệ của khách hàng đã kích hoạt lỗi phần mềm tiềm ẩn, khiến 85% mạng lưới của nhà cung cấp mạng phân phối nội dung (CDN) Fastly trả về lỗi, theo Fastly. Các trang web như The New York Times, The Guardian và Reddit bị ảnh hưởng.

Sự cố bắt đầu lúc 09:47 theo giờ phối hợp quốc tế (UTC). Hệ thống giám sát tự động của Fastly phát hiện sự cố trong vòng một phút.

Khách hàng không gửi một cấu hình sai quy cách. Ban lãnh đạo kỹ thuật của Fastly ghi nhận rằng một thay đổi hợp lệ đã kích hoạt lỗi phần mềm được đưa vào hệ thống trong một đợt triển khai gần bốn tuần trước đó.

Lỗi tiềm ẩn trong hệ thống đang vận hành

Ngày 12 tháng 5 năm 2021, Fastly bắt đầu triển khai một phiên bản phần mềm chạy ở biên mạng, gần người dùng cuối, chứa lỗi chưa được phát hiện. Fastly cho biết một cấu hình khách hàng cụ thể có thể kích hoạt lỗi trong những điều kiện nhất định. Hãng không công bố cấu hình hay các điều kiện đó. Đợt triển khai bắt đầu 27 ngày trước sự cố.

Sau đó, vào đầu ngày 8 tháng 6, một khách hàng đưa lên một thay đổi cấu hình hợp lệ và kích hoạt lỗi, theo Fastly. Nick Rockwell, lãnh đạo Fastly, báo cáo sau đó rằng sự cố phát sinh khiến 85% mạng lưới của Fastly trả về lỗi. Fastly không nêu mẫu số dùng để tính tỷ lệ mạng lưới này; đây không phải tỷ lệ lưu lượng Internet toàn cầu. Vì người truy cập kết nối đến các trang web này qua Fastly, sự cố ở tầng phân phối nội dung của hãng có thể khiến họ không truy cập được ngay cả khi máy chủ gốc của trang web vẫn sẵn sàng phục vụ.

Mất vài phút để cô lập, nhiều giờ để vá lỗi

Fastly phản ứng nhanh chóng. Lúc 09:48 UTC, một phút sau khi sự cố bắt đầu, hệ thống giám sát tự động phát hiện sự cố. Mười phút sau, lúc 09:58 UTC, Fastly công bố thông báo công khai đầu tiên về sự cố. Đến 10:27 UTC, đội ngũ kỹ thuật Fastly xác định được cấu hình khách hàng đã kích hoạt sự cố.

Fastly cô lập nguyên nhân và vô hiệu hóa cấu hình khách hàng cụ thể đó. Sau khi cấu hình bị vô hiệu hóa, các dịch vụ bị ảnh hưởng bắt đầu phục hồi lúc 10:36 UTC. Fastly báo cáo rằng trong vòng 49 phút kể từ khi sự cố bắt đầu, 95% mạng lưới của hãng hoạt động bình thường, nhưng không nêu mẫu số dùng để tính tỷ lệ này. Đến 11:00 UTC, phần lớn dịch vụ của khách hàng đã phục hồi; lúc 12:35 UTC, Fastly chính thức đánh dấu sự cố ở trạng thái đã giảm thiểu tác động.

Điểm quan trọng là dù hệ thống nhanh chóng hoạt động trở lại, lỗi phần mềm vẫn chưa được sửa. Mạng lưới phục hồi vì các kỹ sư đã vô hiệu hóa đầu vào hợp lệ gây ra sự cố. Fastly cho biết sau khi giảm thiểu tác động trước mắt, hãng chuyển sang sửa lỗi và trao đổi với khách hàng. Mãi đến 17:25 UTC tối hôm đó, Fastly mới bắt đầu triển khai bản sửa lỗi lâu dài.

Kiến trúc phụ thuộc vào hạ tầng biên dùng chung

Bản cập nhật của một khách hàng có thể lan sang các trang web không liên quan đến nhau là do cách mạng phân phối nội dung vận hành. CDN vận hành mạng lưới máy chủ trung gian (proxy), lưu nội dung vào bộ nhớ đệm gần người dùng cuối. TechCrunch giải thích rằng lấy một trang từ phía bên kia thế giới có thể mất hàng trăm mili giây, trong khi CDN ở gần có sẵn trang trong bộ nhớ đệm thường có thể bắt đầu gửi trang đó trong chưa đầy 25 mili giây. Tài liệu Fastly cho biết tính năng che chắn máy chủ gốc (origin shielding) có khả năng bảo vệ máy chủ gốc trước những đợt tăng đột biến bất ngờ về số lượng yêu cầu.

Tuy nhiên, mô hình proxy ngược (reverse proxy) dùng chung này khiến nhiều trang web không liên quan đến nhau cùng phụ thuộc vào hạ tầng biên của một nhà cung cấp. Khi một proxy ở biên gặp sự cố, các yêu cầu đi qua đó có thể thất bại ngay cả khi hạ tầng máy chủ gốc vẫn sẵn sàng phục vụ. Chỉ có các trung tâm dữ liệu gốc dự phòng thì chưa đủ để bảo đảm đường phân phối nội dung vẫn hoạt động.

Bài học kỹ thuật từ sự cố do đầu vào hợp lệ

Sự cố Fastly cho thấy một đầu vào hợp lệ có thể kích hoạt lỗi phần mềm tiềm ẩn và làm gián đoạn dịch vụ đang vận hành. Fastly cho biết hãng sẽ điều tra vì sao quy trình bảo đảm chất lượng và kiểm thử phần mềm không phát hiện được lỗi này.

Với các kỹ sư, sự cố này cho thấy nên tách riêng ba câu hỏi: Lỗi phần mềm nào gây ra sự cố? Đầu vào nào kích hoạt lỗi đó? Đội ngũ vận hành có thể vô hiệu hóa thành phần nào trong lúc các kỹ sư chuẩn bị bản vá?

Mạng lưới của Fastly phần lớn đã phục hồi ngay khi cấu hình kích hoạt lỗi bị vô hiệu hóa, nhiều giờ trước khi bản sửa lỗi phần mềm bắt đầu được triển khai. Các đội có thể lên phương án loại bỏ tác nhân kích hoạt trong khi lỗi phần mềm vẫn còn tồn tại.

Bài liên quan

Đọc bằng ngôn ngữ khác: English

Nguồn