Năm 2021, một lệnh bảo trì cắt Facebook khỏi internet, dù máy chủ DNS của hãng vẫn đang chạy

16/10/2026 · VietTechies · Biên tập

Ngày 4 tháng 10 năm 2021, một câu lệnh vốn nhằm đánh giá dung lượng khả dụng trên mạng trục (backbone) toàn cầu của Facebook lại ngắt kết nối các trung tâm dữ liệu của công ty trên khắp thế giới. Facebook, Instagram, WhatsApp và Messenger biến mất khỏi internet. Cả bốn dịch vụ không thể truy cập được suốt khoảng sáu tiếng.

Chi tiết lạ lùng nhất nằm trong lời giải thích của chính Facebook. Các máy chủ DNS của hãng — tức những máy thuộc hệ thống phân giải tên miền (Domain Name System), chuyên chỉ cho trình duyệt và ứng dụng biết facebook.com nằm ở đâu — khi đó vẫn đang chạy. Chúng đã chủ ý tự rút khỏi internet, đúng như thiết kế, khi mất liên lạc với các trung tâm dữ liệu.

Nhìn từ bên ngoài, sự cố giống như một lỗi DNS. Cloudflare, công ty vận hành trình phân giải DNS công cộng 1.1.1.1, ghi nhận một loạt thay đổi định tuyến dồn dập từ mạng của Facebook vào khoảng 15:40 theo giờ phối hợp quốc tế (UTC). Lúc 15:51, Cloudflare lập một hồ sơ sự cố nội bộ mang tiêu đề “Tra cứu DNS của Facebook trả về SERVFAIL.” SERVFAIL là mã lỗi mà trình phân giải trả về khi không lấy được câu trả lời từ máy chủ DNS của một tên miền. Đến 15:58, Cloudflare nhận thấy Facebook đã ngừng thông báo các tuyến đường dẫn tới địa chỉ máy chủ DNS của hãng.

Câu lệnh bảo trì đã làm gì

Mạng trục của Facebook là mạng lưới cáp quang và bộ định tuyến (router) nối các trung tâm dữ liệu của hãng với nhau. Các kỹ sư vẫn thường ngắt từng phần của mạng này để bảo trì. Santosh Janardhan, phó chủ tịch phụ trách hạ tầng của Facebook, viết rằng trong một lần bảo trì thường lệ như thế, một câu lệnh đã được đưa ra “nhằm đánh giá dung lượng khả dụng của mạng trục toàn cầu.” Thế nhưng câu lệnh này lại “vô tình đánh sập toàn bộ kết nối trong mạng trục của chúng tôi.”

Lẽ ra một cơ chế an toàn đã phải chặn câu lệnh này lại. “Hệ thống của chúng tôi được thiết kế để rà soát những câu lệnh kiểu này nhằm ngăn những sai sót như vậy,” Janardhan viết, “nhưng công cụ rà soát đó có một bug, khiến nó không chặn được câu lệnh đúng cách.”

Vì sao máy chủ DNS vẫn chạy mà lại biến mất

Muốn hiểu chuyện xảy ra tiếp theo, cần biết hai thành phần hạ tầng nền tảng của internet. DNS dịch một cái tên như facebook.com thành địa chỉ dạng số của một máy chủ. BGP, tức giao thức cổng biên (Border Gateway Protocol), là cách các mạng báo cho nhau biết mình có thể chuyển lưu lượng tới những địa chỉ nào. Các cơ sở nhỏ hơn của Facebook là nơi đặt máy chủ DNS, còn gọi là máy chủ tên miền (name server). Các thông báo BGP chỉ cho phần còn lại của internet đường tới những máy chủ tên miền này.

Máy chủ tên miền hoạt động theo một quy tắc. Janardhan giải thích rằng nếu không liên lạc được với các trung tâm dữ liệu, các máy chủ này sẽ tắt thông báo BGP của mình, “vì đây là dấu hiệu cho thấy kết nối mạng đang trục trặc.” Ngày 4 tháng 10, toàn bộ mạng trục ngừng hoạt động, nên các cơ sở đặt máy chủ tên miền tự nhận mình đang trục trặc và rút lại thông báo BGP. Theo lời ông, các máy chủ ấy “trở nên không thể truy cập được, dù vẫn đang hoạt động.”

Phần còn lại của internet thì vẫn cứ hỏi đường. Người dùng và ứng dụng thử lại hết lần này đến lần khác, và Cloudflare cho biết các trình phân giải DNS trên khắp thế giới đang “xử lý lượng truy vấn nhiều gấp 30 lần bình thường.”

Kỹ sư phải trực tiếp vào trung tâm dữ liệu

Bên trong Facebook, các kỹ sư đang cố khắc phục sự cố thì vấp phải hai trở ngại. Janardhan viết rằng họ không thể tiếp cận các trung tâm dữ liệu “bằng những cách thông thường của chúng tôi, vì mạng của các trung tâm này đã sập,” và việc mất DNS đã làm hỏng nhiều công cụ nội bộ mà bình thường họ vẫn dùng để điều tra và xử lý sự cố.

Vì vậy, Facebook cử kỹ sư tới các trung tâm dữ liệu để gỡ lỗi và khởi động lại hệ thống ngay tại chỗ. Việc này tốn thời gian, vì các trung tâm dữ liệu “được thiết kế với mức an ninh vật lý và an ninh hệ thống cao.” Muốn vào các trung tâm này không dễ, và phần cứng cùng router bên trong cũng được thiết kế để khó chỉnh sửa, kể cả với người đã tiếp cận trực tiếp được thiết bị. “Vì thế mà phải mất thêm thời gian,” Janardhan viết, “để kích hoạt các quy trình truy cập bảo mật cần thiết cho việc đưa người tới tận nơi và giúp họ làm việc được với các máy chủ.”

Janardhan lên tiếng bảo vệ những rào cản ấy. Ông viết rằng việc gia cố an ninh chống truy cập trái phép đã làm chậm quá trình khôi phục sau một sự cố mà nguyên nhân “không phải là hoạt động độc hại, mà là một lỗi do chính chúng tôi gây ra.” Ông vẫn cho rằng đánh đổi như vậy là đáng: “an ninh hằng ngày tăng lên rất nhiều, đổi lại là khôi phục chậm hơn sau một sự kiện như lần này, mà hy vọng là hiếm khi xảy ra.”

Bật Facebook trở lại cũng là một rủi ro

Khoảng 21:00 UTC, Cloudflare ghi nhận hoạt động BGP trở lại từ mạng của Facebook. Lúc 21:20, trình phân giải của Cloudflare đã tìm lại được địa chỉ của facebook.com, và đến 21:28 UTC, Facebook có vẻ đã kết nối lại với internet toàn cầu.

Khôi phục được mạng trục chưa có nghĩa là hết nguy hiểm. Nếu bật lại mọi dịch vụ cùng một lúc, lưu lượng tăng vọt có thể gây ra một đợt sập mới. Từng trung tâm dữ liệu đang báo mức điện tiêu thụ sụt giảm “trong khoảng hàng chục megawatt,” và nếu mức tiêu thụ ấy đột ngột trở lại như cũ thì từ hệ thống điện đến bộ nhớ đệm (cache), mọi thứ đều có thể gặp rủi ro.

Khâu này thì Facebook đã từng tập dượt. Trong các đợt diễn tập mà hãng gọi là “bão” (storm), Facebook giả lập một sự cố hệ thống lớn bằng cách cho một dịch vụ, một trung tâm dữ liệu hoặc cả một khu vực ngừng hoạt động. Có điều, như Janardhan viết, “chúng tôi chưa từng tổ chức một đợt bão nào giả lập cảnh mạng trục toàn cầu của mình bị ngắt.” Dù vậy, kinh nghiệm từ các đợt diễn tập vẫn giúp nhóm đưa dịch vụ trở lại, đồng thời kiểm soát cẩn thận lượng tải đang tăng lên.

Không phải do hacker, cũng không hẳn là sự cố DNS

Sự cố kéo theo cả những lời đồn. Có những bài đăng trên mạng xã hội cho rằng một hacker người Trung Quốc 13 tuổi đã đánh sập Facebook; đội kiểm chứng thông tin của hãng thông tấn Pháp Agence France-Presse (AFP) đã kết luận thông tin này là sai. Facebook cho biết “không có hoạt động độc hại nào đứng sau sự cố này.”

Gọi đây là sự cố DNS cũng không hẳn đúng. DNS là chỗ hỏng mà phần lớn người bên ngoài có thể thấy, và tiêu đề hồ sơ sự cố nội bộ của Cloudflare cũng gọi đích danh DNS. Nhưng các máy chủ tên miền vẫn đang hoạt động. Câu lệnh trên mạng trục đã cắt các máy chủ ấy khỏi các trung tâm dữ liệu, rồi chính quy tắc mà các máy chủ tuân theo đã đưa chúng ra khỏi internet.

Bài học: khi quy tắc an toàn đồng loạt kích hoạt ở mọi nơi

Ba cơ chế an toàn đã chi phối diễn biến ngày hôm đó. Công cụ rà soát vốn dùng để chặn những câu lệnh nguy hiểm lại có bug. Quy tắc DNS vốn dùng để cho một địa điểm đang trục trặc ngừng phục vụ thì lại kích hoạt ở mọi địa điểm cùng một lúc. Còn lớp an ninh ngăn kẻ xâm nhập vào trung tâm dữ liệu cũng làm chậm bước những kỹ sư cần vào bên trong.

Xét riêng, không thiết kế nào trong số đó là ngớ ngẩn. Quy tắc DNS hợp lý khi một địa điểm đơn lẻ mất liên lạc với các trung tâm dữ liệu. Các đợt diễn tập “bão” của Facebook cũng được khoanh phạm vi theo cùng cách ấy: chúng từng ngắt một dịch vụ, một trung tâm dữ liệu hoặc một khu vực, nhưng chưa bao giờ ngắt toàn bộ mạng trục. Câu lệnh trên mạng trục thì lại gây ra một sự cố toàn phần. Với bất kỳ quy tắc an toàn nào, câu hỏi đáng đặt ra là quy tắc ấy sẽ làm gì khi mọi bộ phận của hệ thống cùng kích hoạt nó vào đúng một thời điểm.

Ngày 4 tháng 10 năm 2021, Facebook đã có câu trả lời: các máy chủ tên miền vẫn chạy bình thường, còn internet thì suốt khoảng sáu tiếng không tìm thấy chúng.

Bài liên quan

Đọc bằng ngôn ngữ khác: English