22/09/2026 · VietTechies · Biên tập
Multiverse Computing đã giới thiệu phương pháp xem việc loại bỏ khối transformer là một bài toán tối ưu nhị phân có ràng buộc, tương đương với tìm trạng thái năng lượng thấp trong mô hình thủy tinh Ising. Trong bài đăng ngày 21/9/2026 về nghiên cứu của mình, công ty cho biết cách biểu diễn này cải thiện việc lựa chọn khối khi nén mô hình ngôn ngữ lớn, đặc biệt trong trường hợp phải loại bỏ nhiều lớp.
Mô hình hóa tương tác giữa các khối
Các phương pháp cắt tỉa khối thông thường thường ước tính riêng mức độ quan trọng của từng khối hoặc chỉ cho phép loại bỏ một nhóm khối liên tiếp. Phương pháp được đề xuất dùng một biến nhị phân giữ hoặc loại bỏ cho mỗi khối, đồng thời áp dụng phép xấp xỉ bậc hai đối với hàm mất mát của mô hình. Ma trận Hessian thu được thể hiện cả tầm quan trọng riêng của từng khối lẫn tương tác theo cặp, nhờ đó bộ tối ưu có thể tính đến việc loại bỏ một khối sẽ làm thay đổi tác động của khối khác như thế nào.
Tìm cấu hình ứng viên với chi phí thấp hơn
Theo các tác giả, ma trận Hessian chỉ cần được tính một lần bằng các lượt truyền xuôi và lan truyền ngược trên một tập dữ liệu hiệu chỉnh nhỏ. Sau đó, các tổ hợp khối ứng viên có thể được xếp hạng bằng phép tính năng lượng, thay vì phải liên tục chạy và đánh giá mô hình. Cùng một ma trận tương tác cũng có thể được tái sử dụng cho nhiều mục tiêu nén khác nhau.
Việc liệt kê chính xác mọi cấu hình vẫn tốn kém ở quy mô lớn. Multiverse cho biết quá trình kiểm tra khoảng 29 tỷ cấu hình để loại bỏ 8 trong số 80 khối của Llama-3.3-70B-Instruct mất khoảng hai ngày trên một GPU. Với không gian tìm kiếm lớn hơn, bài toán có thể được chuyển cho các bộ giải cổ điển, lượng tử hoặc mô phỏng lượng tử tương thích QUBO, tức dạng tối ưu nhị phân toàn phương không ràng buộc. Công ty cho biết một bộ giải tìm kiếm tabu nguồn mở đã tìm được các ứng viên năng lượng thấp trong vài giây ở những trường hợp có thể đối chiếu bằng vét cạn.
Lợi thế được báo cáo khi nén sâu
Trên Llama-3.1-8B-Instruct, Qwen3-14B và Llama-3.3-70B-Instruct, Multiverse cho biết phương pháp tối ưu nhị phân có ràng buộc của họ đạt kết quả ngang bằng hoặc cao hơn các phương pháp đối chứng về loại bỏ khối được đánh giá. Khi giảm 50% độ sâu của Llama-3.3-70B-Instruct mà không huấn luyện lại, công ty báo cáo điểm MMLU cao hơn gần 23 điểm phần trăm so với phương pháp đối chứng mạnh nhất. Với Qwen3-14B khi loại bỏ 12 trong 40 khối, mức chênh lệch được báo cáo là khoảng 10 điểm.
Ứng viên hữu ích không chỉ nằm ở mức năng lượng thấp nhất
Năng lượng được xem là chỉ báo thay thế cho chất lượng, không phải công cụ dự đoán hoàn hảo. Vì vậy, quy trình tạo ra nhiều cấu hình năng lượng thấp để đánh giá thay vì chỉ dựa vào kết quả có năng lượng nhỏ nhất. Trong một thử nghiệm với Llama-3.1-8B-Instruct, một ứng viên có năng lượng cao hơn và loại bỏ một khối ở gần đầu mô hình được báo cáo là vượt cấu hình năng lượng thấp nhất trên một số phép đánh giá sau khi huấn luyện lại ở mức nhẹ.
Các tác giả cũng áp dụng phương pháp này cho NVIDIA-Nemotron-3-Nano-30B-A3B-FP8 mà không huấn luyện lại. Đây là mô hình kết hợp các lớp Mamba2, attention và mixture-of-experts. Ở một số thiết lập loại bỏ lớp, họ báo cáo kết quả trên AIME25 và GPQA cao hơn phương pháp block influence, vốn đo ảnh hưởng của từng khối. Mã nguồn đã được công bố, nhưng bài đăng không nêu điều khoản cấp phép.
Ảnh minh họa do AI tạo.
Nguồn: Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem