Hệ thống này, có tên là Aegaeon, đã được thử nghiệm bản beta trên chợ mô hình của Alibaba Cloud trong hơn ba tháng. Theo một bài nghiên cứu được trình bày tại Hội nghị chuyên đề lần thứ 31 về Nguyên tắc Hệ điều hành (SOSP) ở Hàn Quốc hệ thống đã giảm số lượng GPU Nvidia H20 cần thiết để vận hành hàng chục mô hình lên đến 72 tỷ tham số từ 1.192 xuống còn 213 chip.
"Công trình Aegai là nghiên cứu đầu tiên chỉ ra chi phí quá mức liên quan đến việc cùng lúc vận hành nhiều khối lượng công việc LLM trên thị trường", nhóm nghiên cứu từ Đại học Bắc Kinh và Alibaba Cloud cho biết.
Các nhà nghiên cứu phát hiện rằng, 17,7% số GPU được cấp phát chỉ để phục vụ cho 1,35% số yêu cầu trên chợ của Alibaba Cloud.
Các nhà nghiên cứu trên toàn cầu đã tìm cách cải thiện hiệu suất bằng phương pháp gộp chung sức mạnh GPU, cho phép một GPU có thể phục vụ nhiều mô hình.
Với Aegaeon, các nhà nghiên cứu đã thiết kế một giải pháp thực hiện "tự động mở rộng thu hẹp" (auto-scaling) ở cấp độ token, nghĩa là một GPU có thể chuyển đổi giữa việc phục vụ các mô hình khác nhau ngay trong lúc đang tạo ra token - đơn vị dữ liệu cơ bản được xử lý bởi các hệ thống AI.
Giải pháp này cho phép một GPU duy nhất hỗ trợ tối đa bảy mô hình, so với mức tối đa hai hoặc ba mô hình trong các hệ thống thay thế khác, và cắt giảm 97% độ trễ (latency) liên quan đến việc chuyển đổi giữa các mô hình.
Tập đoàn sản xuất chip khổng lồ của Mỹ, Nvidia, từng phát triển GPU H20, một loại chip đặc biệt phù hợp cho suy luận mô hình, dành riêng cho thị trường Trung Quốc để đáp ứng các lệnh kiểm soát xuất khẩu từ thời chính quyền Tổng thống Biden.
Tuy nhiên, con chip này sau đó đã bị các cơ quan quản lý Trung Quốc điều tra về những cáo buộc liên quan đến rủi ro bảo mật "cửa hậu" (backdoor).
Đồng thời, các nhà thiết kế chip lớn của Trung Quốc, như Huawei Technologies và Cambricon Technologies, cũng đã tăng cường nỗ lực phát triển GPU nội địa để đáp ứng chiến lược tự chủ của chính phủ.
Đầu tháng này, nhà sáng lập kiêm Giám đốc điều hành của Nvidia, ông Jensen Huang, cho biết vị thế của công ty trên thị trường chip cao cấp ở Trung Quốc đã giảm xuống mức "0".
