DeepSeek lần đầu tiết lộ chi phí huấn luyện mô hình AI thấp bất ngờ
(CLO) Nhà phát triển Trí tuệ Nhân tạo (AI) Trung Quốc DeepSeek cho biết họ chỉ chi 294.000 USD để huấn luyện mô hình R1, một con số thấp hơn đáng kể so với chi phí được công bố của các đối thủ Mỹ.
Thông tin này được đưa ra trong một bài báo khoa học trên tạp chí học thuật Nature hôm thứ Tư (17/9) có khả năng làm bùng lên cuộc tranh luận về vị thế của Bắc Kinh trong cuộc đua phát triển AI.
Đây là lần hiếm hoi công ty có trụ sở tại Hàng Châu này công bố ước tính về chi phí huấn luyện mô hình R1.
Việc DeepSeek ra mắt các hệ thống AI có chi phí thấp hơn vào tháng 1/2025 đã khiến các nhà đầu tư toàn cầu bán tháo cổ phiếu công nghệ do lo ngại các mô hình mới này có thể đe dọa vị thế thống trị của các ông lớn AI như Nvidia.
Kể từ đó, công ty và nhà sáng lập Lương Văn Phong hầu như biến mất khỏi tầm nhìn của công chúng, ngoại trừ một số bản cập nhật sản phẩm mới.
Bài báo trên Nature cho biết mô hình R1 tập trung vào lập luận của DeepSeek tốn 294.000 USD để huấn luyện và sử dụng 512 chip Nvidia H800.
Chi phí huấn luyện cho các mô hình ngôn ngữ lớn (LLM) vận hành chatbot AI là các chi phí phát sinh từ việc vận hành một cụm chip mạnh trong nhiều tuần hoặc nhiều tháng để xử lý khối lượng văn bản và mã code khổng lồ.
Sam Altman, Giám đốc điều hành của gã khổng lồ AI Mỹ OpenAI, cho biết vào năm 2023 rằng việc huấn luyện các mô hình nền tảng đã tốn hơn 100 triệu USD, mặc dù công ty của ông chưa công bố con số chi tiết cho bất kỳ sản phẩm nào của mình.
Trong một tài liệu bổ sung thông tin kèm theo bài báo trên Nature, DeepSeek lần đầu tiên thừa nhận họ sở hữu chip A100 và cho biết đã sử dụng chúng trong các giai đoạn chuẩn bị phát triển. "Đối với nghiên cứu về DeepSeek-R1, chúng tôi sử dụng GPU A100 để chuẩn bị cho các thí nghiệm với một mô hình nhỏ hơn", bài viết có đoạn.
DeepSeek cũng lần đầu tiên lên tiếng, dù không trực tiếp, phản hồi các khẳng định từ một cố vấn cấp cao của Nhà Trắng và các nhân vật nổi tiếng trong lĩnh vực AI của Mỹ, rằng họ đã cố ý "chưng cất" các mô hình của OpenAI vào mô hình của chính mình.
DeepSeek liên tục bảo vệ luận điểm rằng kỹ thuật chưng cất giúp tạo ra hiệu suất mô hình tốt hơn trong khi chi phí huấn luyện và vận hành rẻ hơn nhiều, từ đó mở rộng khả năng tiếp cận các công nghệ dựa trên AI vốn đòi hỏi nguồn lực năng lượng khổng lồ.
Thuật ngữ này đề cập đến một kỹ thuật mà một hệ thống AI học hỏi từ một hệ thống AI khác, cho phép mô hình mới hơn kế thừa những lợi ích từ khoản đầu tư về thời gian và sức mạnh tính toán đã bỏ ra để xây dựng mô hình trước đó, nhưng không phải chịu các chi phí liên quan.