ByteDance âm thầm huấn luyện mô hình AI 10 nghìn tỷ tham số, tham vọng vượt các phòng thí nghiệm Mỹ

Theo ba nguồn tin am hiểu vấn đề được Financial Times khai thác, gã khổng lồ công nghệ Trung Quốc ByteDance đang ở giai đoạn đầu huấn luyện một mô hình AI có quy mô lên tới 10 nghìn tỷ tham số. Con số này lớn gấp khoảng ba lần Kimi K3 của Moonshot — mô hình lớn nhất tại Trung Quốc từng được công bố cho đến nay.

Chủ sở hữu của mạng xã hội TikTok đang âm thầm huấn luyện mô hình AI với quy mô 10 tỷ tham số

Mô hình này hiện đang trong giai đoạn tiền huấn luyện — bước nền tảng thường kéo dài từ ba đến sáu tháng — trước khi được tinh chỉnh và có thể phát hành nếu quá trình phát triển diễn ra thuận lợi. Một nguồn tin cho biết quy mô cuối cùng của mô hình sẽ chỉ được xác định ở giai đoạn sau.

Anthropic không công bố kích thước các mô hình của mình. Tuy nhiên, theo ước tính trong ngành, Mythos 5 — hệ thống tiên tiến nhất của công ty này — có khoảng 8 nghìn tỷ tham số, còn Fable 5 vào khoảng 5 nghìn tỷ tham số. Dù số lượng tham số phản ánh phần nào năng lực lưu trữ và xử lý thông tin của mô hình, hiệu quả thực tế còn phụ thuộc vào chất lượng dữ liệu, kiến trúc và phương pháp huấn luyện.

Việc ByteDance theo đuổi một trong những mô hình AI lớn nhất thế giới cho thấy các phòng thí nghiệm Trung Quốc không còn chỉ đặt mục tiêu bắt kịp Mỹ, mà đang hướng tới cạnh tranh trực diện ở tầng công nghệ tiên tiến nhất. Trong vài tuần gần đây, các mô hình đến từ Moonshot và Alibaba cũng ghi nhận kết quả tích cực trên nhiều bài kiểm tra chuẩn, chỉ xếp sau Fable 5 của Anthropic ở một số hạng mục.

Mythos 5 hiện chỉ được cung cấp cho một số tổ chức được phê duyệt, sau khi Anthropic áp dụng lệnh hạn chế tạm thời hồi tháng 6 vì các quan ngại an ninh. Trong khi đó, nhiều phòng thí nghiệm Trung Quốc được cho là đang phát triển các mô hình có quy mô tương đương Fable 5, còn ByteDance nổi lên như cái tên tham vọng nhất khi nhắm tới cấp độ lớn hơn.

Là công ty mẹ của mạng xã hội TikTok, ByteDance lâu nay khá kín tiếng về chiến lược AI do phần lớn mô hình của hãng được phát triển theo hướng khép kín, khác với nhiều đối thủ Trung Quốc chọn cách công bố rộng rãi. Mô hình SeeDance mới nhất của công ty được đánh giá thuộc nhóm tiên tiến toàn cầu về khả năng tạo video, trong khi Doubao — sản phẩm AI tiêu dùng chủ lực — đã trở thành ứng dụng phổ biến nhất tại Trung Quốc với 324 triệu người dùng hoạt động hàng tháng.

Trong ba năm qua, ByteDance đã rót mạnh vốn vào AI, vượt nhiều tập đoàn công nghệ lớn khác của Trung Quốc. Công ty mở rộng mạng lưới trung tâm dữ liệu, tuyển dụng đội ngũ nghiên cứu và tăng đầu tư cho Volcano Engine — mảng điện toán đám mây chuyên cung cấp giải pháp AI cho doanh nghiệp. ByteDance cũng được cho là có tham vọng tự phát triển chip AI tùy chỉnh.

Trọng tâm trong nỗ lực AI của ByteDance là Seed, nhóm phát triển mô hình do Ngô Vĩnh Huy — nguyên là nhà khoa học của Google DeepMind — dẫn dắt. Nhóm này hiện có khoảng 2.000 thành viên tại Trung Quốc và nước ngoài, bao gồm nhà nghiên cứu cốt lõi, kỹ sư hạ tầng, đội gắn nhãn dữ liệu và nhân sự dịch thuật.

Theo một nguồn tin, ByteDance đang theo đuổi hướng phát triển độc lập hơn, thay vì dựa nhiều vào kỹ thuật “chắt lọc” từ các mô hình sẵn có của phòng thí nghiệm khác. Cách tiếp cận này đã được áp dụng hơn một năm và được một số người trong ngành cho là nguyên nhân khiến tiến độ của hãng chậm hơn so với vài đối thủ.

Trong lĩnh vực AI, “chắt lọc mô hình” là quá trình nén một mô hình lớn và phức tạp thành mô hình nhỏ hơn, nhanh hơn bằng cách huấn luyện mô hình nhỏ học lại kiến thức và đầu ra của mô hình lớn. Đây là phương pháp giúp rút ngắn thời gian phát triển, nhưng có thể hạn chế khả năng tạo ra đột phá riêng.

Ban lãnh đạo ByteDance, đứng đầu là nhà sáng lập Trương Nhất Minh, được cho là tin rằng chỉ phát triển độc lập mới có thể tạo ra một mô hình đủ sức vượt lên các đối thủ. Trong một cuộc họp nội bộ hai tuần trước, ông Trương nhấn mạnh với nhóm Seed rằng mục tiêu dài hạn là đạt “năng lực mô hình hàng đầu thế giới”, thay vì quá lo ngại về việc tạm thời tụt lại trong ngắn hạn.

Truyền thông Trung Quốc, cùng các hãng tin Latepost và The Information là những đơn vị đầu tiên đưa tin về phát biểu này trong cuộc họp nội bộ gần đây. ByteDance hiện chưa phản hồi yêu cầu bình luận.