Chặng đường 6 tháng phát triển mô hình ngôn ngữ lớn tại Việt Nam

Trong bối cảnh công nghệ ngày càng phát triển, việc xây dựng một mô hình ngôn ngữ lớn (LLM) phục vụ cho tiếng Việt đã trở thành một thách thức lớn. Chỉ trong vòng 6 tháng, một đội ngũ kỹ sư Việt Nam đã thành công trong việc huấn luyện mô hình này, nhanh hơn gấp ba lần so với kế hoạch ban đầu.

Khởi đầu đầy hứa hẹn

Vào năm 2023, một nhóm nghiên cứu đã bắt tay vào việc phát triển mô hình LLM tập trung vào tiếng Việt. Mô hình này được xây dựng hoàn toàn bởi các kỹ sư trong nước, thể hiện sự nỗ lực và quyết tâm của Việt Nam trong việc phát triển công nghệ AI. Có hai phương pháp chính để huấn luyện mô hình AI: tinh chỉnh và huấn luyện từ đầu. Trong đó, việc huấn luyện từ đầu yêu cầu một quy trình phức tạp hơn, từ việc khởi tạo tham số đến quyết định kiến trúc mô hình.

Ưu điểm và thách thức của việc huấn luyện từ đầu

Mặc dù việc tinh chỉnh mô hình đã được chứng minh là hiệu quả và tiết kiệm tài nguyên, nhưng nhóm nghiên cứu đã quyết định chọn phương pháp huấn luyện từ đầu. Điều này cho phép họ kiểm soát toàn bộ quy trình và tạo ra một sản phẩm hoàn toàn nội địa, góp phần nâng cao vị thế của Việt Nam trong khu vực Đông Nam Á.

Thành tựu đáng ghi nhận

Vào thời điểm ra mắt, mô hình ngôn ngữ lớn với 7 tỷ tham số đã đạt được kết quả ấn tượng, vượt qua nhiều tiêu chuẩn đánh giá. Thời gian huấn luyện chỉ mất 6 tháng, một thành công lớn so với dự kiến ban đầu là 18 tháng. Đội ngũ phát triển đã rất bất ngờ với tốc độ này, cho thấy khả năng và tiềm năng của các kỹ sư Việt Nam.

Vượt qua khó khăn

Để đạt được thành công này, nhóm nghiên cứu đã phải đối mặt với nhiều thách thức, bao gồm việc thiếu thiết bị huấn luyện hiện đại và nguồn dữ liệu tiếng Việt hạn chế. Trong khi các công ty lớn trên thế giới sở hữu hàng nghìn GPU hiệu năng cao, đội ngũ kỹ sư Việt Nam đã phải tận dụng các GPU dân dụng để thực hiện nghiên cứu và huấn luyện. Họ cũng đã đầu tư vào việc phát triển dữ liệu huấn luyện chất lượng để bù đắp cho sự thiếu hụt này.

Định hướng tương lai

Với những thành công đạt được, nhóm nghiên cứu đang tiếp tục mở rộng ứng dụng của mô hình LLM. Đầu năm 2025, họ đã ra mắt một trợ lý hỏi đáp tổng hợp, phục vụ cho nhiều chủ đề trong cuộc sống hàng ngày. Chỉ trong vòng hai tháng, trợ lý này đã thu hút được 1 triệu lượt người dùng, cho thấy sự quan tâm lớn từ cộng đồng.

Không chỉ dừng lại ở đó, mô hình LLM còn được ứng dụng trong việc tạo ra thiệp điện tử, với 15 triệu thiệp được gửi đi chỉ trong hai tháng. Điều này cho thấy tiềm năng to lớn của công nghệ AI trong việc phục vụ nhu cầu của người dùng Việt Nam.

Nhóm nghiên cứu cam kết sẽ tiếp tục phát triển và tối ưu hóa mô hình, hướng tới việc tạo ra nhiều sản phẩm AI chất lượng cao, phục vụ cho người dân Việt Nam.

Hoài Phương