Mô hình AI đột phá của Deepseek thách thức những người khổng lồ trong ngành, mặc dù tuyên bố về chi phí đào tạo tối thiểu. Bài viết này xem xét các công nghệ sáng tạo của Deepseek và đầu tư đáng kể, cho thấy một bức tranh phức tạp hơn so với được trình bày ban đầu.

AI của Deepseek, tự hào với các khả năng thậm chí làm những người tạo ra nó làm ngạc nhiên, đã nổi lên như một đối thủ cạnh tranh đáng gờm, đáng chú ý là ảnh hưởng đến giá cổ phiếu của NVIDIA. Thành công của nó bắt nguồn từ một sự kết hợp độc đáo giữa đổi mới kiến ​​trúc và phương pháp đào tạo.

Hình ảnh: Obligame.com

Những tiến bộ công nghệ chính bao gồm:

• Dự đoán đa điểm (MTP): Đồng thời dự đoán nhiều từ, tăng độ chính xác và hiệu quả.
• Hỗn hợp các chuyên gia (MOE): Sử dụng 256 mạng thần kinh, kích hoạt tám mạng cho mỗi mã thông báo, tăng tốc đào tạo và cải thiện hiệu suất.
• Sự chú ý tiềm ẩn đa đầu (MLA): Liên tục trích xuất các chi tiết chính, giảm thiểu mất thông tin và nâng cao sự hiểu biết sắc thái.

Deepseek ban đầu tuyên bố chi phí đào tạo thấp đáng kể là 6 triệu đô la cho Deepseek V3, chỉ sử dụng 2048 GPU. Tuy nhiên, nghiên cứu sâu hơn bằng cách bán phân tích cho thấy cơ sở hạ tầng lớn hơn đáng kể, bao gồm khoảng 50.000 GPU phễu NVIDIA (bao gồm H800, H100 và H20) được phân phối trên nhiều trung tâm dữ liệu. Điều này có nghĩa là tổng đầu tư của máy chủ khoảng 1,6 tỷ đô la và chi phí hoạt động ước tính khoảng 944 triệu đô la.

Hình ảnh: Obligame.com

Deepseek, một công ty con của High Flyer, một quỹ phòng hộ của Trung Quốc, được hưởng lợi từ việc sở hữu các trung tâm dữ liệu của mình, thúc đẩy kiểm soát và đổi mới nhanh chóng. Bản chất tự tài trợ của nó góp phần vào sự nhanh nhẹn và ra quyết định nhanh chóng. Công ty thu hút tài năng hàng đầu, với một số nhà nghiên cứu kiếm được hơn 1,3 triệu đô la hàng năm, chủ yếu từ các trường đại học Trung Quốc.

Hình ảnh: Obligame.com

Do đó, con số 6 triệu đô la chỉ đại diện cho chi phí GPU trước khi đào tạo, không bao gồm nghiên cứu, tinh chỉnh, xử lý dữ liệu và cơ sở hạ tầng. Tổng đầu tư của Deepseek vào phát triển AI vượt quá 500 triệu đô la. Cấu trúc nạc của nó cho phép đổi mới hiệu quả, tương phản với các công ty lớn hơn, quan liêu hơn.

Hình ảnh: Obligame.com

Trong khi thành công của Deepseek nhấn mạnh tiềm năng của các công ty AI độc lập được tài trợ tốt, thì câu chuyện "thân thiện với ngân sách" ban đầu là sai lệch. Cạnh cạnh tranh của nó bắt nguồn từ đầu tư đáng kể, đột phá công nghệ và một đội ngũ có tay nghề cao. Tuy nhiên, ngay cả với những chi tiêu đáng kể này, chi phí của Deepseek vẫn cắt giảm đáng kể các đối thủ cạnh tranh; Ví dụ, mô hình R1 của nó có giá 5 triệu đô la, so với 100 triệu đô la của TATGPT4.