DeepSeek的开创性AI模型挑战了行业巨头，尽管声称培训成本最低。本文研究了DeepSeek的创新技术和大量投资，揭示了比最初提出的更复杂的情况。

DeepSeek的AI吹嘘甚至使创作者感到惊讶的功能已成为强大的竞争对手，尤其影响了NVIDIA的股价。它的成功源于建筑创新和培训方法的独特组合。

图像：ensigame.com

关键技术进步包括：

• 多语预测（MTP)：同时预测多个单词，提高准确性和效率。
• 专家（MOE)的混合物：利用256个神经网络，每个令牌激活8个，加速培训并提高性能。
• 多头潜在注意力（MLA)：反复提取关键细节，最大程度地减少信息丢失并增强细微的理解。

DeepSeek最初仅使用2048 GPU的DeepSeek V3的培训成本非常低600万美元。然而，通过半分析的进一步研究显示，基础设施明显更大，包括在多个数据中心分布的大约50,000个NVIDIA HOPPER GPU（包括H800，H100和H20单位)。这意味着服务器总投资约为16亿美元，运营费用估计为9.44亿美元。

图像：ensigame.com

中国对冲基金的高飞行员的子公司DeepSeek受益于拥有其数据中心，促进控制和快速创新。它的自我资助性质有助于敏捷性和迅速的决策。该公司吸引了顶尖人才，一些研究人员每年收入超过130万美元，主要来自中国大学。

图像：ensigame.com

因此，这笔600万美元的数字仅代表培训前的GPU成本，不包括研究，改进，数据处理和基础架构。 DeepSeek对AI开发的总投资超过5亿美元。它的精益结构允许有效的创新，与更大，更官僚的公司形成鲜明对比。

图像：ensigame.com

尽管DeepSeek的成功凸显了资金庞大的独立AI公司的潜力，但最初的“预算友好”叙述具有误导性。它的竞争优势源于大量投资，技术突破和高技能的团队。但是，即使有了这些巨大的支出，DeepSeek的成本仍然大大降低了竞争对手。例如，与Chatgpt4的1亿美元相比，其R1型号的价格为500万美元。