El innovador modelo de IA de Deepseek desafía a los gigantes de la industria, a pesar de las afirmaciones de costos de capacitación mínimos. Este artículo examina las tecnologías innovadoras de Deepseek y la inversión sustancial, revelando una imagen más compleja que la presentada inicialmente.

La IA de Deepseek, con capacidades que incluso sorprendieron a sus creadores, se ha convertido en un competidor formidable, especialmente afectando el precio de las acciones de Nvidia. Su éxito proviene de una combinación única de innovaciones arquitectónicas y métodos de capacitación.

Imagen: Ensigame.com

Los avances tecnológicos clave incluyen:

• Predicción de múltiples token (MTP): Predecir simultáneamente múltiples palabras, aumentando la precisión y la eficiencia.
• Mezcla de expertos (MOE): Utilizando 256 redes neuronales, activando ocho para cada token, acelerando la capacitación y mejorando el rendimiento.
• Atención latente de múltiples cabezas (MLA): Extraiga repetidamente detalles clave, minimizando la pérdida de información y mejorando la comprensión matizada.

Deepseek inicialmente reclamó un costo de capacitación notablemente bajo de $ 6 millones para Deepseek V3, utilizando solo 2048 GPU. Sin embargo, una mayor investigación por semianálisis reveló una infraestructura significativamente mayor, que abarca aproximadamente 50,000 GPU de la tolva NVIDIA (incluidas las unidades H800, H100 y H20) distribuidas en múltiples centros de datos. Esto se traduce en una inversión de servidor total de aproximadamente $ 1.6 mil millones y los gastos operativos estimados en $ 944 millones.

Imagen: Ensigame.com

Deepseek, una subsidiaria de High-Flyer, un fondo de cobertura chino, se beneficia de ser dueño de sus centros de datos, fomentando el control y la rápida innovación. Su naturaleza autofinanciada contribuye a la agilidad y la rápida toma de decisiones. La compañía atrae a los mejores talentos, con algunos investigadores ganando más de $ 1.3 millones anuales, principalmente de universidades chinas.

Imagen: Ensigame.com

La cifra de $ 6 millones, por lo tanto, representa solo los costos de GPU previos al entrenamiento, excluyendo la investigación, el refinamiento, el procesamiento de datos e infraestructura. La inversión total de Deepseek en el desarrollo de IA supera los $ 500 millones. Su estructura magra permite una innovación eficiente, en contraste con empresas más grandes y burocráticas.

Imagen: Ensigame.com

Si bien el éxito de Deepseek resalta el potencial de las compañías de IA independientes bien financiadas, la narrativa inicial de "económica" es engañosa. Su ventaja competitiva se basa en una inversión sustancial, avances tecnológicos y un equipo altamente calificado. Sin embargo, incluso con estos gastos significativos, los costos de Deepseek aún socavaron significativamente a los competidores; Por ejemplo, su modelo R1 costó $ 5 millones, en comparación con los $ 100 millones de CHATGPT4.