Le modèle d'influence de Deepseek remet en question les géants de l'industrie des géants de l'industrie, malgré les allégations de coûts de formation minimaux. Cet article examine les technologies innovantes de Deepseek et l'investissement substantiel, révélant une image plus complexe que initialement présentée.

L'IA de Deepseek, qui vante des capacités qui ont même surpris ses créateurs, est devenue un formidable concurrent, impactant notamment le cours de l'action de Nvidia. Son succès découle d'une combinaison unique d'innovations architecturales et de méthodes de formation.

Image: esigame.com

Les progrès technologiques clés comprennent:

• Prédiction multi-token (MTP): Prédire simultanément plusieurs mots, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): En utilisant 256 réseaux neuronaux, activant huit pour chaque jeton, accélérant la formation et améliorant les performances.
• Attention latente multi-tête (MLA): Extraction de détails à plusieurs reprises, minimisation des pertes d'informations et améliorant la compréhension nuancée.

Deepseek a initialement réclamé un coût de formation remarquablement faible de 6 millions de dollars pour Deepseek V3, utilisant seulement 2048 GPU. Cependant, une enquête plus approfondie par semi-analyse a révélé une infrastructure significativement plus grande, englobant environ 50 000 GPU de trémie NVIDIA (y compris les unités H800, H100 et H20) distribuées dans plusieurs centres de données. Cela se traduit par un investissement total de serveur d'environ 1,6 milliard de dollars et les frais opérationnels estimés à 944 millions de dollars.

Image: esigame.com

Deepseek, une filiale de High Flyer, un fonds spéculatif chinois, bénéficie de la possession de ses centres de données, de la promotion du contrôle et de l'innovation rapide. Sa nature autofinancée contribue à l'agilité et à la prise de décision rapide. La société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

Image: esigame.com

Le chiffre de 6 millions de dollars ne représente donc que les coûts GPU avant la formation, l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures. L'investissement total de Deepseek dans le développement de l'IA dépasse 500 millions de dollars. Sa structure Lean permet une innovation efficace, contrastant avec des entreprises plus grandes et plus bureaucratiques.

Image: esigame.com

Alors que le succès de Deepseek met en évidence le potentiel de sociétés d'IA indépendantes bien financées, le récit initial "adapté au budget" est trompeur. Son avantage concurrentiel est enraciné dans un investissement substantiel, des percées technologiques et une équipe hautement qualifiée. Cependant, même avec ces dépenses importantes, les coûts de Deepseek sapent encore considérablement les concurrents; Par exemple, son modèle R1 a coûté 5 millions de dollars, par rapport aux 100 millions de dollars de ChatGPT4.