O modelo inovador de IA de Deepseek desafia os gigantes da indústria, apesar das reivindicações de custos mínimos de treinamento. Este artigo examina as tecnologias inovadoras e investimentos substanciais da Deepseek, revelando uma imagem mais complexa do que a apresentada inicialmente.

A IA da Deepseek, com recursos que se destacaram que até surpreendeu seus criadores, emergiu como um concorrente formidável, impactando principalmente o preço das ações da NVIDIA. Seu sucesso decorre de uma combinação única de inovações arquitetônicas e métodos de treinamento.

imagem: ensigame.com

Os principais avanços tecnológicos incluem:

• Previsão de vários toques (MTP): Prevendo simultaneamente várias palavras, aumentando a precisão e a eficiência.
• Mistura de especialistas (MOE): Utilizando 256 redes neurais, ativando oito para cada token, acelerando o treinamento e melhorando o desempenho.
• Atenção latente de várias cabeças (MLA): Extraindo repetidamente os detalhes-chave, minimizando a perda de informações e aprimorando o entendimento diferenciado.

A Deepseek reivindicou inicialmente um custo de treinamento notavelmente baixo de US $ 6 milhões para o Deepseek V3, usando apenas 2048 GPUs. No entanto, uma investigação mais aprofundada por semiânica revelou uma infraestrutura significativamente maior, abrangendo aproximadamente 50.000 GPUs NVIDIA Hopper (incluindo unidades H800, H100 e H20) distribuídas em vários data centers. Isso se traduz em um investimento total do servidor de aproximadamente US $ 1,6 bilhão e despesas operacionais estimadas em US $ 944 milhões.

imagem: ensigame.com

A Deepseek, uma subsidiária da High-Flyer, um fundo de hedge chinês, se beneficia de possuir seus data centers, promover o controle e a rápida inovação. Sua natureza autofinanciada contribui para a agilidade e a rápida tomada de decisão. A empresa atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das universidades chinesas.

imagem: ensigame.com

O valor de US $ 6 milhões, portanto, representa apenas os custos de GPU pré-treinamento, excluindo pesquisas, refinamento, processamento de dados e infraestrutura. O investimento total da Deepseek no desenvolvimento da IA ​​excede US $ 500 milhões. Sua estrutura enxuta permite inovação eficiente, contrastando com empresas maiores e mais burocráticas.

imagem: ensigame.com

Embora o sucesso da Deepseek destaque o potencial de empresas independentes de IA bem financiadas, a narrativa inicial "favorável ao orçamento" é enganosa. Sua vantagem competitiva está enraizada em investimentos substanciais, avanços tecnológicos e uma equipe altamente qualificada. No entanto, mesmo com essas despesas significativas, os custos da Deepseek ainda prejudicam significativamente os concorrentes; Por exemplo, seu modelo R1 custou US $ 5 milhões, em comparação com os US $ 100 milhões do ChatGPT4.