De diepe AI -model van Deepseek daagt de industriële reuzen uit, ondanks claims van minimale trainingskosten. Dit artikel onderzoekt de innovatieve technologieën van Deepseek en substantiële investeringen en onthult een complexer beeld dan aanvankelijk gepresenteerd.

Deepseek's AI, met mogelijkheden die zelfs zijn makers hebben verrast, is naar voren gekomen als een formidabele concurrent, met name invloed op de aandelenkoers van Nvidia. Het succes komt voort uit een unieke combinatie van architecturale innovaties en trainingsmethoden.

afbeelding: ensigame.com

Belangrijkste technologische vooruitgang omvat:

• Multi-Token Prediction (MTP): Tegelijkertijd voorspelling van meerdere woorden, het stimuleren van nauwkeurigheid en efficiëntie.
• Mix van experts (MOE): Gebruik van 256 neurale netwerken, het activeren van acht voor elk token, versnellende training en het verbeteren van de prestaties.
• Latent aandacht voor meerdere kop (MLA): Herhaaldelijk extraheren van belangrijke details, het minimaliseren van informatieverlies en het verbeteren van genuanceerd begrip.

Deepseek claimde aanvankelijk een opmerkelijk lage trainingskosten van $ 6 miljoen voor Deepseek V3, met slechts 2048 GPU's. Verder onderzoek door semianyse onthulde echter een aanzienlijk grotere infrastructuur, die ongeveer 50.000 NVIDIA -hopper GPU's (inclusief H800-, H100- en H20 -eenheden) omvatte gedistribueerd over meerdere datacenters. Dit vertaalt zich in een totale serverinvestering van ongeveer $ 1,6 miljard en operationele kosten geschat op $ 944 miljoen.

afbeelding: ensigame.com

Deepseek, een dochteronderneming van high-flyer, een Chinees hedgefonds, profiteert van het bezitten van zijn datacenters, het bevorderen van controle en snelle innovatie. Zijn zelf gefinancierde aard draagt ​​bij aan behendigheid en snelle besluitvorming. Het bedrijf trekt toptalent aan, met sommige onderzoekers die jaarlijks meer dan $ 1,3 miljoen verdienen, voornamelijk van Chinese universiteiten.

afbeelding: ensigame.com

Het cijfer van $ 6 miljoen vertegenwoordigt daarom alleen pre-training GPU-kosten, exclusief onderzoek, verfijning, gegevensverwerking en infrastructuur. De totale investering van Deepseek in AI -ontwikkeling is groter dan $ 500 miljoen. De magere structuur zorgt voor efficiënte innovatie, in tegenstelling tot grotere, meer bureaucratische bedrijven.

afbeelding: ensigame.com

Hoewel het succes van Deepseek het potentieel van goed gefinancierde onafhankelijke AI-bedrijven benadrukt, is het eerste "budgetvriendelijke" verhaal misleidend. Het concurrentievoordeel is geworteld in substantiële investeringen, technologische doorbraken en een zeer bekwaam team. Zelfs met deze belangrijke uitgaven, echter, de kosten van Deepseek nog steeds aanzienlijk ondermijnen; Het R1 -model kost bijvoorbeeld $ 5 miljoen, vergeleken met de $ 100 miljoen van Chatgpt4.