Hello,

Avant de commencer, nous espérons que tout va bien de ton côté. Nous sommes heureux de te retrouver pour cette édition #148 de la Bourseko | Newsletter ! Nous sommes 16 257 abonnés. Bienvenue aux nouveaux et merci à tous pour votre confiance !

Si on t’a transféré cette édition et que tu souhaites recevoir les prochaines newsletters, c’est ici 😊

Comprendre le MOAT de Nvidia

Par Julien Martin-Prin

Si vous vous intéressez à la Bourse, vous n’avez pas pu passer à côté du phénomène Nvidia.

Depuis la sortie de ChatGPT le 30 novembre 2022, l’entreprise de Jensen Huang s’est imposée comme la star des marchés financiers avec une hausse de 1140 % en trois ans ! Partout dans les médias, on la présente comme le vendeur de pelles dans la ruée vers l’or de l’intelligence artificielle.

Aujourd’hui, Nvidia s’est hissée au rang de plus grande capitalisation boursière mondiale, valorisée autour de 5 000 milliards $.

Pourtant, dans les faits, peu de personnes comprennent réellement ce que vend Nvidia, ni pourquoi ses produits sont devenus si incontournables.

Dans cette newsletter, nous avons demandé à Julien, ingénieur réseau chez AWS et premier membre du Club Bourseko, d’écrire un article vulgarisant au mieux ce que vend Nvidia, comment tout son écosystème s’imbrique et pourquoi ses produits sont indispensables.

👉️ Nous avons essayé de rendre cet article au maximum accessible mais il reste dense. Cependant, nous vous garantissons que, sauf pour les experts du sujet, vous apprendrez beaucoup de choses.

Partie 1 : Les bases

Avant de rentrer dans le vif du sujet, il me paraît essentiel de faire une mise au point technique car, il est difficile d’expliquer le MOAT de l’écosystème hardware de NVIDIA sans expliquer en premier lieu certains concepts fondamentaux.

CPU, GPU, NPU, TPU, késaco ?

Commençons par le début, les puces. Vous avez sûrement déjà entendu dire que Nvidia vendait des GPUs. Mais qu’est-ce que c’est exactement ?

Dans le monde de l’informatique, il existe deux grandes approches pour concevoir une puce :

• Le General Purpose Computing, c’est-à-dire les puces polyvalentes

• Le Dedicated Circuit Computing, autrement dit les puces spécialisées

Ainsi, soit on conçoit une puce capable de tout faire correctement, soit on conçoit une puce optimisée pour une seule tâche, mais qui le fait extrêmement bien.

Côté forces et faiblesses, les puces généralistes ont l’avantage d’être compatibles avec un grand nombre d’algorithmes et de durer plus longtemps. Même si les fabricants peuvent faire évoluer leurs architectures et ajouter de nouveaux blocs, ces changements ne rendent que rarement les anciens modèles obsolètes. Ces puces vieillissent donc plutôt bien.

À l’inverse, les puces spécialisées sont conçues pour un usage précis. Elles sont très efficaces mais seulement dans leur domaine et elles vieillissent vite. Dans le cas des puces spécialisées utilisées pour l’intelligence artificielle, on estime qu’elles peuvent perdre jusqu’à 40% de performance en 18 mois, uniquement à cause de l’évolution du software.

Cependant, cette spécialisation permet une efficacité et un coût bien meilleurs que les puces généralistes.

CPU vs GPU : deux philosophies de calcul

Parmi les puces généralistes, on distingue deux grandes familles :

1. Les CPUs pour Central Processing Unit

2. Les GPUs pour Graphics Processing Unit

La principale différence entre les deux, c’est que les CPUs ont une approche de calcul séquentiel alors que les GPUs ont une approche de calcul parallèle. Un CPU a souvent quelques cœurs de calcul très puissants, là où un GPU a plusieurs centaines de cœurs, mais qui sont individuellement beaucoup moins puissants. 

Cette différence rend les CPU extrêmement utiles pour les tâches courantes, tandis que les GPUs peuvent se spécialiser sur les tâches nécessitant beaucoup de calculs parallèles comme le rendu et simulations 3D ainsi que l’IA.

Avant d’aller plus loin, il faut poser quelques bases et comprendre comment se structure une puce. Pour ça, imaginons ensemble le schéma que tu vois ci-dessous.

Une puce, c’est en quelque sorte un petit cerveau composé de deux grandes parties :

• un cœur logique (en vert), qui réalise les calculs

• de la mémoire (en blanc), qui stocke les informations nécessaires à ces calculs

En réalité, un ordinateur ne fait que manipuler des variables. Il les additionne, les multiplie, les compare, mais il le fait des milliards de fois par seconde. Pour cela, il a besoin d’un espace où conserver temporairement toutes ces variables, d’où le rôle essentiel de la mémoire.

Sur le schéma, la mémoire est indiquée comme Stacked DRAM, autrement dit de la mémoire DRAM empilée (DRAM est le mot technique pour le terme courant “mémoire vive”). C’est ce qu’on appelle plus précisément la HBM, pour High Bandwidth Memory ou Mémoire à bande passante élevée en français.

Cette mémoire HBM joue un rôle crucial. L’IA ne dépend pas seulement de la puissance brute de calcul, mais surtout de la rapidité avec laquelle les données circulent. Plus la bande passante est élevée, plus les modèles tournent vite.

Pour illustrer l’importance de l’HBM à l’ère de l’IA, voici ci-dessous la croissance du chiffre d’affaires de SK Hynix, l’entreprise sud-coréenne leader mondial de la production de HBM.

Les ASICs

Pour ce qui est des puces spécifiques, vous avez sans doute déjà entendu le terme ASIC (Application Specific Integrated Circuit) qui désigne en réalité tout type de puce spécifique et pas seulement les puces IA. Ainsi, un ASIC peut aussi bien désigner une puce IA qu’un contrôleur automobile spécifique. 

Dans le cas des puces IA, puisque c’est le sujet de cet article, on retrouve globalement 5 types de puces, en plus des contrôleurs réseau : 

1. Les TPUs (Tensor Processing Unit) qui sont surtout connus par le biais de Google qui est l’acteur les mettant le plus en avant via son Cloud

2. Les XPU (eXtended Processing Unit) qui sont en réalité des TPUs, mais mis en avant par Broadcom cette fois-ci

3. Les NPU (Neural Processing Unit), mis en avant par Apple avec son Neural Engine

4. Les LPU (Language Processing Unit), mis en avant par Cerebras et Groq

5. Les DPU (Data Processing Unit), mis en avant par Nvidia avec ses contrôleurs réseau

Je ne rentrerais pas dans le détail des spécificités de chaque puce, puisque ça nécessiterait des bases avancées en architecture ainsi qu’en informatique.

Globalement ce qu’il faut retenir, c’est que les CPUs sont les puces les plus polyvalentes, suivies par les GPUs. Les ASICs englobent tout type de puce conçu pour une application spécifique. Dans l’IA, on retrouve 5 types de puces avec les TPU et XPU qui sont les plus répandues.

Switch, routeur, le matériel réseau essentiel pour l’IA

S’il y a bien un sujet qui attire toute l’attention des marchés, ce sont les puces destinées aux besoins de l’intelligence artificielle. Pourtant, sans une infrastructure réseau solide, ces puces ne serviraient pas à grand-chose.

Aujourd’hui, les modèles de langage (LLM) comme ChatGPT, Gemini ou Claude s’entraînent sur des clusters regroupant parfois plus de 100 000 à 1 million de puces interconnectées. Les infrastructures réseaux sont donc un maillon essentiel pour faire communiquer toutes ces puces entre elles.

Au niveau des infrastructures réseau, on y retrouve 4 types de matériels : les switchs, les routers, les optiques et les NICs (ou carte réseau dans le langage courant). Pour expliquer comment tout ça s’emboîte, je vais utiliser l’analogie que j’utilise toujours, celle d’un courrier qui va de Alice à Bob.

Imaginons qu’Alice envoie une lettre à Bob.

Elle la dépose dans une boîte postale, d’où elle sera collectée, triée dans un centre postal, puis redirigée vers d’autres centres avant d’arriver dans la boîte aux lettres de Bob. Dans un réseau informatique, c’est exactement la même chose.

Les routeurs et switchs jouent le rôle des centres de tri postal : ils reçoivent des “lettres” (les paquets de données), les examinent et les envoient à leur prochaine destination. Leur objectif est de faire parvenir chaque paquet du point A au point B, le plus rapidement possible.

👉 Techniquement, un routeur et un switch n’ont pas la même fonction, mais on peut les regrouper ici pour simplifier la compréhension.

Dans un data center, les switchs gèrent surtout le trafic interne, c’est-à-dire les échanges de données entre serveurs. Les routeurs, eux, relient plusieurs réseaux entre eux, par exemple, pour connecter le data center au monde extérieur.

Reste à comprendre le rôle des deux derniers éléments : les interconnexions optiques et les NICs.

Les interconnexions optiques servent à relier physiquement les équipements réseau entre eux (par exemple, deux switchs, deux routeurs, ou un switch et un serveur). Dans les data centers modernes, on utilise presque exclusivement de la fibre optique, car elle offre une bande passante élevée et une latence réduite.

Pour être encore plus concret, les interconnexions sont les câbles branchés aux switchs et qu’on voit partout sur les images de data centers.

Côté serveur, cette connexion passe par une NIC. C’est elle qui assure la conversion du signal entre le monde physique (la fibre) et le monde numérique. En clair, la NIC encode et décode les données pour que le serveur puisse les envoyer ou les recevoir correctement.

Ainsi, derrière chaque data center se cache une infrastructure réseau d’une complexité considérable, faite de milliers de switchs, routeurs, fibres et cartes réseau. C’est cette ingénierie qui a rendu, entre autres, l’IA possible.

Partie 2 - Présentation des produits et explication des interconnexions et de l’écosystème

Maintenant qu’on a les bases pour comprendre ce que vend Nvidia dans son segment data center, je vous propose de plonger dans leur gamme de produits. Commençons par les stars du moment: les GPUs.

Actuellement, Nvidia vend 2 générations de puces: Hopper et Blackwell (avant l’arrivée de Rubin fin 2026)

Les GPU de la génération Hopper

L'architecture Hopper vient remplacer l'architecture Ampere, qui était la première génération de puces véritablement conçue pour l'intelligence artificielle.

La nouveauté la plus significative de Hopper est le Transformer Engine, un moteur spécialement optimisé pour accélérer les grands modèles de Deep Learning (comme ceux utilisés derrière les IA conversationnelles de type GPT). Ce moteur intègre notamment un mécanisme matériel dédié qui gère de manière optimale le passage entre les différents niveaux de précision des calculs.

Cette unique innovation permet à elle seule d'atteindre des performances spectaculaires, soit une augmentation de plus de 500 % par rapport à l'architecture précédente.

Bien entendu, Hopper ne s'arrête pas là et apporte d'autres améliorations cruciales (support du FP8, une nouvelle génération de NVLink et de CUDA…)

On retrouve l’architecture Hopper sous trois déclinaisons : la H20, la H100 et la H200. Toutes reposent sur les mêmes fondations techniques, mais ne s’adressent pas aux mêmes marchés.

La H20, dérivée de la H100, est la version pensée pour la Chine. Elle se distingue par plusieurs limitations dont l’incompatibilité avec NVLink et une puissance volontairement bridée, plafonnant à environ 40 à 50% des performances d’une H100.

Pour revenir à Hopper, les H100 et H200, sont presque jumelles. La seule vraie différence réside dans la mémoire embarquée : 80 Go de HBM3 (3,35 To/s de bande passante) pour la H100, contre 141 Go de HBM3e (4,8 To/s) pour la H200. En pratique, cette dernière peut offrir entre 1,4 et 1,8 fois les performances d’une H100 sur certaines charges de travail d’intelligence artificielle.

Les GPU de la génération Blackwell

Comme expliqué plus haut, Hopper a vraiment été la pierre angulaire du succès récent de Nvidia. Cependant, Hopper arrive en fin de vie et c’est actuellement Blackwell qui est le produit phare. Présentée en mars 2024, l’architecture Blackwell est une véritable révolution.

Bien sûr, on y retrouve les évolutions attendues : une nouvelle génération de CUDA, de NVLink et de NVSwitch, l’introduction du format FP4, et une mémoire HBM3e encore plus importante (192 Go par puce, pour une bande passante pouvant grimper jusqu’à 8 To/s).