L’Ampere A100 de NVIDIA comptabilise 54 milliards de transistors !

Rémi Bouvet , le 14 mai 2020

Pour des cartes Ampere A100 vingt fois plus performantes que les Tesla V100 en calcul FP32.

La carte Ampere A100 de NVIDIA, armée d’un GPU Ampere GA100 gravé en 7 nm, pourrait bien établir un nouveau record en ce qui concerne le nombre de transistors. En effet, selon de récentes informations, elle comporte 54 milliards de transistors, sans compter ceux de la mémoire HBM2. Même l’énorme GPU Xe d’Intel présenté par Raja Koduri il y a quelques jours et modestement baptisé “le Père de Tous” ne rivaliserait avec le monstre de NVIDIA.

Image 1 : L'Ampere A100 de NVIDIA comptabilise 54 milliards de transistors !

Au-delà des chiffres, NVIDIA clame des performances en matière d’IA et de calcul simple précision (FP32) vingt fois supérieures à celles d’une carte Tesla V100 basée sur un GPU Volta. D’ailleurs, pour illustrer l’amélioration dans le domaine de l’IA, l’entreprise a imaginé une nouvelle référence de calcul intitulée TF32 (Tensor Float 32). Elle utilise la mantisse de 10 bits du FP16 et l’exposant 8 bits du FP32. En matière de calcul double précision (FP64), le gain par rapport à Volta est de 2,5.

Une RTX 3080 Ti avec une bande passante mémoire de 863 Go/s et une puissance de 21 TLFOPS ?

Huit cartes dans une solution DGX-A100, pour du 5 PFLOPS

Ces cartes Ampere A100 intègrent notamment la solution DGX-A100. Un système associant huit cartes A100 qu’on a récemment pu voir dans le four de Jensen Huang, PDG de NVIDIA. Une solution DGX-A100 délivre une puissance de calcul de 5 PFLOPS. En revanche, à moins que vous ne soyez très riche, n’espérez pas en installer une dans votre ordinateur, puisque chaque pièce se négocie 199 000 dollars. En outre, notez que contrairement à ce qu’on suggérait hier, les cartes Ampere A100 ne sont pas compatibles avec les socket GPU Volta V100, comme en atteste la photo fournie par VideoCardz. Le bond technologique est en tout cas bien réel, puisque selon les dires de NVIDIA rapportés par EETimes, un seul rack de DGX-A100 remplace 25 racks avec CPU de centres de données, pour un prix dix fois moindre et une consommation d’énergie vingt fois inférieure.

Nos confrères de Tom’s Hardware US ont rassemblé toutes les caractéristiques dans le tableau ci-dessous :

Carte	NVIDIA Tesla P100	NVIDIA Tesla V100	NVIDIA A100
GPU	GP100	GV100	GA100
Process gravure TSMC	16 nm FinFET+	12 nm FFN	7 nm N7
Architecture GPU	NVIDIA Pascal	NVIDIA Volta	NVIDIA Ampere
Surface GPU	610 mm²	815 mm²	826 mm²
Nombre de transistors	15,3 milliards	21,1 milliards	54,2 milliards
Facteur de forme GPU	SXM	SXM2	SXM4
SMs	56	80	108
TPCs	28	40	54
Cœurs FP32 / SM	64	64	64
Cœurs FP32 / GPU	3584	5120	6912
Cœurs FP64 / SM	32	32	32
Cœurs FP64 / GPU	1792	2560	3456
Cœurs INT32 / SM	NA	64	64
Cœurs INT32 / GPU	NA	5120	6912
Cœurs Tensor / SM	NA	8	4
Cœurs Tensor / GPU	NA	640	432
Fréquence Boost GPU	1480 MHz	1530 MHz	1410 MHz
Pointe FP16 Tensor TFLOPS with FP16 Accumulate	NA	125	312/624
Pointe FP16 Tensor TFLOPS avec FP32 accumulé	NA	125	312/624
Pointe BF16 Tensor TFLOPS avec FP32 accumulé	NA	NA	312/624
Pointe TF32 Tensor TFLOPS	NA	NA	156/312
Pointe FP64 Tensor TFLOPS	NA	NA	19,5
Pointe INT8 Tensor TOPS	NA	NA	624/1248
Pointe INT4 Tensor TOPS	NA	NA	1248/2496
Pointe FP16 TFLOPS	21,2	31,4	78
Pointe BF16 TFLOPS	NA	NA	39
Pointe FP32 TFLOPS	10,6	15,7	19,5
Pointe FP64 TFLOPS	5,3	7,8	9,7
Pointe INT32 TOPS	NA	15,7	19,5
Unités de texture	224	320	432
Taille interface mémoire	4096-bit HBM2	4096-bit HBM2	5120-bit HBM2
Quantité mémoire	16 GB	32 GB / 16 GB	40 GB
Taux de données mémoire	703 MHz DDR	877,5 MHz DDR	1215 MHz DDR
Bande passante mémoire	720 Go/sec	900 Go/sec	1,6 To/sec
Taille cache L2	4 096 Ko	6 144 Ko	40 960 Ko
Mémoire partagée / SM	64 Ko	Configurable jusqu’à 96 Ko	Configurable jusqu’à 164 Ko
Taille enregistrement fichier / SM	256 Ko	256 Ko	256 Ko
Taille enregistrement fichier / GPU	14 336 Ko	20 480 Ko	27 648 Ko
TDP	300 Watts	300 Watts	400 Watts