Guide VRAM
Faire tourner de grands modèles de langage en local se heurte d'abord à une seule limite : la mémoire vidéo (VRAM). Les poids du modèle doivent tenir entièrement dans le VRAM du GPU – avec un petit overhead –, sinon l'inférence saccade, déborde dans la RAM système ou échoue. La quantification réduit fortement l'empreinte : un modèle 4 bits (int4) nécessite environ un quart de la taille fp16, 8 bits (int8) environ la moitié. Cette page traduit les besoins en VRAM des principaux LLM open source en recommandations concrètes de GPU – avec les prix boutique actuels en Europe et les meilleurs tarifs horaires d'hébergement côte à côte, pour comparer achat unique et location de la même carte. Les valeurs de compatibilité utilisent la même heuristique que nos fiches GPU : besoin VRAM estimé = paramètres × facteur + 1,5 Go, avec les facteurs 2,0 (fp16), 1,0 (int8) et 0,5 (int4). Prévoyez de la marge pour les contextes longs et le KV-cache – ces chiffres sont un bon point de départ, pas une limite stricte.
Les poids du modèle doivent tenir entièrement dans le VRAM, plus un petit overhead. La quantification réduit l'empreinte : int4 nécessite environ un quart de la taille fp16, int8 environ la moitié. Le tableau indique les plus grands modèles (en milliards de paramètres) qui tiennent dans chaque budget VRAM.
| Budget VRAM | fp16 (16 bits) | int8 (8 bits) | int4 (4 bits) |
|---|---|---|---|
| 8 GB | ≈3,2 B | ≈6,5 B | ≈13,0 B |
| 16 GB | ≈7,2 B | ≈14,5 B | ≈29,0 B |
| 24 GB | ≈11,2 B | ≈22,5 B | ≈45,0 B |
| 48 GB | ≈23,2 B | ≈46,5 B | ≈93,0 B |
| 96 GB | ≈47,2 B | ≈94,5 B | ≈189,0 B |
Besoin VRAM estimé = paramètres × facteur + 1,5 Go, avec les facteurs 2,0 (fp16), 1,0 (int8) et 0,5 (int4) – la même heuristique que le tableau de compatibilité de chaque fiche GPU.
Cartes graphiques avec des offres boutique actuelles, regroupées par VRAM – chaque catégorie liste les LLM open source compatibles (int4).
LLM open source compatibles avec 288 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
LLM open source compatibles avec 192 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
LLM open source compatibles avec 141 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
flagship
LLM open source compatibles avec 96 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
LLM open source compatibles avec 80 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
high
flagship
flagship
LLM open source compatibles avec 48 Go (int4) : Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
mid
high
high
high
Non – dans aucune précision courante. Un modèle 70B nécessite environ 141 Go en fp16 et encore environ 36,5 Go en int4 ; 24 Go ne suffisent pas. Pour des modèles 70B en 4 bits, il faut une carte de 48 Go (ou une configuration bi-GPU).
Cela dépend de l'usage. Pour le chat, les résumés et la programmation, une bonne quantification 4 bits reste proche de fp16 ; les pertes subtiles apparaissent surtout dans les longs raisonnements, les mathématiques et les langues peu représentées. Le test le plus rapide : comparer les deux précisions avec vos propres prompts.
Environ 17,5 Go en fp16, 9,5 Go en int8 et 5,5 Go en int4 (poids plus petit overhead). Une carte de 8 Go fait tourner les modèles 8B confortablement en 4 bits ; pour l'int8, prévoyez 12 Go ou plus.
Seul un petit overhead fixe de 1,5 Go est inclus. Les contextes longs, les grands lots et les adaptateurs vision ajoutent plusieurs gigaoctets – pour des contextes de 32k et plus, prévoyez environ 10 à 25 % de VRAM supplémentaire.
Pour débuter, une carte de 12 à 16 Go couvre les modèles 7B à 14B en int4, et même les 8B en int8. Si vous n'expérimentez qu'occasionnellement, la location à l'heure est souvent plus rentable que l'achat – comparez sur cette page les prix boutique et les tarifs d'hébergement.