Estimation de l’énergie consommée pour générer un token en fonction de la taille du modèle

À partir des datasets suivants :

On peut estimer la consommation d’énergie nécessaire par modèle pour générer 1 token. Nous ne tenons pas compte du modèle de carte graphique employé.

Screenshot 2024-02-09 at 3.46.23 PM.png

Énergie (gpu) pour générer 1 token en fonction de la taille du modèle :

$$ E(model\_size, output\_tokens)=Amodel\_sizeoutput\_tokens $$

Avec $A=1.17e-4\ Wh$ et $model\_size$ en milliards de paramètres

Conversion en impact environnemental

Multiplier la consommation d’énergie par les facteurs d’impact suivants :

Impacts France (2022 ADEME)
GWP [kgCO2eq/kWh] 8.13e-2
PE [MJ/kWh] 1.129e+1
ADPe [kgSbeq/kWh] 4.85798e-8

Licence CC BY-SA 4.0

Untitled