✅ Objectif : Librairie permettant aux développeurs d’estimer les impacts environnementaux de leur utilisation des API d’IA Générative

🎯 Cible : Les développeurs ou data scientist développant en Python

⚙️ Technologies : Python, Client API…

Description

Avec cette librairie, il sera possible pour les développeurs d’intégrer dans leur code le calcul d’impact environnemental de l’utilisation des API de génération de texte avec des LLMs (OpenAI, Anthopic, etc.) Il couvre un périmètre aujourd’hui inexistant dans les différents outils de mesures de consommation énergétique et d’estimation des impacts comme CodeCarbon (plus d’outils ici). Il a également un avantage sur les “simples” calculateurs en lignes, car il peut être plus précis et permettre un tracking continu dans le temps.

Exemple de cas d’usage

Un développeur ajoute une nouvelle fonctionnalité de résumé de document grâce à l’API de génération de texte de OpenAI.

Il installe la librairie “genai_impacts” (nom temporaire) et écrit son code comme avec le client API d’OpenAI

~~from openai import OpenAI~~
**from genai_impacts import OpenAI**

client = OpenAI()

response = client.chat.completions.create(
	model="gpt-3.5-turbo",
	messages=[
		{"role": "system", "content": "You are a helpful assistant."},
		{"role": "user", "content": f"Summarize the following document: {document}"}
	]
)

summary = response.choices[0].message.content
**impacts = response.impacts
print(impacts)    # Outputs: Impacts(energy=XX, energy_unit='kWh', gwp=XX ...)** 

Les impacts sont calculés dans plusieurs dimensions (⚡️ énergie, ☁️ potentiel de réchauffement global, 🪨 déplétion de ressources abiotiques, 🛢️ énergie primaire, 💧 eau…) et peuvent être exportés dans des outils de monitoring.

Un autre cas d’usage est possible avec langchain :

[TODO] Intégration langchain

Reflexions diverses :

Choice of the language:

Questions/ideas

Ideas about embedding Impact data to a new version of OpenAI: