Replay : https://drive.google.com/file/d/1zAK4aIAzUpYh7ZZFo3R1W4ZJwOczCmzF/view?usp=drive_link

Agenda

• Retirer bnb quantization ?
• Update test-bench
• Réunion data analyse

Notes

• Test-bench
  • Orientation vers Triton + TensoRT-LLM pour Flavien
  • Tests avec Triton + vLLM pour Sam (sur une vielle machine)
• Data analyse
  • Restreindre le dataset pour le cas “cloud” / “LLM API Provider”
    • Garder la data sur la A100
    • Filtrer quantization bnb
    • Filtrer les optimisations (> “vanilla”)
      • BetterTransformer
    • Séparer analyse vanilla et quantization
  • Ajout des facteurs d’impact production élec (Boavizta)