Replay :

Agenda

• Open LLM vs LLM-Perf
• Test-bench
  • Llama 2 7b (trtllm 0.9.0 pre-release)
  • Triton + trtllm (0.8.0 et 0.9.2.x TensoRT) → modèle incompatible
  • Triton + trtllm (0.9.0 et 0.9.3.1 TensorRT) → erreur de build de l’image

Notes

• Test-bench
  • No stress pour le demo day
  • Passage en ONNX pour tester et créer la stack
    • Avec Lucien et Vinh