← Toutes les actualitésLire l'article ↗
Une qualité de pointe pour 1 % du coût : un benchmark en production de classifieurs LLM
Titre original (traduit automatiquement) : Frontier quality at 1% of the cost: a production benchmark of LLM classifiers
Texte original (en anglais)
Airbnb fine-tuned a model with 2 billion effective parameters to match frontier models on a production policy classifier, reaching 0. 902 F1 with 35 ms median latency. At thousands of requests per minute, serving it on one GPU cost roughly 1% as much as frontier APIs, though hosted models were cheaper at low traffic.
Source originale
airbnb.tech