Des outils natifs potentiellement suffisants… en monofournisseur

Gouverner les clés d’API implique d’associer chacune à une équipe, une application ou un cas d’usage, avec un propriétaire et un centre de coûts clairement désignés. Les fonctionnalités d’attribution (profils d’inférence d’applications sur AWS Bedrock, clés niveau projet chez OpenAI et niveau workspace chez Anthropic…) ont bien progressé, note la FinOps Foundation. Si bien qu’elles suffisent généralement pour les organisations qui sont en monofournisseur. Celles qui en ont plusieurs recourront à l’attribution au niveau des fonctionnalités, à l’application de politiques par requête ou à des passerelle type Helicone, LiteLLM et Portkey. Les organisations qui ont monté une équipe FinOps lui confient généralement la gouvernance des coûts de l’IA.

Il arrive aussi que la démarche relève de l’équipe plate-forme ou d’un centre d’excellence IA. Dans tous les cas, elle passe par le cadrage du périmètre dans lequel les équipes d’ingénierie peuvent opérer de manière autonome : listes de modèles approuvés, longueur maximale de contexte par use case, règles de classification de données pour les fournisseurs externes, exigences de revue d’architecture pour les workflows agentiques, etc. Les prix continuent certes à diminuer, mais moins vite que par le passé, constate la FinOps Foundation. Et le phénomène concerne surtout les modèles les moins chers. Pas ceux qui servent le raisonnement et l’agentique… et qui consomment 5 à 40 fois plus de tokens par tâche.

The post L’économie du token, nouveau point focal de la FinOps Foundation appeared first on Silicon. fr.