Mistral AI est le laboratoire français qui a rendu crédible l'idée d'un modèle européen à poids ouverts. Sa gamme servie en API tient en trois noms : Large 4, à 0,70 dollar le million de jetons en entrée et 2,10 en sortie pour un contexte d'un million ; Small 4, à 0,15 et 0,60 pour 262 000 jetons ; Medium 3.5, positionné entre les deux. Les poids de plusieurs modèles sont téléchargeables, ce qui permet un hébergement sur site.
Cette ouverture a deux conséquences pratiques : la souveraineté, puisque les données peuvent rester chez le client, et le coût, puisqu'une inférence internalisée ne se facture plus au jeton. En contrepartie, il faut assumer le matériel et l'exploitation. Pour beaucoup d'organisations européennes, c'est le compromis qui compte davantage que le dernier point de performance.
Nous sondons les trois modèles en direct toutes les cinq minutes. Small 4 et Large 4 affichent des temps jusqu'au premier jeton de l'ordre de 300 millisecondes sur nos mesures, et c'est précisément ce qui les fait remonter dans l'outil de choix pour les usages interactifs, malgré un prix supérieur à celui des modèles chinois.