LLM proxy · Unified API for 100+ providers · Rate limiting
API unique compatible OpenAI pour accéder à 100+ fournisseurs de LLM
Support de OpenAI, Anthropic, Google, Azure, Cohere, Mistral et bien plus
Limitation de débit configurable par clé API et par modèle
Gestion des budgets par utilisateur, équipe et organisation
Répartition de charge entre plusieurs instances et fournisseurs
Basculement automatique sur modèles de secours en cas d'indisponibilité
Support du streaming SSE pour des réponses en temps réel
Logs, métriques et tracing pour monitorer toutes les requêtes