Welches AI Gateway passt zu Ihrer Systemlandschaft?

Governance-Ebene im Unity Catalog für Databricks-gehostete Modelle, externe Anbieter und MCP-Server. Früher Mosaic AI Gateway; seit August 2026 allgemein verfügbar.

Geeignet, wenn

Databricks Ihre zentrale Plattform ist und Unity Catalog Ihre Daten und Identitäten bereits verwaltet.

Zu bedenken

Vieles, was das Produkt auszeichnet, ist noch in der Beta-Phase: Service-Richtlinien, Smart Routing, die vereinheitlichte Trace-Tabelle, Budgets für externe Ausgaben. Budget-Sperren greifen nur näherungsweise. Prompt- und Antwort-Logging wird pro Kilobyte verrechnet. Kein Selbstbetrieb.

Preismodell und Lizenz

Berechtigungen, Rate Limits und Fallbacks kostenlos; Nutzungserfassung sowie Prompt- und Antwort-Logging pro Kilobyte; Modellnutzung zu Plattform- oder Anbietertarifen.

• ZugriffskontrolleUnity-Catalog-Grants pro Nutzer, Gruppe und Service Principal; attributbasierte Richtlinien in der Beta-Phase; OAuth pro Nutzer zu MCP-Servern.
• KostenkontrolleBudgets pro Nutzer oder gemeinsam, mit Sperre; Anfrage- und Token-Limits pro Minute für jeden Nutzer oder Service Principal; Kostenzuordnung in den Nutzungstabellen von Databricks.
• RoutingTraffic-Aufteilung und zweistufiger Fallback; Smart Routing in der Beta-Phase und nur auf AWS; semantischer Cache nicht dokumentiert.
• MonitoringNutzungs- und Abrechnungstabellen, Inference Tables mit vollem Payload, vereinheitlichte OpenTelemetry-Trace-Tabelle in der Beta-Phase.
• GuardrailsSicherheitsfilter, PII-Maskierung, Schwärzung sensibler Daten und Richtlinien mit menschlicher Freigabe; das Richtlinien-Framework ist noch in der Beta-Phase.
• Agenten und MCPMCP-Server als verwaltete Katalogobjekte mit Richtlinien pro Tool, verwaltetem OAuth und einer CLI für Coding-Agenten.
• Flexibler BetriebNur verwaltet in einem Databricks-Workspace; einige Funktionen nur auf AWS.
• AnbieterunabhängigkeitJeder OpenAI-kompatible oder grosse Anbieter mit eigenen Keys, aber jede Kontrolle liegt im Unity Catalog.

Kontrollierter Zugriff auf den Bedrock-Modellkatalog über IAM, Guardrails und Invocation Logging, dazu AgentCore Gateway für Tools und MCP. Externe Anbieter laufen über AgentCore Gateway oder ein eigenes Gateway.

Geeignet, wenn

AWS Ihre zentrale Plattform ist, die benötigten Modelle auf Bedrock liegen und Sie den Zugriff bereits über IAM steuern.

Zu bedenken

Keine harten Ausgabenlimits oder Token-Budgets pro Key in Bedrock selbst. Zwei Inferenz-Endpunkte mit unterschiedlichem Funktionsumfang. Failover zwischen Anbietern braucht AgentCore oder ein selbst betriebenes LiteLLM.

Preismodell und Lizenz

Keine Gateway-Gebühr; Modellpreise pro Token; Guardrails pro Texteinheit; AgentCore Gateway pro 1000 Aufrufe.

• ZugriffskontrolleIAM- und SCP-Richtlinien, API-Keys, Application Inference Profiles und Cedar-Richtlinien bis auf Tool-Parameter.
• KostenkontrolleKostenzuordnung über Tags, Profile und Request-Metadaten; keine nativen harten Budgets; die AgentCore-Token-Limit-Richtlinie ist nicht verifiziert.
• RoutingRegionsübergreifende Inferenz und modellbasiertes Routing in AgentCore; Failover zwischen Anbietern braucht einen Interceptor oder LiteLLM.
• MonitoringInvocation Logs, CloudWatch und CloudTrail; OpenTelemetry-kompatible AgentCore-Observability mit Datadog und Langfuse.
• GuardrailsInhaltsfilter, gesperrte Themen, PII-Maskierung, Grounding und Automated-Reasoning-Prüfungen, nutzbar für jedes Modell.
• Agenten und MCPAgentCore Gateway bündelt Lambda-, OpenAPI- und MCP-Ziele mit semantischer Tool-Suche, Identity Vault und Richtlinien.
• Flexibler BetriebNur verwaltete AWS-Dienste, in vielen Regionen inklusive Zürich, mit PrivateLink.
• AnbieterunabhängigkeitOpenAI- und Anthropic-kompatible Endpunkte halten Clients portabel; IAM, Guardrails und Richtlinien sind AWS-nativ.

AI-Gateway-Richtlinien auf Azure API Management: Token-Limits, semantisches Caching, Content Safety, MCP und A2A, für Foundry, Azure OpenAI und externe Anbieter.

Geeignet, wenn

Azure Ihre zentrale Plattform ist und Ihre Teams API Management mit Entra ID bereits betreiben.

Zu bedenken

Nur Token-Kontingente, keine Kostenbudgets, und Zähler gelten pro Gateway-Instanz. Keine native PII-Schwärzung. Die vereinheitlichte Modell-API ist noch in Preview. Hohes Volumen kann eine höhere Stufe erzwingen.

Preismodell und Lizenz

Kein KI-Aufschlag; API-Management-Stufe ab rund USD 150 pro Monat, dazu Content Safety, Redis und Logging.

• ZugriffskontrolleSubscription Keys, Entra ID oder jeder IdP per JWT, Managed Identity zu Backends, OAuth 2.1 für MCP.
• KostenkontrolleToken-Limits und Kalenderkontingente pro Key, Produkt oder Ausdruck; Token-Metriken für die Verrechnung; keine Kostenbudgets.
• RoutingGewichtete und priorisierte Backend-Pools, Circuit Breaker, semantisches Caching; anbieterübergreifender Failover in Preview.
• MonitoringPrompt- und Token-Logging in Log Analytics, Application-Insights-Metriken, MCP- und A2A-Telemetrie.
• GuardrailsAzure AI Content Safety für Kategorien, Sperrlisten und Prompt Shields; keine PII-Schwärzung im Gateway.
• Agenten und MCPREST-APIs als MCP-Server, kontrollierte Remote-MCP-Server, API-Center-Registry und A2A-Agenten-APIs.
• Flexibler BetriebVerwaltete Stufen in vielen Regionen plus ein selbst gehostetes Gateway für das eigene Rechenzentrum oder andere Clouds.
• AnbieterunabhängigkeitOpenAI-, Anthropic-, Vertex- und Bedrock-Backends hinter einer gemeinsamen Schnittstelle; Richtlinien und Monitoring sind Azure-spezifisch.

Apigee-Token-Kontingente, semantisches Caching und Model-Armor-Prüfung für Vertex AI und beliebige andere Anbieter. Apigee hybrid läuft auf Ihrem eigenen Kubernetes.

Geeignet, wenn

Google Cloud Ihre zentrale Plattform oder Apigee bereits Ihre API-Plattform ist.

Zu bedenken

Model-Armor-Richtlinien setzen die Comprehensive-Umgebung voraus, rund USD 3400 pro Monat und Region; welche Stufe Token- und Cache-Richtlinien brauchen, ist nicht verifiziert. Token-Kontingente pro App, keine Kostenbudgets. Model Armor ist regional und auf der Vertex-Seite nur für Gemini. Die Kontrolle externer MCP-Server ist unklar.

Preismodell und Lizenz

Nutzungsbasiert pro Million Aufrufe plus Umgebungsgebühren; Model Armor pro Token; Vertex pro Token.

• ZugriffskontrolleAPI-Keys, OAuth und JWT mit API-Produkten auf Apigee; Google Cloud IAM auf Vertex; keine Endnutzer-Identität im Gateway.
• KostenkontrolleToken-Kontingente pro App oder Entwickler mit harten Limits und Token-Analytik; keine Kostenbudgets.
• RoutingRouting und Circuit Breaking aus Referenzbeispielen; semantischer Cache auf Vertex Vector Search.
• MonitoringAnalytik mit Token-Feldern, Cloud Logging und Model-Armor-Dashboards; Tracing braucht mehr Eigenarbeit.
• GuardrailsModel Armor: Prompt Injection, PII-Schwärzung, bösartige URLs, Inhaltsfilter, Dokumentenprüfung.
• Agenten und MCPEigene APIs als MCP-Tools mit API hub als Registry; Kontrolle externer MCP-Server nicht dokumentiert.
• Flexibler BetriebApigee X verwaltet oder Apigee hybrid auf Ihrem Kubernetes; Vertex nur verwaltet.
• AnbieterunabhängigkeitApigee lässt sich jedem Anbieter vorschalten; Model Armor und Vertex-Funktionen gibt es nur bei Google.

Ein kontrollierter Endpunkt für Snowflake-gehostete Modelle und Cortex-Agenten, mit Credit-Kontingenten pro Nutzer und Trace-Tabellen. Seit September 2026 als Public Preview auf AWS.

Geeignet, wenn

Snowflake Ihre zentrale Plattform ist und Ihre KI-Nutzung innerhalb seines Modellkatalogs bleibt.

Zu bedenken

Preview, nur AWS, und die Nutzung ist standardmässig für alle Nutzer freigegeben. Keine externen Anbieter oder selbst gehosteten Modelle. Kein Load Balancing oder Fallback. Guardrails brauchen regionsübergreifende Inferenz, was mit strikter Datenresidenz kollidiert.

Preismodell und Lizenz

Keine separate Gateway-Gebühr dokumentiert; AI Credits pro Million Tokens; regionales Routing rund 10 Prozent teurer.

• ZugriffskontrolleSnowflake-Rollen, OAuth und Key-Pair-Auth, MCP-Berechtigungen pro Tool, Agenten-Identität mit doppelter Zuordnung.
• KostenkontrolleCredit-Kontingente pro Nutzer mit automatischer Sperre, geteilte Budgets, Rate-Limit-Richtlinien pro Modell, Nutzungsansichten.
• RoutingNur regionsübergreifendes Kapazitäts-Routing; dynamisches Modell-Routing noch nicht veröffentlicht.
• MonitoringTrace-Tabellen pro Gateway, Snowsight-Dashboards und Nutzungsansichten; externer Export nicht dokumentiert.
• GuardrailsFilter für schädliche Inhalte und Prompt-Injection-Erkennung; PII-Schwärzung und eigene Richtlinien nicht dokumentiert.
• Agenten und MCPVerwalteter MCP-Server mit Rollen pro Tool; MCP-Governance über mehrere Server in Private Preview.
• Flexibler BetriebNur SaaS; die Gateway-Preview ist auf kommerzielle AWS-Regionen beschränkt.
• AnbieterunabhängigkeitBeschränkt auf Snowflake-gehostete Modelle; OpenAI- und Anthropic-kompatible Endpunkte sind der zentrale Hebel für Portabilität.

Harmonisierte API und Orchestrierungsdienst in SAP AI Core auf BTP, für Modelle von Hyperscalern, Drittanbietern und SAP, mit Inhaltsfilter und Datenmaskierung. Allgemein verfügbar im Extended-Plan.

Geeignet, wenn

SAP BTP Ihre zentrale Plattform ist und Sie kontrollierten Modellzugriff mit Maskierung und Filtern in SAP-Anwendungen wollen, gehostet von SAP.

Zu bedenken

SaaS auf SAP BTP, betrieben auf AWS-Infrastruktur. Modellverfügbarkeit, Token-Umrechnung und Rate Limits stehen in einer SAP Note hinter einem S-User-Login. Keine Budgets, kein MCP-Proxy, keine Tool-Richtlinien. Fallback läuft sequenziell; Retries und Timeouts werden pro Modellkonfiguration gesetzt.

Preismodell und Lizenz

Extended-Plan, nutzungsbasiert in Capacity Units; ein 30-Tage-Test ersetzte 2026 den kostenlosen Plan; Preise der AI Units nicht verifiziert.

• ZugriffskontrolleBTP-Identitätsanbieter und Rollensammlungen für das Launchpad; Service-Keys pro Instanz für die API, keine Rollen pro Nutzer.
• KostenkontrolleVerbrauch im BTP-Cockpit pro Instanz und Ressourcengruppe; Kostenzuordnung pro Modell nicht verifiziert; Rate Limits pro Modell und Mandant; keine Budgets, Limits oder Alerts.
• RoutingDie Orchestrierung probiert Modellkonfigurationen bei 429, 408 und 5xx oder nicht unterstützten Regionen der Reihe nach; Retries und Timeouts pro Konfiguration; kein Balancing.
• MonitoringInferenz-Datensätze mit Payloads, Tokens und Latenz in Ihrem S3, ohne Maskierung gespeichert; Launchpad-Traces und ein Audit-Log; kein OpenTelemetry.
• GuardrailsEigene Ein- und Ausgabefilter mit Azure Content Safety und Llama Guard 3, dazu SAP-Datenschutzmaskierung.
• Agenten und MCPClientseitiges Function Calling; kein MCP-Proxy und keine Tool-Richtlinien.
• Flexibler BetriebSaaS auf SAP BTP; neue Funktionen sind als nicht verfügbar für Sovereign-Cloud-Angebote gekennzeichnet; keine On-Site-Option.
• AnbieterunabhängigkeitProprietärer SAP-Dienst; viele Anbieter hinter einer SAP-spezifischen API; nicht selbst betreibbar.

KI-Plugins auf Kong Gateway und Konnect, seit September 2026 als eigenständiges Produkt AI Gateway 2.0. LLM-, MCP- und A2A-Verkehr mit Routing, semantischem Cache, Guardrails und Token-Budgets.

Geeignet, wenn

Kong bereits Ihr API-Gateway ist oder Sie einen breiten KI-Funktionsumfang von einem API-Management-Anbieter wollen.

Zu bedenken

Fast jede KI-Funktion braucht die Enterprise-Lizenz; Open Source deckt den Basis-Proxy und einen Regex-Prompt-Guard ab. Aufpreis pro Modell im Plus-Plan. Häufige Releases und eine Produktumstellung, die eine Migration erfordert.

Preismodell und Lizenz

Open Source kostenlos; Konnect Plus pro Gateway mit fünf Modellen inklusive; Enterprise auf Anfrage.Apache-2.0 core, AI plugins mostly enterprise

• ZugriffskontrolleConsumer und Gruppen, OIDC und JWT, Konnect-Rollen und Enterprise-SSO, Principal-basierte Richtlinien, OAuth 2.1 und Token-Austausch für MCP.
• KostenkontrolleToken- und Kostenlimits pro Consumer, Gruppe, Modell oder Anbieter; globale Tagesbudgets mit Obergrenzen pro Modell; Kosten-Dashboards.
• RoutingSieben Balancing-Algorithmen inklusive semantischem und priorisiertem Failover, Circuit Breaker, Retries, semantischer Cache.
• MonitoringOpenTelemetry mit Principal-Identität, Prometheus, Konnect-LLM-Dashboards, MCP- und A2A-Logging.
• GuardrailsEigene Regex-, semantische, PII- und LLM-Judge-Guards plus Integrationen mit AWS, Azure, Google und Lakera.
• Agenten und MCPMCP-Proxy mit ACLs pro Tool, OAuth 2.1 und Server-Bündelung, dazu ein nativer A2A-Proxy.
• Flexibler BetriebSelbst gehostet, hybrid, dedizierte Cloud-Gateways oder serverless, mit sechs Regionen für die Control Plane.
• AnbieterunabhängigkeitApache-2.0-Kern und OpenAI-kompatible API, aber die KI-Funktionen erfordern die Enterprise-Lizenz.

LLM-Proxy, MCP-Proxy und A2A-Proxy in Gravitee API Management, mit Guardrails und PII-Filter im Gateway. Im April 2026 als AI Gateway lanciert.

Geeignet, wenn

Gravitee Ihre API-Plattform ist oder Sie eine in der Schweiz gehostete Control Plane mit MCP- und A2A-Governance wollen.

Zu bedenken

Zentrale KI-Richtlinien sind noch im Alpha-Stadium. Der LLM-Proxy unterstützt nur Text, kein Tool Calling. Token-Limits arbeiten mit Fenstern von Sekunden oder Minuten; Budgets kommen mit Version 4.13. Die Dokumentation hat sich häufig geändert.

Preismodell und Lizenz

Community Edition kostenlos; Planet ab USD 2500 pro Monat; Agent-Management-Paket auf Anfrage.Apache-2.0 core, AI policies enterprise

• ZugriffskontrolleOAuth 2.1 mit PKCE über Access Management, OpenFGA-Autorisierung im Enterprise-Auth-Paket, MCP Resource Server, Pläne und Portal.
• KostenkontrolleToken-Rate-Limits pro Plan oder Key in Sekunden- oder Minutenfenstern; Prompt-Token-Tracking; Budgets ab 4.13.
• RoutingModell-Aliase und semantisches Caching; LLM-spezifisches Balancing und Failover nicht dokumentiert.
• MonitoringOpenTelemetry-Tracing und APIM-Analytik; Exporter nicht verifiziert.
• GuardrailsPrompt-Guard und NER-basierte PII-Schwärzung im Gateway, noch im Alpha-Stadium; keine Anbindung an Drittanbieter-Moderation.
• Agenten und MCPMCP-Proxy mit ACL pro Methode, OpenAPI zu MCP, MCP Resource Server, A2A-Proxy mit Token-Austausch, Agenten-Katalog.
• Flexibler BetriebSaaS, hybrid oder selbst gehostet; gehostete Gateways auf Azure, AWS und Google Cloud, inklusive Schweiz.
• AnbieterunabhängigkeitApache-2.0-Kern und OpenAI-kompatibler Proxy; Guardrails, PII und MCP-ACL brauchen Enterprise-Pakete.

AI Gateway, Chat und Portal in einem Open-Source-Produkt unter AGPL, mit harten Budgets und Kostenanalytik. Enterprise ergänzt SSO, feingranulare Rollen und den Model Router.

Geeignet, wenn

Sie Budgets und ein Portal für interne Teams als Open Source wollen und den Betrieb selbst übernehmen.

Zu bedenken

AGPL-Copyleft passt nicht zu jeder Organisation. Modell-Routing, Budget-Durchsetzung mit Alerts und SSO gibt es nur in der Enterprise-Stufe. Kein semantischer Cache. MCP-Governance ist auf zwei Tyk-Produkte verteilt.

Preismodell und Lizenz

Community Edition kostenlos; Enterprise auf Anfrage, keine öffentlichen Preise.AGPL-3.0 community edition

• ZugriffskontrolleGruppen und Rollen mit Zugangsanfrage im Portal; SSO über OIDC, SAML und LDAP in der Enterprise-Stufe.
• KostenkontrolleHarte Budgets nach Betrag, Währung und Periode pro Organisation, Modell oder Entwickler; Kostenmetriken in Prometheus.
• RoutingModel Router mit Load Balancing und Failover in der Enterprise-Stufe; kein semantischer Cache.
• MonitoringAnalytik pro Anfrage, Prometheus-Metriken, OpenTelemetry-Korrelation, Compliance-Dashboard.
• GuardrailsSkriptbare Filter mit PII-Schwärzung und Response-Guard-Vorlagen; keine Drittanbieter-Integrationen gefunden.
• Agenten und MCPREST- und MCP-Tools mit eingeschränktem Zugriff; das vollständigere MCP-Gateway steckt im Tyk Gateway.
• Flexibler BetriebDocker, Helm oder Binary, selbst gehostet oder hybrid; SaaS-Verfügbarkeit nicht bestätigt.
• AnbieterunabhängigkeitVollständiger Quellcode unter AGPL, kein Lizenzschlüssel für die Community Edition.

Open-Source-Data-Plane in Rust für LLM-, MCP- und A2A-Verkehr unter der Linux Foundation, Nachfolger von Gloo AI Gateway. Solo verkauft eine Enterprise-Control-Plane mit Kostenbudgets.

Geeignet, wenn

Ihr Plattform-Team Kubernetes betreibt und ein von einer Stiftung getragenes Gateway für Agenten und MCP ebenso wie für Modelle will.

Zu bedenken

Setzt für den vollen Funktionsumfang Kubernetes voraus. Kein Portal und keine API-Lifecycle-Funktionen. Budgets werden nach der Antwort belastet und lassen Anfragen durch, wenn der Rate-Limit-Dienst ausfällt. Häufige Releases und wechselnde Produktnamen.

Preismodell und Lizenz

Open Source kostenlos; Enterprise auf Anfrage.Apache-2.0

• ZugriffskontrolleJWT, API-Keys, OAuth, SPIFFE-Identität und CEL-Regeln in Open Source; SAML und Zustimmungsdialoge in der Enterprise-Stufe.
• KostenkontrolleToken-Rate-Limits und Budgets pro Key in Open Source; Kostenbudgets, virtuelle Keys und Kostenmetriken in der Enterprise-Stufe.
• RoutingVirtuelle Modelle mit gewichtetem, Failover- und bedingtem Routing plus Retries; kein semantisches Routing gefunden.
• MonitoringOpenTelemetry-GenAI-Traces, Prometheus-Token- und Kostenmetriken, exportierbare Access-Logs.
• GuardrailsRegex, OpenAI-Moderation, Bedrock Guardrails, Model Armor, Webhooks und Tool-Call-Guards; Purview DLP in der Enterprise-Stufe.
• Agenten und MCPBreite MCP-Unterstützung mit Multiplexing, Tasks und Regeln pro Tool, dazu ein A2A-Gateway.
• Flexibler BetriebBinary oder Kubernetes auf jeder Infrastruktur, auch ohne Internetzugang; kein SaaS.
• AnbieterunabhängigkeitApache-2.0 unter Linux-Foundation-Governance mit Kubernetes Gateway API.

AI-Gateway- und MCP-Gateway-Erweiterungen für Traefik Hub auf Kubernetes: Token-Kontingente, semantischer Cache, Content- und LLM-Guards, OpenTelemetry.

Geeignet, wenn

Traefik Ihr Ingress ist und Sie KI- und MCP-Richtlinien dort wollen, wo Ihr Kubernetes-Verkehr bereits fliesst.

Zu bedenken

Nur Kubernetes; Redis ist für Token-Limits Pflicht. Response-Guards puffern Streams. Keine Kostenbudgets und keine Alerts. Mehrere Funktionen sind Early Access. Preise der Erweiterungen auf Anfrage.

Preismodell und Lizenz

Traefik Proxy kostenlos; Hub sowie die AI- und MCP-Erweiterungen auf Anfrage.

• ZugriffskontrolleOIDC, OAuth 2.1, JWT und LDAP, verwaltete Subscriptions, MCP-OAuth-Resource-Server, Token-Austausch.
• KostenkontrolleToken-Rate-Limits und Kontingente mit gleitendem Fenster pro Nutzer, Team oder Host; keine Kostenbudgets oder Alerts.
• RoutingModell-Matcher, Anbieter-Failover mit Circuit Breakern, semantischer Cache; kein Kosten- oder Latenz-Routing.
• MonitoringOpenTelemetry-GenAI-Metriken und -Traces, Streaming-Token-Metriken, manipulationssichere Transparenz-Logs.
• GuardrailsContent Guard mit Regex oder Presidio, LLM Guard mit Llama Guard, NeMo oder Granite, parallele Pipelines, MCP-Guards.
• Agenten und MCPMCP-Gateway mit aufgabenbasierter Zugriffskontrolle und Guards; kein A2A, Registry nicht verifiziert.
• Flexibler BetriebNur Kubernetes, selbst gehostet; Modus ohne Internetzugang; verwalteter Single-Tenant-Betrieb auf Anfrage.
• AnbieterunabhängigkeitProprietäre Hub-Erweiterungen, aber jeder OpenAI-kompatible Anbieter und Kubernetes-native Konfiguration.

AI-Gateway-Richtlinien im DataPower-Gateway von API Connect: Token-Limits, Caching und ein KI-Nutzungs-Dashboard für watsonx, OpenAI, Gemini und Azure OpenAI.

Geeignet, wenn

API Connect Ihre API-Plattform ist und Ihr Modellverkehr an wenige Anbieter geht.

Zu bedenken

Vier Anbieter, kein Load Balancing oder Failover, keine KI-spezifischen Guardrails. MCP-Funktionen sind Technology Preview. Die Dokumentation ist über Versionen verstreut.

Preismodell und Lizenz

API-Connect-Abonnement; kein separater Preis für das AI Gateway veröffentlicht.

• ZugriffskontrolleConsumer-Organisationen, OAuth und JWT, Entwicklerportal, Kontrolle pro Tool für MCP-Server.
• KostenkontrolleKI-Token-Rate-Limits pro API und ein Nutzungs-Dashboard nach Consumer, App und Modell; keine Ausgabenbudgets.
• RoutingNur exaktes Antwort-Caching; kein LLM-Balancing oder Failover gefunden.
• MonitoringDashboards zur KI-Nutzung; OpenTelemetry und Exporte nicht verifiziert.
• GuardrailsNur generische Schwärzungs- und Validierungsrichtlinien.
• Agenten und MCPREST-APIs als MCP-Tools mit Zugriffskontrolle pro Tool, in Technology Preview; kein A2A.
• Flexibler BetriebSaaS auf AWS, reservierte Instanzen auf IBM Cloud oder Software im eigenen Rechenzentrum.
• AnbieterunabhängigkeitProprietäres DataPower-Richtlinienmodell mit Proxys pro Anbieter.

Model Gateway, MCP Gateway und die von CalypsoAI stammenden AI Guardrails unter einer Control Plane. Im August 2026 neu lanciert und in Early Access; die Guardrails sind allgemein verfügbar.

Geeignet, wenn

F5 bereits Ihren Anwendungsverkehr abwickelt und Sie dessen Guardrails für alle Modelle nutzen wollen.

Zu bedenken

Das Gateway ist Early Access und die Dokumentation zurückgezogen, sodass die meisten Angaben auf Pressemitteilungen beruhen. Keine öffentlichen Preise. Betrieb ohne Internetzugang ist geplant, nicht verfügbar.

Preismodell und Lizenz

Auf Anfrage; kostenlose Testphasen für die Guardrails.

• ZugriffskontrolleRollenbasierter Zugriff laut Anbieter vorhanden; Identitätsanbindung nicht dokumentiert.
• KostenkontrolleToken-Messung und Budgets pro Team angekündigt; Early Access.
• RoutingFallback, Modellstufen, semantisches Caching und GPU-bewusstes Balancing angekündigt; Early Access.
• MonitoringDashboards, Audit-Trails und SIEM-Export laut Anbieter vorhanden; Dokumentation zurückgezogen.
• GuardrailsMehr als 20 Richtlinien inklusive PII-Schwärzung, Injection-Abwehr und Compliance-Paketen, auch im eigenen Rechenzentrum.
• Agenten und MCPMCP-Registry und Kontrollen pro Tool angekündigt; Early Access; kein A2A.
• Flexibler BetriebSaaS oder hybrid; Guardrails im eigenen Rechenzentrum; Gateway ohne Internetzugang geplant.
• AnbieterunabhängigkeitProprietär und an die F5-Plattform gebunden.

AI-Gateway-Funktionen im Open-Source-API-Manager und im SaaS-Angebot Bijira: Routing über mehrere Modelle, semantischer Cache, Guardrails, Token-Limits und ein MCP-Hub.

Geeignet, wenn

Sie KI-Funktionen auf API-Management-Niveau unter Apache-2.0 wollen, selbst gehostet oder als SaaS.

Zu bedenken

Streaming wird für KI-APIs auf dem klassischen Gateway nicht unterstützt. Zwei Gateway-Laufzeitumgebungen laufen im Übergang parallel. Bijira ist jung. Keine vereinheitlichte LLM-API dokumentiert. Kostenbudgets nicht verifiziert.

Preismodell und Lizenz

API Manager Open Source kostenlos; Bijira ab USD 119 pro Monat; Enterprise-Abonnement auf Anfrage.Apache-2.0

• ZugriffskontrolleOAuth 2.0 und Key Manager, Subscriptions, Rollen, Entwicklerportal, Autorisierung pro Tool für MCP.
• KostenkontrolleToken-Limits pro Subscription und Anwendung mit Kostenverfolgung; Kostenbudgets nicht verifiziert.
• RoutingRound-Robin- und gewichtetes Balancing, Failover, Modell-Routing und semantisches Caching.
• MonitoringMoesif-basierte Analytik und OpenTelemetry aufgeführt; Exporter nicht verifiziert.
• GuardrailsNeun dokumentierte eigene Guardrails, von Regex bis semantischem Prompt-Guard und PII-Maskierung, plus Azure Content Safety und Bedrock Guardrails.
• Agenten und MCPMCP-Proxy, REST zu MCP, MCP-Hub und Governance-Regelwerke; kein A2A.
• Flexibler BetriebSaaS, hybride Gateways, private Data Plane oder vollständig selbst gehostet.
• AnbieterunabhängigkeitApache-2.0 inklusive der KI-Funktionen.

Modell-Proxys sowie LLM-, MCP- und A2A-Richtlinien auf dem Omni Gateway, früher Flex Gateway, mit Agent Fabric als Registry. In den höheren Anypoint-Stufen enthalten.

Geeignet, wenn

Anypoint Ihre Integrationsplattform ist und Sie MCP- und A2A-Governance aus derselben Control Plane wollen.

Zu bedenken

Setzt die höheren Anypoint-Stufen voraus. KI-Richtlinien brauchen den Connected Mode, also kein Betrieb ohne Internetzugang. Semantisches Caching hängt von Azure AI Search ab. PII-Erkennung ist regex-basiert und US-zentriert.

Preismodell und Lizenz

Laut Anbieter-Blog in den Stufen Platinum, Titanium, Unlimited und Integration Advanced enthalten, nicht verifiziert; keine öffentlichen Preise.

• ZugriffskontrolleClient ID, OAuth, JWT und SLA-Stufen; attributbasierte Zugriffskontrolle mit Cedar für MCP-Tools.
• KostenkontrolleToken-Rate-Limits inklusive Reasoning-Tokens pro Client oder Nutzer; Nutzungsberichte pro App und Geschäftsbereich; keine Kostenbudgets verifiziert.
• RoutingModell-Routing, semantisches Routing nach Thema, Fallback und semantisches Caching.
• MonitoringAnypoint Monitoring mit Agenten-Telemetrie und API-Analytik; OpenTelemetry-Export nicht verifiziert.
• GuardrailsRegex-Prompt-Guard und musterbasierte PII-Erkennung; keine Drittanbieter-Moderation.
• Agenten und MCPBreiter Katalog an MCP- und A2A-Richtlinien mit Agent-Fabric-Registry und Visualizer.
• Flexibler BetriebVerwaltetes oder selbst verwaltetes Gateway, nur im Connected Mode.
• AnbieterunabhängigkeitProprietär, an Anypoint-Stufen und die Anypoint-Control-Plane gebunden.

LLM-Proxy, Routing über mehrere Anbieter, Token-Limits, Caching und Guardrail-Plugins auf dem Apache-APISIX-Gateway. API7 Enterprise ergänzt Rollen, SSO und Audit; AISIX ist das separate Rust-Gateway von API7.

Geeignet, wenn

Sie APISIX oder API7 bereits betreiben und LLM-Routing, Token-Limits und Guardrails als Plugins unter Apache-Lizenz wollen.

Zu bedenken

Open-Source-APISIX hat Admin-Keys, aber kein Dashboard-SSO, keine Rollen, kein Audit-Log, keine Budgets und keine MCP-Tool-Richtlinien; diese liegen in API7 Enterprise oder in AISIX. Das MCP-Bridge-Plugin ist abgekündigt. Eigene PII-Erkennung gibt es in AISIX, nicht in APISIX. Unterstützung der AI-Plugins in API7 Cloud nicht verifiziert.

Preismodell und Lizenz

Open Source kostenlos; API7 Enterprise pro CPU-Kern auf Anfrage; API7 Cloud Standard USD 250 pro Gateway-Gruppe und Monat plus USD 2 pro Million Aufrufe und USD 10 pro Service.Apache-2.0; API7 Enterprise proprietary

• ZugriffskontrolleConsumer-Keys, JWT und OIDC für Aufrufer; Admin-Keys mit Admin- oder Viewer-Rolle; Rollen, SSO, SCIM und Audit gehören zu API7 Enterprise, hier als separates Produkt bewertet.
• KostenkontrolleToken-Limits pro Consumer, Instanz oder Regel; Budgets mit Alerts weder in APISIX noch in API7 Enterprise gefunden.
• RoutingGewichtetes, Hash- und semantisches Balancing, priorisierter Fallback, Retries, Health Checks; exaktes Caching auf Redis, semantisches Caching braucht Redis Stack.
• MonitoringPrometheus-Token- und Latenzmetriken, OTLP-Traces über HTTP ohne OTel-Metriken oder -Logs, Token-Felder in Access-Logs, Logger für Splunk, Loki und ELK.
• GuardrailsRegex-Prompt-Guard plus Moderation über Lakera, AWS Comprehend und Aliyun; PII-Erkennung ist eine AISIX-Funktion.
• Agenten und MCPDas MCP-Bridge-Plugin ist abgekündigt; MCP-Tool-ACLs gehören zu API7 Enterprise und das MCP-Gateway zu AISIX, beide als separate Produkte bewertet.
• Flexibler BetriebSelbst gehostet über Docker, Helm oder Pakete; API7 Cloud hostet die Control Plane, die Data Planes bleiben bei Ihnen.
• AnbieterunabhängigkeitProjekt der Apache Software Foundation unter Apache-2.0 mit zehn Anbieteroptionen inklusive OpenAI-kompatibel.

LLM-Gateway, der frühere Lunar.dev-Proxy, kombiniert mit dem MCP-Gateway MCPX unter der Boomi Enterprise Platform. Die Dokumentation ist online; die Übernahme wurde im Juli 2026 ohne GA-Erklärung abgeschlossen, die Übersicht nennt das LLM-Gateway aber produktionsreif.

Geeignet, wenn

Boomi Ihre Integrationsplattform ist und Sie einen Anbieter für MCP-Tool-Governance und LLM-Verkehrskontrolle auf dem eigenen Kubernetes wollen.

Zu bedenken

Keine GA-Erklärung, keine Preisliste und keine Hosting-Region veröffentlicht. Kostenoptimiertes Routing wird beworben, aber die dokumentierte Richtlinie routet nach Token-Zahl oder Aufgabentyp. PII-Schwärzung deckt Kartennummern, E-Mail-Adressen und Telefonnummern ab; Schutz vor Prompt Injection ist undokumentiert. Kein OpenTelemetry, keine Traces.

Preismodell und Lizenz

Auf Anfrage; Boomi führt das Gateway ohne Preise; die früheren Lunar-Stufen (Free bis 50 Nutzer, Pro bis 100, Enterprise) nennen keine Beträge.MIT proxy and MCPX; control plane proprietary

• ZugriffskontrolleIdP-SSO, Gruppenzuordnung und Instanzen pro Identität in der MCP-Control-Plane in der Enterprise-Stufe; API-Keys und Team-Einladungen für das LLM-Gateway.
• KostenkontrolleAnfragekontingente mit festem Fenster nach URL, Header oder Consumer-Gruppe, verschachtelbar; Token-Zählung; keine Token- oder Kostenbudgets, keine Alerts.
• RoutingRouting nach Token-Zahl oder Aufgabe; Fallback ersetzt das Modell bei Status 429 bis 504; Retries mit exponentiellem Backoff; TTL-Cache; kein Balancing über einen Anbieter-Pool.
• MonitoringPrometheus-Metriken, Fluent-Bit-Export zu Datadog und Grafana, Access-Logs; MCP-Audit-Logs als lokales JSONL mit 14 Tagen Standardaufbewahrung; keine Traces.
• GuardrailsDie Datenbereinigung schwärzt Kartennummern, E-Mail-Adressen und Telefonnummern; MCP-Tool-Härtung und Risikobewertung; Schutz vor Injection laut Anbieter vorhanden, ohne Richtlinienseite.
• Agenten und MCPMCP-Gateway mit Tool-Gruppen pro Agent, gehärteten Tool-Varianten, OAuth zu Servern, JSONL-Audit-Logs und einer SSO-Control-Plane.
• Flexibler BetriebGehostete Admin-Konsole mit der Gateway-Laufzeit auf Ihren Linux-Hosts; MCP-Control-Plane auf Kubernetes in Ihrer VPC, im eigenen Rechenzentrum oder ohne Internetzugang; Docker und Helm fehlen auf den Boomi-Hilfeseiten.
• AnbieterunabhängigkeitProxy und MCPX sind MIT von einem Anbieter; OpenAI- und Anthropic-kompatible Endpunkte; die Control Plane ist proprietär.

Open-Source-Proxy für mehr als 100 Anbieter. Keys, Teams, Budgets, Logging und ein MCP-Gateway, im eigenen Cluster betrieben.

Geeignet, wenn

Sie ein unabhängiges Open-Source-Gateway im eigenen Cluster wollen und ein Plattform-Team haben, das es betreibt.

Zu bedenken

Python-Overhead und Speicherbedarf unter Last; eine Neuimplementierung in Rust ist in der Beta-Phase. Governance-Funktionen wandern zunehmend in die Enterprise-Lizenz. Ein Supply-Chain-Vorfall auf PyPI im März 2026 wurde eingedämmt.

Preismodell und Lizenz

Open Source, kostenlos. Enterprise-Lizenz pro Nutzer, auf Anfrage.MIT, enterprise features under a separate licence

• ZugriffskontrolleVirtuelle Keys, Nutzer, Teams und SSO; Organisationen und SSO ab sechs Nutzern brauchen die Enterprise-Lizenz.
• KostenkontrolleBudgets mit harten Limits pro Key, Nutzer, Team und Endkunde, dazu Rate Limits und Budget-Metriken.
• RoutingLoad Balancing, Fallbacks, Retries und Cooldowns über Deployments hinweg.
• MonitoringOpenTelemetry, Prometheus, Langfuse und Object Storage in Open Source; Datadog-Export nur in der Enterprise-Stufe.
• GuardrailsPresidio, Bedrock Guardrails, Azure Content Safety und weitere; Zuordnung pro Key nur in der Enterprise-Stufe.
• Agenten und MCPMCP-Gateway mit Berechtigungen pro Key und Team sowie OAuth; kein Freigabe-Workflow.
• Flexibler BetriebDocker, Helm und Kubernetes auf jeder Infrastruktur, auch ohne Internetzugang; die Managed Cloud ist kaum dokumentiert.
• AnbieterunabhängigkeitMIT-Lizenz und OpenAI-kompatible API; dahinter steht ein kleiner Anbieter.

Gateway mit Open-Source-Kern und gehosteter Control Plane für Keys, Budgets, Guardrails und MCP. Seit Mai 2026 Teil von Palo Alto Networks; die Dokumentation nennt es inzwischen Prisma AIRS AI Gateway.

Geeignet, wenn

Sie eine verwaltete Control Plane mit einem grossen Guardrail-Katalog wollen und akzeptieren, dass die Governance in der Cloud des Anbieters liegt.

Zu bedenken

Budgets und Rate Limits sind Enterprise-Funktionen. Das MCP-Gateway gibt es nur gehostet. Nach der Übernahme durch Palo Alto Networks sind Roadmap und Preise offen. Das Open-Source-Gateway hat seit Januar 2026 kein neues Release.

Preismodell und Lizenz

Kostenlose Stufe für Entwickler; USD 49 pro Monat für 100k Logs; Enterprise auf Anfrage.MIT gateway, hosted control plane

• ZugriffskontrolleSSO in der Enterprise-Stufe; Workspaces und Rollen ab der Production-Stufe; für MCP wird die Identität aus Ihrem IdP weitergereicht.
• KostenkontrolleKosten- oder Token-Budgets und Rate Limits pro Key und Workspace, mit Alerts, in der Enterprise-Stufe.
• RoutingGewichtetes Load Balancing, Fallbacks, Retries, bedingtes Routing und semantischer Cache.
• MonitoringLogs und Traces in allen Stufen; OpenTelemetry-, Datadog- und S3-Export in der Enterprise-Stufe.
• GuardrailsMehr als 50 eigene und Partner-Prüfungen mit den Aktionen Ablehnen, Protokollieren, Retry oder Fallback.
• Agenten und MCPGehostetes MCP-Gateway mit Registry, OAuth, Tool-Steuerung pro Nutzer und Limits für Tool-Aufrufe.
• Flexibler BetriebSaaS, hybrid mit Data Plane in Ihrer VPC, Private Cloud oder Open-Source-Selbstbetrieb.
• AnbieterunabhängigkeitKeys, Budgets und Richtlinien liegen in der gehosteten Control Plane; Eigentümer ist nun ein Security-Anbieter.

Proprietäres Gateway und MCP-Gateway mit selbst gehosteter Control Plane oder als SaaS. Identität, Kontingente, Guardrails und Audit in einem Produkt.

Geeignet, wenn

Sie eine vollständige Control Plane inklusive MCP-Governance mit Freigaben wollen, in der eigenen VPC oder im eigenen Rechenzentrum.

Zu bedenken

Nicht Open Source; auch beim Selbstbetrieb ist ein Lizenzschlüssel nötig. Eigene PII- und Injection-Prüfungen gibt es nur in der SaaS-Variante. Preise pro Nutzer summieren sich in grossen Organisationen.

Preismodell und Lizenz

Kostenlose Stufe für Entwickler; USD 25 pro Nutzer und Monat im Pro-Plan; Enterprise auf Anfrage.

• ZugriffskontrolleSSO und SCIM in der Enterprise-Stufe; Rollen, Teams, Service-Accounts und Keys pro Nutzer, Team und Anwendung.
• KostenkontrolleKosten- oder Token-Kontingente mit harter Durchsetzung; Rate Limits pro Nutzer, Modell und Anwendung.
• RoutingLoad Balancing nach Gewicht, Latenz oder Priorität mit Retries, Fallback und semantischem Cache.
• MonitoringOpenTelemetry-Metriken, -Traces und -Logs; Logs bleiben im eigenen Object Storage.
• GuardrailsEigene Prüfungen und über 20 Drittanbieter, zuweisbar pro Aufrufer, Modell oder Tool.
• Agenten und MCPMCP-Registry, OAuth, Tool-Berechtigungen, Freigaben für riskante Aufrufe und ein Audit-Trail.
• Flexibler BetriebSaaS, hybrid, in Ihrer VPC, im eigenen Rechenzentrum oder ohne Internetzugang, per Helm-Chart.
• AnbieterunabhängigkeitProprietäre Control Plane, aber über 30 Anbieter hinter einer OpenAI-kompatiblen API.

Open-Source-Gateway in Go mit virtuellen Keys, hierarchischen Budgets, semantischem Cache und MCP-Gateway. Die Enterprise-Stufe ergänzt SSO, Rollen und Clusterbetrieb.

Geeignet, wenn

Sie einen schnellen Open-Source-Kern mit eingebauten Budgets und MCP wollen und ihn selbst betreiben.

Zu bedenken

Junges Produkt eines kleinen Anbieters ohne SaaS-Option. Guardrails, SSO, rollenbasierter Zugriff und Hochverfügbarkeit sind Enterprise-Funktionen. Rate Limits gelten nur pro Key.

Preismodell und Lizenz

Open Source, kostenlos. Enterprise auf Anfrage.Apache-2.0

• ZugriffskontrolleVirtuelle Keys, Teams und Kunden in Open Source; SSO und Rollen in der Enterprise-Stufe.
• KostenkontrolleBudgets pro Key, Team und Kunde mit periodischem Reset und harter Sperre; Rate Limits nur pro Key.
• RoutingGewichtete Keys, Fallbacks und semantischer Cache; adaptives Balancing und Circuit Breaker nur in der Enterprise-Stufe.
• MonitoringPrometheus und OpenTelemetry nativ; Konnektoren für Datadog, BigQuery und Kafka.
• GuardrailsPII- und Secrets-Erkennung in der Enterprise-Stufe; Plugin-Hooks in Open Source.
• Agenten und MCPMCP als Client, Server und Agent, Tool-Zuordnung pro Key und OAuth pro Nutzer.
• Flexibler BetriebDocker, Kubernetes oder als Binary auf jeder Infrastruktur, auch ohne Internetzugang; kein SaaS.
• AnbieterunabhängigkeitApache-2.0-Kern und OpenAI-kompatible API; dahinter steht ein kleiner Anbieter.

Open-Source-Gateway auf Basis von Envoy Gateway, früher Envoy AI Gateway, heute ein Projekt der Linux Foundation. Token-basierte Limits, MCP-Gateway und OpenTelemetry für Kubernetes-Umgebungen.

Geeignet, wenn

Ihr Plattform-Team Kubernetes mit Envoy Gateway betreibt und eine von einer Stiftung getragene Data Plane statt eines Produkts will.

Zu bedenken

Kubernetes, Envoy Gateway und Redis sind Pflicht. Kein UI, keine Keys, keine Kostenbudgets und kein Nutzermodell. Guardrails sind noch nicht integriert.

Preismodell und Lizenz

Open Source, kostenlos. Kommerzieller Support von Tetrate.Apache-2.0

• ZugriffskontrolleDie Authentifizierung wird an Envoy-Gateway-Richtlinien delegiert (nicht verifiziert), dazu Tenant-Header; keine Nutzer- oder Team-Objekte.
• KostenkontrolleToken-basierte Rate Limits pro Tenant und Modell; keine Kostenbudgets, keine Alerts.
• RoutingFallback nach Priorität, Retries und Traffic-Aufteilung; semantischer Cache und semantisches Routing noch nicht veröffentlicht.
• MonitoringPrometheus-Metriken und OpenTelemetry-Tracing nach GenAI-Konventionen.
• GuardrailsNoch nicht verfügbar; eine Guardrail-Richtlinie ist in Arbeit.
• Agenten und MCPMCP-Gateway bündelt Server mit OAuth und regelbasierter Tool-Autorisierung.
• Flexibler BetriebNur Kubernetes mit Envoy Gateway; die eigenständige CLI ist experimentell.
• AnbieterunabhängigkeitApache-2.0 unter der Linux Foundation, gepflegt von mehreren Unternehmen.

Open-Source-Gateway im MLflow Tracking Server, 2026 neu entwickelt. Endpunkte für über 15 Anbieter mit Fallbacks, Nutzungserfassung und MLflow-Tracing.

Geeignet, wenn

Sie MLflow bereits betreiben und einen leichtgewichtigen, kontrollierten Endpunkt für ein Data-Science-Team wollen, keine unternehmensweite Control Plane.

Zu bedenken

In der aktuellen Form erst wenige Monate alt. Nur HTTP Basic Auth, keine Keys oder Teams, keine MCP-Unterstützung. Teilt den Namen mit dem alten Gateway; Databricks Unity Gateway, früher Mosaic AI Gateway, ist ein separates Produkt.

Preismodell und Lizenz

Open Source, kostenlos.Apache-2.0

• ZugriffskontrolleHTTP Basic Auth; keine Keys, Teams oder Rollen.
• KostenkontrolleNutzungserfassung pro Endpunkt und Team; Budget-Alerts laut Anbieter vorhanden, Limits nicht verifiziert.
• RoutingFallback-Ketten, Retries und Traffic-Aufteilung.
• MonitoringNutzungs-Dashboard und natives MLflow-Tracing.
• GuardrailsInhaltsfilter und LLM-Judges erwähnt; Funktionsumfang nicht dokumentiert.
• Agenten und MCPIm Open-Source-Gateway nicht vorhanden.
• Flexibler BetriebSelbst gehostet mit dem Tracking Server oder verwaltet auf Databricks.
• AnbieterunabhängigkeitApache-2.0 unter der Linux Foundation, von Databricks vorangetrieben.

Proprietäre Governance-Schicht mit OpenAI-kompatiblem Gateway für LLM-, MCP- und Agentenverkehr, Inventar, Budgets, Guardrails und Nachweisen für den EU AI Act. Läuft im eigenen Kubernetes; der Anbieter nennt Banca d'Italia und Leonardo als Nutzer.

Geeignet, wenn

Sie eine regulierte EU-Organisation sind, ein Single-Tenant-Gateway mit EU-AI-Act-Nachweisen im eigenen Kubernetes wollen und ein proprietäres Produkt ohne Selbstbedienung akzeptieren.

Zu bedenken

Die öffentliche Dokumentation hinkt der Website hinterher; sie beschreibt eine gehostete Web-App, dokumentiert Failover und zwei Guardrail-Typen. SSO über OIDC und SAML, Retries und Routing nach Komplexität stehen auf der Website, nicht in der Dokumentation; OpenTelemetry nicht dokumentiert. Keine öffentlichen Preise, Release Notes oder Quellcode.

Preismodell und Lizenz

Jährliches Enterprise-Abonnement, im Voraus verrechnet und nach Umfang angeboten; keine öffentlichen Preise; der Verbrauch bei den Modellanbietern wird separat verrechnet.

• ZugriffskontrolleKeys pro App, vier Mandantenrollen, Anmeldung über Google oder Microsoft mit 2FA; SSO über OIDC und SAML mit Gruppenzuordnung aus dem IdP laut Plattformseite, in der Dokumentation nicht enthalten.
• KostenkontrolleBudgets pro App, Team und Modell mit harten Limits, Alerts und Verrechnung laut Produktseiten; die Dokumentation zeigt Dashboards, keine Budget-Einstellungen.
• RoutingFailover dokumentiert; Balancing, Retries und Routing nach Komplexität laut Website; semantischer Cache nicht verifiziert.
• MonitoringTraces mit Guardrail-Entscheiden, Kosten und Latenz; Events an Splunk, Datadog, Grafana und Snowflake; OpenTelemetry nicht verifiziert.
• GuardrailsToxizität, PII, Prompt Injection und EU-AI-Act-Prüfungen auf der Website; zwei Typen dokumentiert; keine Integrationen verifiziert.
• Agenten und MCPMCP-Server-Registry, Agenten-Authentifizierung und A2A-Richtlinien laut Website; Tool-Allowlists pro Identität nicht gefunden; kein MCP-Material in der öffentlichen Dokumentation.
• Flexibler BetriebHelm-Charts in Ihr Kubernetes auf Azure, AWS, GCP, im eigenen Rechenzentrum oder ohne Internetzugang; keine gehostete Option.
• AnbieterunabhängigkeitProprietäre Lizenz; OpenAI-kompatible API; die Dokumentation führt Integrationen für OpenAI, Google, Azure, Anthropic, AWS und OpenRouter.

Open-Core-Gateway in Go von NeuralTrust für LLM-, MCP- und Agentenverkehr mit Routing, Budgets, Tracing und Tool-Zugriff pro Nutzer. Das Repository stammt vom Mai 2026 und liegt vor Version 1.0.

Geeignet, wenn

Sie ein Gateway für Modelle und MCP-Tools mit Tool-Zugriff pro Nutzer wollen, einen jungen Open-Core-Kern akzeptieren und allenfalls den Erkennungsdienst des Anbieters kaufen.

Zu bedenken

Vier Monate alt, vor Version 1.0, zehn GitHub-Sterne. Injection- und PII-Erkennung brauchen den proprietären Dienst TrustGuard. Budgets stoppen kurz nach der Grenze und haben keine Alerts. Gestreamte Antworten lassen sich nicht blockieren. Kein Prometheus-Endpunkt gefunden.

Preismodell und Lizenz

Open Source kostenlos; kostenlose SaaS-Registrierung; keine öffentliche Preisliste; Enterprise auf Anfrage.Apache-2.0; SSO, roles, audit and detection proprietary

• ZugriffskontrolleAnwendungs-Keys, Okta- oder Entra-ID-Tokens und OAuth2 PKCE für Agenten; Konsolen-SSO und Rollen; SCIM beschränkt auf Microsoft Entra ID; Stufenzuordnung nicht dokumentiert.
• KostenkontrolleToken- oder Dollar-Budgets pro Gateway, Anwendung und Endnutzer mit Ablehnen oder Herabstufen; Listenpreise, sofern keine Vertragspreise hinterlegt sind; weiche Grenze, keine Alerts.
• RoutingRound-Robin-, gewichtetes und Least-Connections-Balancing, Health Checks, Fallback-Ketten, Routing nach Komplexität, semantischer Cache auf Redis.
• MonitoringTraces pro Anfrage, Analytik, OTLP-Exporter pro Gateway, Zuordnung zu Endnutzern, Weiterleitung von Alerts ans SIEM, Audit-Logs 365 Tage mit CSV- oder JSON-Export; Prometheus nicht verifiziert.
• GuardrailsRegex-Maskierung eingebaut; Integrationen mit OpenAI, Azure, Bedrock und Model Armor; Injection, PII und Toxizität brauchen TrustGuard.
• Agenten und MCPMCP-Ebene mit OAuth2 PKCE, Tool-Einschränkungen pro Anwendung, Freigaben pro Nutzer, Rate Limits pro Tool und nachverfolgten Aufrufen.
• Flexibler BetriebEinzelnes Binary oder Helm, auch ohne Internetzugang; SaaS mit nicht dokumentierten Hosting-Regionen; hybride und verwaltete Optionen, Stufenzuordnung nicht dokumentiert.
• AnbieterunabhängigkeitApache-2.0 von einem Anbieter, laut Dokumentation 14 Anbieter hinter einer OpenAI-kompatiblen API; SSO, Audit und Erkennung sind proprietär.

Edge-Gateway mit Caching, Rate Limits, Ausgabenlimits, Logs und Guardrails für über 14 Anbieter. Die Kernfunktionen sind in jedem Cloudflare-Plan kostenlos.

Geeignet, wenn

Sie rasch Kontrolle ohne eigene Infrastruktur wollen und die Verarbeitung von Prompts im globalen Edge-Netzwerk für Sie akzeptabel ist.

Zu bedenken

API-Tokens lassen sich nicht auf ein Gateway beschränken. Prompts werden standardmässig protokolliert. Guardrails unterstützen kein Streaming. Dynamisches Routing hängt noch an einem veralteten Endpunkt. Keine Option für Verarbeitung in der Schweiz oder in einer festen Region.

Preismodell und Lizenz

Kernfunktionen kostenlos; 100k Logs kostenlos, 10 Mio. Logs und Logpush mit Workers Paid; 5 Prozent Gebühr auf Guthaben über Unified Billing; keine Gebühr für eigene Keys.

• ZugriffskontrolleCloudflare Access ergänzt SSO und Identität pro Nutzer; API-Tokens erreichen jedes Gateway im Konto.
• KostenkontrolleAusgabenlimits in USD nach Modell, Anbieter, Nutzer oder Metadaten, mit Fallback-Routing; Rate Limits pro Gateway.
• RoutingDynamische Routen, Retries und Exact-Match-Cache; semantischer Cache geplant.
• MonitoringLogs mit vollem Payload und Logpush-Export; kein OpenTelemetry-Export; Speicherlimits stoppen das Logging ohne Hinweis.
• GuardrailsLlama-Guard-Kategorien und Cloudflare-One-DLP-Profile; kein Streaming.
• Agenten und MCPMCP-Governance liegt in Cloudflare One, nicht im Gateway.
• Flexibler BetriebNur SaaS am globalen Edge; nicht kompatibel mit Regional Services.
• AnbieterunabhängigkeitStandard-Requestformate und eigene Keys; Abrechnung, Routing-Konfiguration und Access sind Cloudflare-spezifisch.

Ein Endpunkt für über 200 Modelle mit Anbieter-Failover, Budgets, einer Option ohne Datenaufbewahrung und ohne Aufschlag auf Tokens.

Geeignet, wenn

Ihre Anwendungen auf Vercel laufen und Sie Failover und Budgets ohne eigenes Gateway wollen.

Zu bedenken

Budgets sind weiche Limits und schliessen eigene Keys aus. Anfragen mit eigenen Keys können auf Vercel-Zugangsdaten zurückfallen. Keine Inhalts-Guardrails, keine MCP-Governance, kein Audit-Trail auf Prompt-Ebene. Verarbeitungsregion noch nicht festlegbar.

Preismodell und Lizenz

Kein Aufschlag auf Tokens; vorausbezahltes Guthaben; Allowlists, Zero Data Retention und Reporting pro 1000 Anfragen verrechnet.

• ZugriffskontrolleTeam-Keys mit Rollen und einer Budget-Manager-Berechtigung; Keys erlöschen, wenn ihr Ersteller das Team verlässt.
• KostenkontrolleBudgets pro Team, Projekt, Key und Nutzer mit Alerts; weiche Limits, Ausgaben mit eigenen Keys zählen nicht.
• RoutingAnbieter-Failover, Fallback-Ketten, Routing-Regeln, virtuelle Modelle und Steuerung des Prompt-Caches.
• MonitoringMetadaten-Logs und OpenTelemetry Trace Drains ohne Prompt-Inhalte.
• GuardrailsKeine; nur Allowlists, Zero Data Retention und Safety Identifiers.
• Agenten und MCPIm Gateway nicht vorhanden.
• Flexibler BetriebNur SaaS; die Inferenzregion lässt sich auf die USA oder die EU festlegen.
• AnbieterunabhängigkeitStandardformate und eigene Keys; Routing-Regeln und Guthaben sind Vercel-spezifisch.

Router für über 400 Modelle von über 80 Anbietern, mit Guthabenlimits, Guardrails und Export in 19 Observability-Ziele. Übernahme durch Stripe im August 2026 vereinbart.

Geeignet, wenn

Sie Zugang zu mehreren hundert Modellen ohne Infrastruktur wollen und mit einem US-zentrierten Dienst leben können.

Zu bedenken

Ausstehende Übernahme durch Stripe. 5,5 Prozent Gebühr auf Guthaben und eine Gebühr auf eigene Keys oberhalb eines Freibetrags. In-Region-Routing und Datenregion-Guardrails brauchen den Business- oder Enterprise-Plan. Prompt-Injection-Erkennung ist regex-basiert.

Preismodell und Lizenz

Kein Aufschlag auf Tokens; 5,5 Prozent Gebühr auf Guthabenkäufe; Business- und Enterprise-Pläne auf Anfrage.

• ZugriffskontrolleOrganisationen, Workspaces, SSO und SCIM in der Enterprise-Stufe; nur die Rollen Admin und Mitglied.
• KostenkontrolleGuthabenlimits pro Key mit Reset, Guardrail-Budgets pro Mitglied oder Key, harter Stopp bei aufgebrauchtem Guthaben.
• RoutingAnbietersortierung nach Preis, Durchsatz oder Latenz, Fallbacks, Zero-Data-Retention-Filter und ein Auto-Router.
• MonitoringStandardmässig Metadaten, Prompt-Logging auf Wunsch; Broadcast an Datadog, Langfuse, OpenTelemetry und mehr.
• GuardrailsBudgets, Allowlists, Zero Data Retention, PII-Schwärzung und regex-basierte Injection-Filter.
• Agenten und MCPKeine MCP-Governance.
• Flexibler BetriebSaaS; In-Region-Routing für die EU und die USA in Business- und Enterprise-Plänen.
• AnbieterunabhängigkeitOpenAI-kompatibel mit eigenen Keys; Guthaben und Routing-Konfiguration sind OpenRouter-spezifisch.

Router für über 300 Modelle mit Ausgabenlimits, MCP-Gateway und regionalen Endpunkten in der EU, den USA und Asien. Junger Anbieter aus London in der Seed-Phase.

Geeignet, wenn

Sie eine in der EU gehostete Routing-Ebene mit MCP-Governance und ohne Infrastruktur wollen, in kleinem Massstab.

Zu bedenken

Junger Anbieter in der Seed-Phase, SOC 2 in Vorbereitung. 5 Prozent Aufschlag bei nutzungsbasierter Abrechnung. Prompts werden standardmässig 30 Tage aufbewahrt. Bei nutzungsbasierter Abrechnung sehen alle Mitglieder die Analytik. Der EU-Endpunkt legt nicht fest, wo das Modell läuft.

Preismodell und Lizenz

Kostenlose Stufe; nutzungsbasiert mit 5 Prozent Aufschlag; Enterprise auf Anfrage.

• ZugriffskontrolleEnterprise-SSO, fünfstufige Rollen und Audit-Logs; nutzungsbasierte Abrechnung zeigt Daten allen Mitgliedern.
• KostenkontrolleMonatliche Limits pro Key, Nutzer und Gruppe mit Alerts; Reset nur monatlich.
• RoutingFallback-Ketten mit Retries, gewichtetes Load Balancing und Latenz-Routing.
• MonitoringAnalytik pro Key, Nutzer und Modell mit CSV-Export; kein OpenTelemetry-Streaming dokumentiert.
• GuardrailsPII- und Secrets-Erkennung mit Maskierung; Injection- und Moderationsprüfungen nicht dokumentiert.
• Agenten und MCPMCP-Gateway mit Tool-Allowlists pro Server und Keys pro Nutzer in der Enterprise-Stufe.
• Flexibler BetriebNur SaaS, mit Endpunkten in der EU, den USA und Asien.
• AnbieterunabhängigkeitOpenAI-kompatibel mit eigenen Keys; Richtlinien und MCP-Konfiguration liegen bei Requesty.

In der EU gehostetes SaaS-Gateway der Gründer von Nord Security, laut Website über 200 Modelle und laut Dokumentation über 99, hinter einem OpenAI-kompatiblen Endpunkt, mit Ausgabenlimits und einem Arbeitsbereich für Mitarbeitende. Zertifiziert nach SOC 2 Typ II und ISO 27001.

Geeignet, wenn

Ihnen ein in der EU gehostetes, verwaltetes Gateway mit Ausgabenlimits und einem kontrollierten Arbeitsbereich für Mitarbeitende wichtiger ist als Selbstbetrieb, Log-Export oder MCP-Richtlinien.

Zu bedenken

SaaS. Logs werden sieben Tage aufbewahrt, Exporte laufen über den Anbieter. SSO, Rollen und Audit-Logs liegen in der Enterprise-Stufe. Das MCP-Gateway ist als demnächst verfügbar markiert, und der Status eigener Anbieter-Keys wird uneinheitlich angegeben.

Preismodell und Lizenz

Nutzungsbasiert zu Anbietertarifen plus 5 Prozent Plattformgebühr; Arbeitsplätze USD 39 pro Monat; API-Zugang braucht einen bezahlten Plan plus API-Guthaben; Enterprise auf Anfrage.

• ZugriffskontrolleNutzer- und Team-Keys mit Ablaufdatum; SSO, Rollen und Audit-Logs in der Enterprise-Stufe; SCIM und OIDC nicht verifiziert.
• KostenkontrolleBudgets pro Team und Nutzer mit hartem Stopp per HTTP 402; Keys übernehmen das Budget des Inhabers; Nutzungs-API für die Kostenzuordnung; Alerts nicht verifiziert.
• RoutingModell-Fallbacks dokumentiert; Smart Routing für Chat dokumentiert und für die API laut Anbieter vorhanden; Load Balancing laut Website; Retries und semantischer Cache nicht verifiziert.
• MonitoringLogs mit Spans für sieben Tage, Metriken für 90 Tage, Nutzungs-API; Exporte auf Anfrage; kein OpenTelemetry dokumentiert.
• GuardrailsEigene PII- und Regex-Validatoren, die schwärzen oder blockieren; ActiveFence und Pangea auf der Website genannt, ohne Dokumentationsseite; Injection-Erkennung nicht verifiziert.
• Agenten und MCPMCP-Gateway als demnächst verfügbar gelistet; MCP-Server lassen sich auf Organisationsebene im Arbeitsbereich für alle Mitglieder einbinden; keine Tool-Richtlinien pro Nutzer.
• Flexibler BetriebSaaS in Europa gehostet; die Dokumentation markiert den Standort jedes Modells als EU, USA oder andere; keine Option für Selbstbetrieb oder die eigene Cloud.
• AnbieterunabhängigkeitProprietär, OpenAI-kompatible API über 13 Anbieter; nicht selbst betreibbar; eigene Anbieter-Keys als demnächst verfügbar markiert.