KI-GATEWAY FÜR UNTERNEHMEN · ZENTRALE GOVERNANCE · SELBST GEHOSTET

Immer mehr Modelle, eigenständig handelnde Agenten und die Anbindung von KI an weitere Geschäftssysteme machen Governance unverzichtbar. ShieldON schafft umfassende Transparenz, damit Sie Risiken, Kosten und Zugriffe auch bei wachsender KI-Nutzung im Griff behalten.

app.shieldon.ai/workspaces/ws_4a9f…/overview

Demo-Konsole: Übersicht mit Anfragekennzahlen und aktuellen Anfragen. Statische Beispieldaten ausschließlich zur Veranschaulichung.

Architektur

Jede Anwendung und jeder Agent auf der einen Seite. Jedes Modell auf der anderen. ShieldON dazwischen.

Anwendungen, Agenten und Tools im Unternehmen erreichen Cloud-Modelle und lokale Modelle über ShieldON. Anfragen werden um sensible Daten bereinigt, bevor sie das Unternehmen verlassen, jede Anfrage geht an das passende Modell, jeder Aufruf landet im Nutzungsbuch, und Ihr eigener KI-Agent kann die Richtlinien ändern.

Innerhalb der Unternehmensgrenze rufen Anwendungen, Agenten, Tools und Assistenten Cloud-Modelle und lokale Modelle über das ShieldON-KI-Gateway auf, und die Antworten kommen auf demselben Weg zurück. Sicherheitsregeln bereinigen jede Anfrage um sensible Daten, bevor sie das Unternehmen verlässt; das Routing schickt einfache Anfragen an lokale Modelle und komplexe an Frontier-Modelle, mit Fallbacks; jede Anfrage wird mit Schlüssel, Route und Tokens im Nutzungsbuch erfasst; aus der Nutzung entstehen Vorschläge zum Einsparen von Tokens; und der eigene KI-Agent des Unternehmens liest die Nutzung, legt Richtlinien fest und veröffentlicht ein Release über die API.

LLM-INTEGRATIONEN

Anbieter einmal verbinden. Wechseln, kombinieren und Ausfälle abfangen, ohne Anwendungscode zu ändern.

OpenAI, Anthropic, Gemini, Bedrock, Alibaba Cloud Bailian, DeepSeek und dreißig weitere Anbieter hinter einem OpenAI-kompatiblen Endpunkt. Anbieterschlüssel werden in ShieldON verschlüsselt gespeichert und nur ausgewählten Workspaces zugewiesen. Anwendungen sehen ausschließlich einen ShieldON-Schlüssel. Chat, Responses, Embeddings, Images und Audio werden je nach Modell unterstützt.

Funktionsübersicht

Beispielhafte Funktionsübersicht

OperationStreamingToolsNutzung
shieldon-chat
Chat Completions
Unterstützt
Unterstützt
Unterstützt
Responses
Unterstützt
Unterstützt
Unterstützt
Messages
Unterstützt
Unterstützt
Unterstützt
shieldon-embed
Embeddings
Nicht unterstützt
Nicht unterstützt
Unterstützt
  • OpenAI
  • Azure OpenAI
  • Microsoft Foundry
  • GitHub Models
  • Anthropic
  • Google Gemini / Vertex AI
  • AWS Bedrock
  • Alibaba Cloud Bailian
  • Zhipu AI
  • DeepSeek
  • Moonshot AI
  • MiniMax
  • Groq
  • Together AI
  • Fireworks AI
  • OpenRouter
  • xAI
  • Perplexity
  • Cerebras
  • DeepInfra
  • Nebius
  • SambaNova
  • SiliconFlow
  • Novita AI
  • Jina AI
  • Voyage AI
  • Cloudflare Workers AI
  • Hugging Face
  • Ollama
  • vLLM
  • LocalAI
  • Databricks
  • Allgemein OpenAI-kompatibel

01 · WER RUFT DIE API AUF?

Erkennen Sie Anwendung, Team und Umgebung hinter jedem Aufruf, bevor er das Modell erreicht.

Jede Anwendung erhält einen eigenen Gateway-API-Schlüssel mit Regeln für erlaubte Modelle, erforderlichen Anfragekontext und zulässige Netzwerke. Schlüssel lassen sich unterbrechungsfrei rotieren. Der Anbieterschlüssel verlässt ShieldON nie.

Beispielhafte Gateway-Antworten

    Demo-Konsole: Der Gateway-API-Schlüssel billing-assistant erhält vier Metadatenvariablen und wird auf 203.0.113.0/24 beschränkt. Eine Anfrage von einer anderen Adresse wird abgewiesen.

    Gateway-API-Schlüssel erstellen

    Benennen Sie den Schlüssel und bestimmen Sie seine erlaubten Aufrufe. Die Anwendung erhält ein eigenes Geheimnis; die Anbieterzugangsdaten bleiben bei Ihnen.

    Jede Anfrage muss sich identifizieren

    Legen Sie fest, welche Angaben jeder Aufruf enthalten muss: Anwendung, Umgebung, Team, Projekt, Kunde, Nutzer, Funktion oder Sitzung. ShieldON lehnt unvollständige Aufrufe ab. Dieselben Felder dienen später der Kostenzuordnung.

    Nur aus den vorgesehenen Netzwerken

    Beschränken Sie einen Schlüssel auf Ihre Netzwerkbereiche. Anfragen aus anderen Netzen werden abgewiesen, bevor sie ein Modell erreichen.

    Organisationen und Workspaces trennen Abteilungen, Produkte und Umgebungen mit jeweils eigenen Mitgliedern und Rollen.

    02 · WELCHE INFORMATIONEN WERDEN AN DAS LLM GESENDET?

    Kartennummern, Ausweisnummern und API-Schlüssel werden an der Grenze gestoppt. Prompts werden standardmäßig nie gespeichert.

    Eine gemeinsame Sicherheitsgrenze für alle Anwendungen. ShieldON prüft Ein- und Ausgaben auf personenbezogene Daten und Zugangsdaten. Ihre Richtlinien entscheiden, ob der Aufruf markiert oder blockiert wird. Protokolliert wird nur die Entscheidung, niemals der gefundene Inhalt. Prompts, Ausgaben und Embeddings werden standardmäßig überhaupt nicht gespeichert.

    • Personenbezogene Daten: E-Mail-Adressen, Telefonnummern, Ausweisnummern, Zahlungskartennummern, US-Sozialversicherungsnummern
    • Geheimnisse: private Schlüssel, Sitzungstokens, Cloud- und SaaS-Zugangsdaten, in Prompts eingefügte Passwörter
    • Eigene Regeln: Schlüsselwörter, reguläre Ausdrücke, Freigabelisten für Tool-Aufrufe oder Ihr Richtliniendienst über einen gesicherten Webhook
    • Beginnen Sie im Überwachungsmodus, um Treffer zu prüfen. Aktivieren Sie anschließend die Blockierung, sobald Sie sicher sind.

    Demo-Konsole: Das Schutzprofil blockiert eine Anfrage mit einer Zahlungskartennummer. Eine zweite Anfrage wird zugelassen. Das Aktivitätsprotokoll speichert nur einen Begründungscode.

    Blockierung vor dem Anbieter: ShieldON lehnt die Anfrage vollständig ab, statt sie unbemerkt umzuschreiben. Gespeichert wird nur der Grund, niemals der gefundene Wert.

    DATENSCHUTZ ALS STANDARD

    • Prompt-Text
    • Modellausgabe
    • Tool-Argumente
    • Webhook-Inhalte
    • Embedding-Vektoren
    AufgezeichnetBetriebsmetadaten · Nutzung · Audit-Ereignisse · Routing · Fehler

    Benötigen Sie Inhalte kurzfristig zur Fehlersuche? Dafür ist eine ausdrückliche, gesonderte Vereinbarung erforderlich. Die Daten werden verschlüsselt gespeichert und jeder Zugriff wird protokolliert.

    Demo-Konsole: Anfragedetails req_48e5aa — Logisches Modell shieldon-chat, Anbieter-ID openai-prod, Status Succeeded, Latenz 812 ms. Erfasste Inhalte: Die Inhaltserfassung war deaktiviert oder für diese Anfrage wurde kein Inhalt aufbewahrt.

    BEISPIELHAFTER ABRECHNUNGSDATENSATZ

    Felder des ausschließlich ergänzbaren Nutzungs- und Kostenbuchs; keine Konsolenansicht.
    request_id
    req_48e5aa
    actual_route
    @openai-prod/gpt-4.1
    input_tokens
    1,016
    output_tokens
    188
    cached_input_tokens
    0
    route_attempts
    1
    retries
    0
    metadata.application
    support-bot
    metadata.environment
    production
    credits
    0.42

    03 · WIE SOLL DAS VERHALTEN GESTEUERT WERDEN?

    Anbieter wechseln, Ausgaben begrenzen und in Minuten zurücksetzen. Ohne Codeänderung oder Hotfix.

    Anwendungen verwenden einen stabilen Modellnamen. Sie bestimmen die Ziele dahinter: einen Anbieter, ein Ausweichziel, gewichtete Lastverteilung oder regelbasierte Auswahl. Ratenlimits und Budgets greifen vor jedem Anbieteraufruf. Jede Änderung wird als geprüftes Release aktiviert und lässt sich mit einem Klick zurücksetzen.

    Demo-Konsole: Fallback fängt einen 429-Fehler ab; eine Richtlinie blockiert bei 600 RPM; ein Credits-Budget stoppt Aufrufe am Limit und wird angepasst; ein Release wird veröffentlicht und zurückgesetzt.

    Beispielhafte Routing-Versuche · req_9b21c4

    • Versuch 1 · @openai-prod/gpt-4.1

      Fallback, den Aufrufer nicht bemerken

      Bei Ratenlimits oder Zeitüberschreitungen des primären Anbieters wiederholt ShieldON den Aufruf und wechselt zum nächsten freigegebenen Ziel. Die Anwendung erhält eine erfolgreiche Antwort mit einer Anfrage-ID. Zusätzliche Fehlerbehandlung oder erneute Bereitstellung ist nicht nötig.

      Testen Sie Failover mit Ihren eigenen Anbietern und Modellen, bevor Sie sich darauf verlassen.

      Limits je Modell, mit einem Plan für Störungen

      Begrenzen Sie Anfragen, Tokens und gleichzeitige Aufrufe pro Modell. Für den Ausfall der Limitprüfung legen Sie vorab fest, ob Sicherheit oder Verfügbarkeit Vorrang hat.

      Credits-Budgets, die tatsächlich stoppen

      Budgets je Workspace oder Anwendungsschlüssel, täglich, wöchentlich oder monatlich in Ihrer Zeitzone. Bei Erschöpfung stoppen Aufrufe oder es erscheint eine Warnung. Sie entscheiden. Jede Aufstockung wird protokolliert; niemand erhöht das Limit unbemerkt.

      Jede Änderung geprüft. Jedes Release rücksetzbar.

      Validieren Sie den Entwurf, vergleichen Sie ihn mit dem aktiven Stand, genehmigen und veröffentlichen Sie ihn. Bei Problemen kehren Sie mit einem Klick zum letzten funktionierenden Release zurück. Das Gateway verwendet ausschließlich veröffentlichte Releases.

      04 · WIE KANN SICH DAS SYSTEM MIT DER ZEIT VERBESSERN?

      Jeder Aufruf hat einen Verantwortlichen. Jede Ausgabe ist zugeordnet. Jede Änderung trägt einen Namen.

      ShieldON führt zwei Aufzeichnungen: Nutzung und Kosten jeder Anfrage sowie jede Änderung der Steuerungsebene. Damit sehen Sie schon heute, welche Anwendung, welches Team oder welcher Kunde die monatlichen Kosten verursacht. Diese Daten bilden auch die Grundlage für den geplanten Verbesserungszyklus mit menschlicher Freigabe.

      Kosten nach Anwendung, Team oder Kunde zuordnen, ohne Tabellenkalkulation.

      Jede Anfrage enthält den geforderten Kontext: Anwendung, Umgebung, Team, Projekt, Kunde, Nutzer, Funktion und Sitzung. ShieldON erfasst dazu Tokens, das tatsächlich verwendete Modell, Wiederholungen und Fehler. So können Sie Kosten nach den Anforderungen Ihrer Finanzabteilung aufschlüsseln. Bild- und Audiopreise sind anbieterübergreifend noch nicht vollständig vereinheitlicht.

      • application
      • environment
      • team
      • project
      • customer
      • user
      • feature
      • session_id
      curl "https://gateway.example.com/v1/chat/completions" \  -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "model": "shieldon-chat",    "messages": [{"role":"user","content":"Hello"}],    "metadata": {      "application": "support-bot",      "environment": "production"    }  }'

      BEISPIELHAFTER ABRECHNUNGSDATENSATZ

      Felder des ausschließlich ergänzbaren Nutzungs- und Kostenbuchs; keine Konsolenansicht.
      request_id
      req_48e5aa
      actual_route
      @openai-prod/gpt-4.1
      input_tokens
      1,016
      output_tokens
      188
      cached_input_tokens
      0
      route_attempts
      1
      retries
      0
      metadata.application
      support-bot
      metadata.environment
      production
      credits
      0.42

      Diese Zeile zeigt alles, was ShieldON gespeichert hat: wer, wie viel, welche Route und welche Kosten. Kein Prompt.

      Ein Änderungsprotokoll, das niemand bearbeiten kann.

      Wer hat was erstellt, geändert, veröffentlicht, zurückgesetzt oder rotiert, wann und von wo? Jeder Eintrag bleibt dauerhaft bestehen. Vorfallanalysen beginnen mit Fakten.

      1. Nutzung beobachten
      2. Muster erkennen
      3. Verbesserungen vorschlagen
      4. Validieren und bewerten
      5. GenehmigenMenschliche Freigabe erforderlich
      6. Veröffentlichen
      7. Ergebnisse messen

      Demo-Konsole: Anfragemetadaten erscheinen im Nutzungsbuch; das Audit-Protokoll zeigt Veröffentlichungen, Schlüsselrotationen, Rücksetzungen und Aktualisierungen.

      ANFRAGEABLAUF

      Jeder Aufruf durchläuft denselben Weg. An jedem Schritt können Sie Regeln festlegen.

      Authentifizieren, Absender prüfen, veröffentlichte Richtlinien laden, Eingaben untersuchen, Route wählen, Limits und Budget prüfen, Anbieter aufrufen, bei Bedarf ausweichen, Ausgaben prüfen, Kosten erfassen und den Ablauf protokollieren. Kein Schritt wird übersprungen. Die Kapitel oben folgen diesem Ablauf.

      1. Eingang
      2. Anfrage-ID
        Kapitel 04, Wie verbessert sich das System?
      3. Gateway-API-Schlüsselauthentifizierung
        Kapitel 01, Wer ruft die API auf?
      4. Organisations-/Workspace-Autorisierung
        Kapitel 01, Wer ruft die API auf?
      5. Veröffentlichter Richtlinienstand
        Kapitel 03, Wie wird das Verhalten gesteuert?
      6. API-Adapter
      7. Sicherheitsregeln (Eingabe)
        Kapitel 02, Welche Daten werden gesendet?
      8. Router→ @openai-prod/gpt-4.1
        Kapitel 03, Wie wird das Verhalten gesteuert?
      9. Vorprüfung: Rate/Tokens/Parallelität/Budget
        Kapitel 03, Wie wird das Verhalten gesteuert?
      10. Anbieteradapter
      11. Wiederholung/Fallback429 → @bailian/qwen-max
        Kapitel 03, Wie wird das Verhalten gesteuert?
      12. Stream-Normalisierung
      13. Sicherheitsregeln (Ausgabe)
        Kapitel 02, Welche Daten werden gesendet?
      14. Nutzungs- und Kostenerfassung
        Kapitel 04, Wie verbessert sich das System?
      15. Asynchrone Nutzungsprotokolle / Audit
        Kapitel 04, Wie verbessert sich das System?
      16. Antwort

      FÜR WEN SHIELDON GEDACHT IST

      Für die Teams, die für KI im Produktivbetrieb verantwortlich sind.

      Plattformteams

      • Alle Anbieter hinter einem Endpunkt. Routing und Failover ändern, ohne Anwendungen erneut bereitzustellen.
      • Anbieter einmal verbinden und für die benötigten Teams freigeben.

      In der Konsole: LLM-Integrationen · Konfigurationen · Limits

      Sicherheit und Compliance

      • Eine Sicherheitsgrenze für alle Anwendungen: personenbezogene Daten und Geheimnisse erkennen, zunächst überwachen, später gezielt blockieren.
      • Inhalte werden standardmäßig nicht gespeichert. Jede Änderung und jeder Zugriff auf sensible Daten bleiben dauerhaft nachvollziehbar.

      In der Konsole: Sicherheitsregeln · Audit-Protokoll

      FinOps

      • Erkennen Sie, welche Anwendung, welches Team, welcher Kunde oder welche Funktion die Kosten verursacht.
      • Budgets stoppen den Datenverkehr tatsächlich. Jede Aufstockung bleibt nachvollziehbar.

      In der Konsole: Budgets · Analyse · Protokolle

      Anwendungsverantwortliche

      • Ein Endpunkt, ein Schlüssel, ein Modellname. Anwendungen benötigen keine Anbieterzugangsdaten mehr.
      • OpenAI-kompatibel: Verbinden Sie vorhandene SDKs und Agenten über eine neue Basis-URL und einen Schlüssel mit ShieldON.

      In der Konsole: Schnelleinrichtung · Gateway-API-Schlüssel

      Betrieb

      • Jede Änderung wird vor der Aktivierung geprüft. Mit einem Klick kehren Sie zum letzten funktionierenden Release zurück.
      • Läuft mit Docker Compose auf einem Linux-Host in Ihrer Umgebung.

      In der Konsole: Versionen und Releases

      PILOTPROJEKT IN IHRER UMGEBUNG

      Vom Anbieterschlüssel zum ersten kontrollierten Aufruf in fünf Schritten, auf einem Linux-Host.

      Die Schnelleinrichtung führt auf einer Seite durch Verbindung, Anwendungsschlüssel, Veröffentlichung, echten Testaufruf und Integration. Anschließend erhalten Ihre Teams einen gemeinsamen Endpunkt.

      In der Konsole

      Schnelleinrichtung

      1. Anbieter verbindenAnbieterschlüssel und Modelle speichern
      2. Gateway-Schlüssel erstellenIdentität für Modellaufrufe erstellen
      3. VeröffentlichenKonfiguration validieren und aktivieren
      4. TestenModellaufruf über das aktive Gateway prüfen
      5. IntegrierenModellaufrufe und API-Schlüssel-Integration ansehen

      Sie nutzen Workbench, Codex oder Claude Code? Installieren Sie den ShieldON Skill. Er richtet die CLI ein und führt durch die Anmeldung.

      Modellaufruf
      curl "https://gateway.example.com/v1/chat/completions" \  -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \  -H "Content-Type: application/json" \  -d '{"model":"shieldon-chat","messages":[{"role":"user","content":"Hello"}],"metadata":{"application":"support-bot","environment":"production"}}'

      Ihre Anwendungen verwenden ausschließlich diesen Schlüssel. Der Anbieterschlüssel bleibt in ShieldON.

      Ein Linux-Host · Docker Compose. Nginx connects to Gateway (Go), Steuerungsebene (Go), Webkonsole + Dokumentation. Gateway (Go) connects to PostgreSQL, Redis. Steuerungsebene (Go) connects to PostgreSQL, Redis, S3-kompatibler Speicher (optional).

      Alles läuft in Ihrer Umgebung: ein Zugangspunkt, wenige Container, PostgreSQL und Redis sowie optionaler Objektspeicher. Bereitgestellt als Images für mehrere Architekturen mit Offline-Installationspaket.

      ÜBER DAS MODELL HINAUS

      Steuern Sie auch die Fähigkeiten Ihrer Agenten, über reine Modellaufrufe hinaus.

      Codex, Claude Code, OpenClaw und Ihre eigenen Agenten werden künftig einen gemeinsamen Gateway-Zugang benötigen. Unser Ziel ist die Governance aller genutzten Fähigkeiten: Skills, Tools, MCP-Server, CLI-Abläufe und APIs. Dabei gelten dieselben vier Fragen: Ist es sicher? Was kostet es? Ist es sichtbar? Verbessert es sich mit der Zeit?

      1. 1. Governance-Grundlage

        Überblick schaffen: ein Identitätsmodell und ein Verzeichnis aller Agenten, Skills, Tools, MCP-Server und APIs, mit Verantwortlichen, Datenklassifizierung und Audit.

      2. 2. Richtlinien und Kontrolle

        Regeln festlegen: Sicherheitsrichtlinien und Ausgabenkontrollen für alle Agenten, mit Freigaben, Fähigkeitsbeschränkungen und Release-Verwaltung.

      3. 3. Kontinuierliche Verbesserung

        Gezielt verbessern: Empfehlungen für Prompts, Richtlinien, Skills und Anwendungsfälle aus realer Nutzung ableiten, bewerten und kontrolliert einführen.

      4. 4. Betriebsebene für Unternehmen

        KI wie andere Unternehmenssysteme betreiben: Schatten-IT-Agenten entdecken und registrieren, weitere Laufzeitumgebungen anbinden, Bereitstellungsoptionen erweitern und wichtige Kundenanforderungen umsetzen.

      Sicherheit

      Erkennen Sie, was Modell- und Tool-Grenzen überschreitet. Halten Sie Geheimnisse und personenbezogene Daten intern und verlangen Sie Freigaben für riskante Aktionen.

      Finanzen / FinOps

      Kosten Personen, Teams, Anwendungen, Agenten, Skills, Tools, Modellen und Anbietern zuordnen, Budgets durchsetzen und Auffälligkeiten früh erkennen.

      Transparenz / Beobachtbarkeit

      Eine durchgängige Spur vom Menschen zum Ergebnis: beteiligte Agenten, Skills, Tools, MCP-Server, APIs, Modelle und angewandte Richtlinien.

      RSI

      Reale Nutzung liefert Vorschläge für bessere Prompts, Richtlinien und Anwendungsfälle. Jeder Vorschlag wird versioniert, bewertet und von einem Menschen genehmigt.

      Skill-Verwaltung

      Ein Verzeichnis aller von Agenten genutzten Skills, jeweils mit Verantwortlichem, Version, Zweck, Risikostufe und freigegebenem Nutzerkreis. Die Veröffentlichung erfolgt über denselben geprüften Release-Prozess.

      Tool- und MCP-Verwaltung

      Alle genutzten Tools und MCP-Server mit ihren Datenzugriffen und erreichbaren Zielen erfassen, erlauben, sperren und budgetieren. Der vollständige Ablauf reicht von der Identität über Agent, Skill, Tool und Modell bis zum Ergebnis.

      CLI- und API-Verwaltung

      CLI-Sitzungen, automatisierte Aufgaben und interne APIs denselben Regeln für Identität, Richtlinien, Abrechnung, Audit und Releases wie Modellaufrufe unterstellen.

      Sicherheit, Finanzen und Transparenz

      Daten an der Grenze klassifizieren und riskante Aktionen freigeben; Kosten bis auf Agent, Skill und Tool zuordnen und Budgets durchsetzen; den Weg vom Menschen zum Ergebnis nachvollziehen; jede Richtlinienänderung prüfen, versionieren, veröffentlichen, überwachen und bei Bedarf zurücksetzen.

      IdentitätAgentSkillToolMCP-AufrufAPIModellErgebnis
      Starten Sie einen kontrollierten Piloten auf Ihrer eigenen Infrastruktur. ShieldON ist bereit, und wir begleiten Sie bei der Einrichtung.

      Selbst gehostet · Docker Compose · Dokumentation enthalten · Anmeldung auf app.shieldon.ai