KI-GATEWAY FÜR UNTERNEHMEN · ZENTRALE GOVERNANCE · SELBST GEHOSTET
Ihr Unternehmen braucht KI. Ihre KI braucht ShieldON.
Immer mehr Modelle, eigenständig handelnde Agenten und die Anbindung von KI an weitere Geschäftssysteme machen Governance unverzichtbar. ShieldON schafft umfassende Transparenz, damit Sie Risiken, Kosten und Zugriffe auch bei wachsender KI-Nutzung im Griff behalten.
Demo-Konsole: Übersicht mit Anfragekennzahlen und aktuellen Anfragen. Statische Beispieldaten ausschließlich zur Veranschaulichung.
Architektur
Jede Anwendung und jeder Agent auf der einen Seite. Jedes Modell auf der anderen. ShieldON dazwischen.
Anwendungen, Agenten und Tools im Unternehmen erreichen Cloud-Modelle und lokale Modelle über ShieldON. Anfragen werden um sensible Daten bereinigt, bevor sie das Unternehmen verlassen, jede Anfrage geht an das passende Modell, jeder Aufruf landet im Nutzungsbuch, und Ihr eigener KI-Agent kann die Richtlinien ändern.
Innerhalb der Unternehmensgrenze rufen Anwendungen, Agenten, Tools und Assistenten Cloud-Modelle und lokale Modelle über das ShieldON-KI-Gateway auf, und die Antworten kommen auf demselben Weg zurück. Sicherheitsregeln bereinigen jede Anfrage um sensible Daten, bevor sie das Unternehmen verlässt; das Routing schickt einfache Anfragen an lokale Modelle und komplexe an Frontier-Modelle, mit Fallbacks; jede Anfrage wird mit Schlüssel, Route und Tokens im Nutzungsbuch erfasst; aus der Nutzung entstehen Vorschläge zum Einsparen von Tokens; und der eigene KI-Agent des Unternehmens liest die Nutzung, legt Richtlinien fest und veröffentlicht ein Release über die API.
LLM-INTEGRATIONEN
Anbieter einmal verbinden. Wechseln, kombinieren und Ausfälle abfangen, ohne Anwendungscode zu ändern.
OpenAI, Anthropic, Gemini, Bedrock, Alibaba Cloud Bailian, DeepSeek und dreißig weitere Anbieter hinter einem OpenAI-kompatiblen Endpunkt. Anbieterschlüssel werden in ShieldON verschlüsselt gespeichert und nur ausgewählten Workspaces zugewiesen. Anwendungen sehen ausschließlich einen ShieldON-Schlüssel. Chat, Responses, Embeddings, Images und Audio werden je nach Modell unterstützt.
- OpenAI
- Azure OpenAI
- Microsoft Foundry
- GitHub Models
- Anthropic
- Google Gemini / Vertex AI
- AWS Bedrock
- Alibaba Cloud Bailian
- Zhipu AI
- DeepSeek
- Moonshot AI
- MiniMax
- Groq
- Together AI
- Fireworks AI
- OpenRouter
- xAI
- Perplexity
- Cerebras
- DeepInfra
- Nebius
- SambaNova
- SiliconFlow
- Novita AI
- Jina AI
- Voyage AI
- Cloudflare Workers AI
- Hugging Face
- Ollama
- vLLM
- LocalAI
- Databricks
- Allgemein OpenAI-kompatibel
- OpenAI
- Azure OpenAI
- Microsoft Foundry
- GitHub Models
- Anthropic
- Google Gemini / Vertex AI
- AWS Bedrock
- Alibaba Cloud Bailian
- Zhipu AI
- DeepSeek
- Moonshot AI
- MiniMax
- Groq
- Together AI
- Fireworks AI
- OpenRouter
- xAI
- Perplexity
- Cerebras
- DeepInfra
- Nebius
- SambaNova
- SiliconFlow
- Novita AI
- Jina AI
- Voyage AI
- Cloudflare Workers AI
- Hugging Face
- Ollama
- vLLM
- LocalAI
- Databricks
- Allgemein OpenAI-kompatibel
01 · WER RUFT DIE API AUF?
Erkennen Sie Anwendung, Team und Umgebung hinter jedem Aufruf, bevor er das Modell erreicht.
Jede Anwendung erhält einen eigenen Gateway-API-Schlüssel mit Regeln für erlaubte Modelle, erforderlichen Anfragekontext und zulässige Netzwerke. Schlüssel lassen sich unterbrechungsfrei rotieren. Der Anbieterschlüssel verlässt ShieldON nie.
Beispielhafte Gateway-Antworten
Demo-Konsole: Der Gateway-API-Schlüssel billing-assistant erhält vier Metadatenvariablen und wird auf 203.0.113.0/24 beschränkt. Eine Anfrage von einer anderen Adresse wird abgewiesen.
Gateway-API-Schlüssel erstellen
Benennen Sie den Schlüssel und bestimmen Sie seine erlaubten Aufrufe. Die Anwendung erhält ein eigenes Geheimnis; die Anbieterzugangsdaten bleiben bei Ihnen.
Jede Anfrage muss sich identifizieren
Legen Sie fest, welche Angaben jeder Aufruf enthalten muss: Anwendung, Umgebung, Team, Projekt, Kunde, Nutzer, Funktion oder Sitzung. ShieldON lehnt unvollständige Aufrufe ab. Dieselben Felder dienen später der Kostenzuordnung.
Nur aus den vorgesehenen Netzwerken
Beschränken Sie einen Schlüssel auf Ihre Netzwerkbereiche. Anfragen aus anderen Netzen werden abgewiesen, bevor sie ein Modell erreichen.
Organisationen und Workspaces trennen Abteilungen, Produkte und Umgebungen mit jeweils eigenen Mitgliedern und Rollen.
02 · WELCHE INFORMATIONEN WERDEN AN DAS LLM GESENDET?
Kartennummern, Ausweisnummern und API-Schlüssel werden an der Grenze gestoppt. Prompts werden standardmäßig nie gespeichert.
Eine gemeinsame Sicherheitsgrenze für alle Anwendungen. ShieldON prüft Ein- und Ausgaben auf personenbezogene Daten und Zugangsdaten. Ihre Richtlinien entscheiden, ob der Aufruf markiert oder blockiert wird. Protokolliert wird nur die Entscheidung, niemals der gefundene Inhalt. Prompts, Ausgaben und Embeddings werden standardmäßig überhaupt nicht gespeichert.
- Personenbezogene Daten: E-Mail-Adressen, Telefonnummern, Ausweisnummern, Zahlungskartennummern, US-Sozialversicherungsnummern
- Geheimnisse: private Schlüssel, Sitzungstokens, Cloud- und SaaS-Zugangsdaten, in Prompts eingefügte Passwörter
- Eigene Regeln: Schlüsselwörter, reguläre Ausdrücke, Freigabelisten für Tool-Aufrufe oder Ihr Richtliniendienst über einen gesicherten Webhook
- Beginnen Sie im Überwachungsmodus, um Treffer zu prüfen. Aktivieren Sie anschließend die Blockierung, sobald Sie sicher sind.
Demo-Konsole: Das Schutzprofil blockiert eine Anfrage mit einer Zahlungskartennummer. Eine zweite Anfrage wird zugelassen. Das Aktivitätsprotokoll speichert nur einen Begründungscode.
Blockierung vor dem Anbieter: ShieldON lehnt die Anfrage vollständig ab, statt sie unbemerkt umzuschreiben. Gespeichert wird nur der Grund, niemals der gefundene Wert.
DATENSCHUTZ ALS STANDARD
- Prompt-Text
- Modellausgabe
- Tool-Argumente
- Webhook-Inhalte
- Embedding-Vektoren
Benötigen Sie Inhalte kurzfristig zur Fehlersuche? Dafür ist eine ausdrückliche, gesonderte Vereinbarung erforderlich. Die Daten werden verschlüsselt gespeichert und jeder Zugriff wird protokolliert.
Demo-Konsole: Anfragedetails req_48e5aa — Logisches Modell shieldon-chat, Anbieter-ID openai-prod, Status Succeeded, Latenz 812 ms. Erfasste Inhalte: Die Inhaltserfassung war deaktiviert oder für diese Anfrage wurde kein Inhalt aufbewahrt.
03 · WIE SOLL DAS VERHALTEN GESTEUERT WERDEN?
Anbieter wechseln, Ausgaben begrenzen und in Minuten zurücksetzen. Ohne Codeänderung oder Hotfix.
Anwendungen verwenden einen stabilen Modellnamen. Sie bestimmen die Ziele dahinter: einen Anbieter, ein Ausweichziel, gewichtete Lastverteilung oder regelbasierte Auswahl. Ratenlimits und Budgets greifen vor jedem Anbieteraufruf. Jede Änderung wird als geprüftes Release aktiviert und lässt sich mit einem Klick zurücksetzen.
Demo-Konsole: Fallback fängt einen 429-Fehler ab; eine Richtlinie blockiert bei 600 RPM; ein Credits-Budget stoppt Aufrufe am Limit und wird angepasst; ein Release wird veröffentlicht und zurückgesetzt.
Beispielhafte Routing-Versuche · req_9b21c4
- Versuch 1 · @openai-prod/gpt-4.1
Fallback, den Aufrufer nicht bemerken
Bei Ratenlimits oder Zeitüberschreitungen des primären Anbieters wiederholt ShieldON den Aufruf und wechselt zum nächsten freigegebenen Ziel. Die Anwendung erhält eine erfolgreiche Antwort mit einer Anfrage-ID. Zusätzliche Fehlerbehandlung oder erneute Bereitstellung ist nicht nötig.
Testen Sie Failover mit Ihren eigenen Anbietern und Modellen, bevor Sie sich darauf verlassen.
Limits je Modell, mit einem Plan für Störungen
Begrenzen Sie Anfragen, Tokens und gleichzeitige Aufrufe pro Modell. Für den Ausfall der Limitprüfung legen Sie vorab fest, ob Sicherheit oder Verfügbarkeit Vorrang hat.
Credits-Budgets, die tatsächlich stoppen
Budgets je Workspace oder Anwendungsschlüssel, täglich, wöchentlich oder monatlich in Ihrer Zeitzone. Bei Erschöpfung stoppen Aufrufe oder es erscheint eine Warnung. Sie entscheiden. Jede Aufstockung wird protokolliert; niemand erhöht das Limit unbemerkt.
Jede Änderung geprüft. Jedes Release rücksetzbar.
Validieren Sie den Entwurf, vergleichen Sie ihn mit dem aktiven Stand, genehmigen und veröffentlichen Sie ihn. Bei Problemen kehren Sie mit einem Klick zum letzten funktionierenden Release zurück. Das Gateway verwendet ausschließlich veröffentlichte Releases.
04 · WIE KANN SICH DAS SYSTEM MIT DER ZEIT VERBESSERN?
Jeder Aufruf hat einen Verantwortlichen. Jede Ausgabe ist zugeordnet. Jede Änderung trägt einen Namen.
ShieldON führt zwei Aufzeichnungen: Nutzung und Kosten jeder Anfrage sowie jede Änderung der Steuerungsebene. Damit sehen Sie schon heute, welche Anwendung, welches Team oder welcher Kunde die monatlichen Kosten verursacht. Diese Daten bilden auch die Grundlage für den geplanten Verbesserungszyklus mit menschlicher Freigabe.
Kosten nach Anwendung, Team oder Kunde zuordnen, ohne Tabellenkalkulation.
Jede Anfrage enthält den geforderten Kontext: Anwendung, Umgebung, Team, Projekt, Kunde, Nutzer, Funktion und Sitzung. ShieldON erfasst dazu Tokens, das tatsächlich verwendete Modell, Wiederholungen und Fehler. So können Sie Kosten nach den Anforderungen Ihrer Finanzabteilung aufschlüsseln. Bild- und Audiopreise sind anbieterübergreifend noch nicht vollständig vereinheitlicht.
- application
- environment
- team
- project
- customer
- user
- feature
- session_id
curl "https://gateway.example.com/v1/chat/completions" \ -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "shieldon-chat", "messages": [{"role":"user","content":"Hello"}], "metadata": { "application": "support-bot", "environment": "production" } }'Diese Zeile zeigt alles, was ShieldON gespeichert hat: wer, wie viel, welche Route und welche Kosten. Kein Prompt.
Ein Änderungsprotokoll, das niemand bearbeiten kann.
Wer hat was erstellt, geändert, veröffentlicht, zurückgesetzt oder rotiert, wann und von wo? Jeder Eintrag bleibt dauerhaft bestehen. Vorfallanalysen beginnen mit Fakten.
- Nutzung beobachten
- Muster erkennen
- Verbesserungen vorschlagen
- Validieren und bewerten
- GenehmigenMenschliche Freigabe erforderlich
- Veröffentlichen
- Ergebnisse messen
Demo-Konsole: Anfragemetadaten erscheinen im Nutzungsbuch; das Audit-Protokoll zeigt Veröffentlichungen, Schlüsselrotationen, Rücksetzungen und Aktualisierungen.
ANFRAGEABLAUF
Jeder Aufruf durchläuft denselben Weg. An jedem Schritt können Sie Regeln festlegen.
Authentifizieren, Absender prüfen, veröffentlichte Richtlinien laden, Eingaben untersuchen, Route wählen, Limits und Budget prüfen, Anbieter aufrufen, bei Bedarf ausweichen, Ausgaben prüfen, Kosten erfassen und den Ablauf protokollieren. Kein Schritt wird übersprungen. Die Kapitel oben folgen diesem Ablauf.
- Eingang
- Anfrage-IDKapitel 04, Wie verbessert sich das System?
- Gateway-API-SchlüsselauthentifizierungKapitel 01, Wer ruft die API auf?
- Organisations-/Workspace-AutorisierungKapitel 01, Wer ruft die API auf?
- Veröffentlichter RichtlinienstandKapitel 03, Wie wird das Verhalten gesteuert?
- API-Adapter
- Sicherheitsregeln (Eingabe)Kapitel 02, Welche Daten werden gesendet?
- Router→ @openai-prod/gpt-4.1Kapitel 03, Wie wird das Verhalten gesteuert?
- Vorprüfung: Rate/Tokens/Parallelität/BudgetKapitel 03, Wie wird das Verhalten gesteuert?
- Anbieteradapter
- Wiederholung/Fallback429 → @bailian/qwen-maxKapitel 03, Wie wird das Verhalten gesteuert?
- Stream-Normalisierung
- Sicherheitsregeln (Ausgabe)Kapitel 02, Welche Daten werden gesendet?
- Nutzungs- und KostenerfassungKapitel 04, Wie verbessert sich das System?
- Asynchrone Nutzungsprotokolle / AuditKapitel 04, Wie verbessert sich das System?
- Antwort
FÜR WEN SHIELDON GEDACHT IST
Für die Teams, die für KI im Produktivbetrieb verantwortlich sind.
PILOTPROJEKT IN IHRER UMGEBUNG
Vom Anbieterschlüssel zum ersten kontrollierten Aufruf in fünf Schritten, auf einem Linux-Host.
Die Schnelleinrichtung führt auf einer Seite durch Verbindung, Anwendungsschlüssel, Veröffentlichung, echten Testaufruf und Integration. Anschließend erhalten Ihre Teams einen gemeinsamen Endpunkt.
curl "https://gateway.example.com/v1/chat/completions" \ -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \ -H "Content-Type: application/json" \ -d '{"model":"shieldon-chat","messages":[{"role":"user","content":"Hello"}],"metadata":{"application":"support-bot","environment":"production"}}'Ihre Anwendungen verwenden ausschließlich diesen Schlüssel. Der Anbieterschlüssel bleibt in ShieldON.
Ein Linux-Host · Docker Compose. Nginx connects to Gateway (Go), Steuerungsebene (Go), Webkonsole + Dokumentation. Gateway (Go) connects to PostgreSQL, Redis. Steuerungsebene (Go) connects to PostgreSQL, Redis, S3-kompatibler Speicher (optional).
Alles läuft in Ihrer Umgebung: ein Zugangspunkt, wenige Container, PostgreSQL und Redis sowie optionaler Objektspeicher. Bereitgestellt als Images für mehrere Architekturen mit Offline-Installationspaket.
ÜBER DAS MODELL HINAUS
Steuern Sie auch die Fähigkeiten Ihrer Agenten, über reine Modellaufrufe hinaus.
Codex, Claude Code, OpenClaw und Ihre eigenen Agenten werden künftig einen gemeinsamen Gateway-Zugang benötigen. Unser Ziel ist die Governance aller genutzten Fähigkeiten: Skills, Tools, MCP-Server, CLI-Abläufe und APIs. Dabei gelten dieselben vier Fragen: Ist es sicher? Was kostet es? Ist es sichtbar? Verbessert es sich mit der Zeit?
1. Governance-Grundlage
Überblick schaffen: ein Identitätsmodell und ein Verzeichnis aller Agenten, Skills, Tools, MCP-Server und APIs, mit Verantwortlichen, Datenklassifizierung und Audit.
2. Richtlinien und Kontrolle
Regeln festlegen: Sicherheitsrichtlinien und Ausgabenkontrollen für alle Agenten, mit Freigaben, Fähigkeitsbeschränkungen und Release-Verwaltung.
3. Kontinuierliche Verbesserung
Gezielt verbessern: Empfehlungen für Prompts, Richtlinien, Skills und Anwendungsfälle aus realer Nutzung ableiten, bewerten und kontrolliert einführen.
4. Betriebsebene für Unternehmen
KI wie andere Unternehmenssysteme betreiben: Schatten-IT-Agenten entdecken und registrieren, weitere Laufzeitumgebungen anbinden, Bereitstellungsoptionen erweitern und wichtige Kundenanforderungen umsetzen.
Sicherheit
Erkennen Sie, was Modell- und Tool-Grenzen überschreitet. Halten Sie Geheimnisse und personenbezogene Daten intern und verlangen Sie Freigaben für riskante Aktionen.
Finanzen / FinOps
Kosten Personen, Teams, Anwendungen, Agenten, Skills, Tools, Modellen und Anbietern zuordnen, Budgets durchsetzen und Auffälligkeiten früh erkennen.
Transparenz / Beobachtbarkeit
Eine durchgängige Spur vom Menschen zum Ergebnis: beteiligte Agenten, Skills, Tools, MCP-Server, APIs, Modelle und angewandte Richtlinien.
RSI
Reale Nutzung liefert Vorschläge für bessere Prompts, Richtlinien und Anwendungsfälle. Jeder Vorschlag wird versioniert, bewertet und von einem Menschen genehmigt.
Selbst gehostet · Docker Compose · Dokumentation enthalten · Anmeldung auf app.shieldon.ai