기업용 AI 게이트웨이 · 통합 거버넌스 제어 · 자체 호스팅

모델이 늘어나고 에이전트가 행동하기 시작하며 AI가 더 많은 업무 시스템과 연결되는 지금, 거버넌스는 필수입니다. ShieldON은 완전한 투명성을 제공하여 AI 활용이 확대되어도 위험, 비용, 접근 권한을 통제할 수 있도록 합니다.

파일럿 도입 신청문서 읽기로그인
app.shieldon.ai/workspaces/ws_4a9f…/overview

데모 화면: 요청 지표와 최근 요청 표가 있는 개요 페이지. 설명을 위한 정적 샘플 데이터입니다.

아키텍처

모든 앱과 에이전트는 한쪽에. 모든 모델은 반대쪽에. 그 사이에 ShieldON이 있습니다.

기업 내부의 앱, 에이전트와 도구는 ShieldON을 통해 클라우드 모델과 로컬 모델에 접근합니다. 민감 정보는 경계 밖으로 나가기 전에 제거되고, 각 요청은 가장 적합한 모델로 전달되며, 모든 호출이 원장에 기록되고, 기업 자체의 AI 에이전트가 정책을 직접 바꿀 수 있습니다.

기업 경계 안의 앱, 에이전트, 도구와 어시스턴트는 ShieldON AI 게이트웨이를 통해 클라우드 모델과 로컬 모델을 호출하고, 응답은 같은 경로로 돌아옵니다. 가드레일은 요청이 경계 밖으로 나가기 전에 민감 정보를 제거합니다. 라우팅은 단순한 요청은 로컬 모델로, 복잡한 요청은 프론티어 모델로 보내고 필요하면 폴백으로 전환합니다. 모든 요청은 키, 경로, 토큰과 함께 기록됩니다. 사용량을 바탕으로 토큰 절감 제안이 생성됩니다. 기업 자체의 AI 에이전트는 API를 통해 사용량을 조회하고 정책을 설정하며 릴리스를 게시합니다.

네 가지 질문

ShieldON은 AI 거버넌스에 필요한 네 가지 핵심 질문에 답합니다.

01

누가 API를 호출하나요?

모든 요청의 앱, 팀, 환경과 출처를 식별할 수 있습니다.

대상플랫폼보안
02

어떤 정보가 LLM에 전송되나요?

카드 번호, 신분증 번호와 인증 정보를 제공업체에 도달하기 전에 탐지합니다. 명시적으로 설정하지 않는 한 프롬프트를 저장하지 않습니다.

대상보안 및 규정 준수
03

동작을 어떻게 제어해야 하나요?

라우팅, 요청률 제한과 예산은 정책으로 설정합니다. 변경은 적용 전에 검토하고 필요하면 한 단계로 되돌립니다.

대상FinOps운영 담당자
04

시간이 지남에 따라 시스템을 어떻게 개선할 수 있나요?

현재는 모든 요청과 변경을 기록합니다. 앞으로는 이 기록을 바탕으로 개선안을 제안하고, 사람이 계속 승인하도록 할 계획입니다.

대상FinOps경영진

LLM 연동

제공업체를 한 번 연결하세요. 앱 코드를 바꾸지 않고 전환, 조합, 장애 대응을 할 수 있습니다.

OpenAI, Anthropic, Gemini, Bedrock, Alibaba Cloud Bailian, DeepSeek 및 30여 개의 추가 제공업체를 하나의 OpenAI 호환 엔드포인트로 연결합니다. 제공업체 키는 ShieldON 안에 암호화해 저장하며 선택한 워크스페이스에만 공유합니다. 앱에는 ShieldON 키만 노출됩니다. Chat, Responses, Embeddings, Images, Audio 지원 여부는 모델별로 다릅니다.

작업 지원 현황

작업 지원 예시

작업스트리밍도구사용량
shieldon-chat
Chat Completions
지원됨
지원됨
지원됨
Responses
지원됨
지원됨
지원됨
Messages
지원됨
지원됨
지원됨
shieldon-embed
Embeddings
지원되지 않음
지원되지 않음
지원됨
  • OpenAI
  • Azure OpenAI
  • Microsoft Foundry
  • GitHub Models
  • Anthropic
  • Google Gemini / Vertex AI
  • AWS Bedrock
  • Alibaba Cloud Bailian
  • Zhipu AI
  • DeepSeek
  • Moonshot AI
  • MiniMax
  • Groq
  • Together AI
  • Fireworks AI
  • OpenRouter
  • xAI
  • Perplexity
  • Cerebras
  • DeepInfra
  • Nebius
  • SambaNova
  • SiliconFlow
  • Novita AI
  • Jina AI
  • Voyage AI
  • Cloudflare Workers AI
  • Hugging Face
  • Ollama
  • vLLM
  • LocalAI
  • Databricks
  • 범용 OpenAI 호환

01 · 누가 API를 호출하나요?

모델에 도달하기 전에 각 호출의 앱, 팀과 환경을 확인하세요.

각 앱에 전용 게이트웨이 API 키를 발급하고 허용 모델, 필수 요청 정보, 허용 네트워크를 지정합니다. 중단 없이 키를 교체할 수 있습니다. 상위 제공업체 키는 ShieldON 밖으로 나가지 않습니다.

게이트웨이 응답 예시

    데모 화면: billing-assistant 키에 메타데이터 변수 4개와 203.0.113.0/24 제한을 설정합니다. 다른 주소의 요청은 거부됩니다.

    게이트웨이 API 키 생성

    키 이름과 호출 가능한 대상을 정하세요. 앱에는 전용 비밀 키를 제공하고 제공업체 인증 정보는 직접 관리합니다.

    모든 요청이 자신을 식별하도록 하세요

    앱, 환경, 팀, 프로젝트, 고객, 사용자, 기능 또는 세션 등 필수 항목을 지정하세요. 정보가 없는 호출은 ShieldON이 거부합니다. 같은 항목을 이후 비용 배분에도 활용할 수 있습니다.

    예상한 네트워크에서만 허용

    키를 자체 네트워크 범위로 제한하세요. 다른 네트워크의 호출은 모델에 도달하기 전에 거부됩니다.

    조직과 워크스페이스로 부서, 제품과 환경을 분리하고 각각의 멤버와 역할을 관리합니다.

    02 · 어떤 정보가 LLM에 전송되나요?

    카드 번호, 신분증 번호와 API 키는 경계에서 차단합니다. 프롬프트는 기본적으로 저장하지 않습니다.

    모든 앱에 하나의 보안 경계를 제공합니다. ShieldON이 입력과 출력을 검사하고 개인정보와 인증 정보를 탐지해 정책에 따라 호출을 표시하거나 차단합니다. 판정만 기록하며 탐지된 내용은 저장하지 않습니다. 기본 설정에서는 프롬프트, 출력과 임베딩도 저장하지 않습니다.

    • 개인정보: 이메일 주소, 전화번호, 국가별 신분증 번호, 결제 카드 번호, 미국 사회보장번호
    • 비밀 정보: 개인 키, 세션 토큰, 클라우드 및 SaaS 인증 정보, 프롬프트에 붙여 넣은 비밀번호
    • 사용자 정의 규칙: 키워드, 정규 표현식, 도구 호출 허용 목록 또는 보안 웹훅으로 연결한 자체 정책 서비스
    • Monitor 모드에서 탐지 내용을 먼저 확인하고 준비가 되면 Block 모드로 전환하세요.

    데모 화면: 민감 정보 보호 프로필이 결제 카드 번호를 포함한 요청을 차단하고 다음 요청은 통과시킵니다. 활동 기록에는 사유 코드만 저장합니다.

    제공업체에 도달하기 전에 차단합니다. ShieldON은 내용을 몰래 다시 쓰지 않고 요청을 거부하며 탐지된 값 대신 사유만 기록합니다.

    기본 설정부터 개인정보 보호

    • 프롬프트 텍스트
    • 모델 출력
    • 도구 인수
    • 웹훅 본문
    • 임베딩 벡터
    기록됨운영 메타데이터 · 사용량 · 감사 이벤트 · 라우팅 · 오류

    문제 진단을 위해 내용을 잠시 보관해야 하나요? 별도로 명시적으로 합의한 정책이 필요합니다. 저장 시 암호화하고 모든 열람을 감사 기록에 남깁니다.

    데모 콘솔 화면: 요청 세부 정보 req_48e5aa — 논리 모델 shieldon-chat, 제공업체 ID openai-prod, 상태 Succeeded, 지연 시간 812 ms. 캡처된 페이로드: 내용 캡처가 비활성화되어 있거나 이 요청의 페이로드가 보관되지 않았습니다.

    사용량 원장 기록 예시

    추가만 가능한 사용량 및 비용 원장의 필드 예시이며 콘솔 화면은 아닙니다.
    request_id
    req_48e5aa
    actual_route
    @openai-prod/gpt-4.1
    input_tokens
    1,016
    output_tokens
    188
    cached_input_tokens
    0
    route_attempts
    1
    retries
    0
    metadata.application
    support-bot
    metadata.environment
    production
    credits
    0.42

    03 · 동작을 어떻게 제어해야 하나요?

    몇 분 안에 제공업체 전환, 지출 제한과 롤백을 수행하세요. 코드 변경이나 긴급 수정은 필요 없습니다.

    앱은 고정된 모델 이름을 호출하고 그 뒤의 연결 대상은 직접 정합니다. 단일 제공업체, 장애 시 대체, 가중치 분산, 규칙 기반 선택을 지원합니다. 요청률 제한과 예산은 제공업체 호출 전에 적용합니다. 모든 변경은 검토된 릴리스로 활성화하며 클릭 한 번으로 되돌릴 수 있습니다.

    데모 화면: 폴백이 429 오류를 처리하고 600 RPM에서 제한이 작동합니다. 예산 한도에서 호출을 차단한 후 크레딧을 조정하며 릴리스를 게시하고 롤백합니다.

    라우팅 시도 예시 · req_9b21c4

    • 시도 1 · @openai-prod/gpt-4.1

      호출자가 신경 쓸 필요 없는 폴백

      주 제공업체가 요청률을 제한하거나 응답 시간을 초과하면 ShieldON이 재시도하고 다음 승인된 대상으로 전환합니다. 앱은 성공 응답과 하나의 요청 ID를 받으며 추가 예외 처리나 재배포가 필요하지 않습니다.

      실제로 의존하기 전에 자체 제공업체와 모델로 장애 전환을 테스트하세요.

      모델별 제한과 장애 대응 방침

      모델별 요청, 토큰과 동시 호출 수를 제한하세요. 제한 기능을 사용할 수 없을 때 안전성과 가용성 중 무엇을 우선할지도 미리 정할 수 있습니다.

      초과하면 실제로 멈추는 크레딧 예산

      워크스페이스나 앱 키마다 원하는 시간대의 일·주·월 단위 예산을 설정하세요. 소진되면 호출을 중단할지 경고할지 선택합니다. 모든 추가 충전은 기록되므로 한도를 몰래 높일 수 없습니다.

      모든 변경은 검토하고 모든 릴리스는 되돌릴 수 있습니다.

      초안을 검증하고 활성 버전과의 정확한 차이를 확인한 뒤 승인하고 게시하세요. 문제가 생기면 마지막 정상 릴리스로 클릭 한 번에 돌아갑니다. 게이트웨이는 게시된 릴리스만 실행합니다.

      04 · 시스템을 어떻게 지속적으로 개선하나요?

      모든 호출에는 책임자가, 모든 비용에는 귀속 대상이, 모든 변경에는 실행자가 있습니다.

      ShieldON은 요청별 사용량·비용 원장과 제어 영역의 변경 감사 로그를 유지합니다. 현재 어떤 앱, 팀이나 고객이 월 지출을 발생시켰는지 보여 주며 향후 사람이 승인하는 개선 순환 과정의 기반이 됩니다.

      스프레드시트 없이 앱, 팀 또는 고객별로 비용을 배분하세요.

      각 요청에는 앱, 환경, 팀, 프로젝트, 고객, 사용자, 기능과 세션 등 필요한 정보가 포함됩니다. ShieldON은 토큰, 실제 사용 모델, 재시도와 오류도 함께 기록해 재무팀이 원하는 기준으로 비용을 분석합니다. 이미지와 오디오 가격은 제공업체 간에 아직 완전히 표준화되지 않았습니다.

      • application
      • environment
      • team
      • project
      • customer
      • user
      • feature
      • session_id
      curl "https://gateway.example.com/v1/chat/completions" \  -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "model": "shieldon-chat",    "messages": [{"role":"user","content":"Hello"}],    "metadata": {      "application": "support-bot",      "environment": "production"    }  }'

      사용량 원장 기록 예시

      추가만 가능한 사용량 및 비용 원장의 필드 예시이며 콘솔 화면은 아닙니다.
      request_id
      req_48e5aa
      actual_route
      @openai-prod/gpt-4.1
      input_tokens
      1,016
      output_tokens
      188
      cached_input_tokens
      0
      route_attempts
      1
      retries
      0
      metadata.application
      support-bot
      metadata.environment
      production
      credits
      0.42

      이 행이 ShieldON이 보관한 정보의 전부입니다. 누가, 얼마나, 어느 경로로, 얼마를 썼는지이며 프롬프트는 포함되지 않습니다.

      누구도 편집할 수 없는 변경 로그.

      누가 무엇을 생성, 변경, 게시, 롤백 또는 교체했는지, 언제 어디서 했는지 기록합니다. 모든 기록은 영구적으로 남아 사고 분석을 사실에서 시작할 수 있습니다.

      1. 사용 현황 관측
      2. 패턴 식별
      3. 개선 제안
      4. 검증 및 평가
      5. 승인사람의 승인 필요
      6. 릴리스
      7. 결과 측정

      데모 화면: 요청 메타데이터가 사용량 원장에 기록되고 감사 로그에 게시, 키 교체, 롤백과 업데이트 이벤트가 표시됩니다.

      요청 처리 흐름

      모든 호출은 같은 경로를 따르며 각 단계에서 정책을 설정할 수 있습니다.

      인증, 발신자 확인, 게시된 정책 로드, 입력 검사, 경로 선택, 제한·예산 확인, 제공업체 호출, 필요 시 폴백, 출력 검사, 비용 측정과 감사 기록을 수행합니다. 어느 단계도 생략하지 않으며 앞의 각 장은 이 순서와 대응합니다.

      1. 수신
      2. 요청 ID
        장 04, 시스템을 어떻게 개선하나요?
      3. 게이트웨이 API 키 인증
        장 01, 누가 API를 호출하나요?
      4. 조직/워크스페이스 권한 확인
        장 01, 누가 API를 호출하나요?
      5. 게시된 정책 스냅샷
        장 03, 동작을 어떻게 제어하나요?
      6. API 어댑터
      7. 가드레일(입력)
        장 02, 어떤 데이터가 전송되나요?
      8. 라우터→ @openai-prod/gpt-4.1
        장 03, 동작을 어떻게 제어하나요?
      9. 요청률/토큰/동시 실행/예산 사전 검사
        장 03, 동작을 어떻게 제어하나요?
      10. 제공업체 어댑터
      11. 재시도/폴백429 → @bailian/qwen-max
        장 03, 동작을 어떻게 제어하나요?
      12. 스트림 정규화
      13. 가드레일(출력)
        장 02, 어떤 데이터가 전송되나요?
      14. 사용량 및 비용 측정
        장 04, 시스템을 어떻게 개선하나요?
      15. 비동기 사용량 로그/감사
        장 04, 시스템을 어떻게 개선하나요?
      16. 응답

      이런 팀을 위한 제품

      운영 환경의 AI에 책임지는 팀을 위해 만들었습니다.

      플랫폼 팀

      • 모든 제공업체를 하나의 엔드포인트로 통합합니다. 앱 재배포 없이 라우팅과 장애 전환을 변경하세요.
      • 제공업체를 한 번 연결하고 필요한 팀에 공유하세요.

      콘솔에서: LLM 연동 · 구성 · 제한

      보안 및 규정 준수

      • 모든 앱에 공통 보안 경계를 제공합니다. 개인정보와 비밀 정보를 탐지하고 먼저 모니터링한 뒤 준비가 되면 차단하세요.
      • 내용은 기본적으로 저장하지 않습니다. 모든 변경과 민감 정보 열람은 영구 기록으로 남습니다.

      콘솔에서: 가드레일 · 감사 로그

      FinOps

      • 어떤 앱, 팀, 고객이나 기능이 비용을 발생시켰는지 확인하세요.
      • 트래픽을 실제로 멈추는 예산과 항상 기록이 남는 충전.

      콘솔에서: 예산 · 분석 · 로그

      애플리케이션 책임자

      • 하나의 엔드포인트, 하나의 키, 하나의 모델 이름. 앱에서 제공업체 인증 정보를 보관할 필요가 없습니다.
      • OpenAI 호환: 기본 URL과 키를 바꿔 기존 SDK와 에이전트를 ShieldON에 연결하세요.

      콘솔에서: 빠른 설정 · 게이트웨이 API 키

      운영 담당자

      • 모든 변경은 적용 전에 검토하며 클릭 한 번으로 마지막 정상 릴리스에 돌아갈 수 있습니다.
      • 자체 환경의 Linux 호스트 한 대에서 Docker Compose로 실행합니다.

      콘솔에서: 버전 및 릴리스

      고객 환경에서 파일럿 도입

      Linux 호스트 한 대에서 제공업체 키부터 첫 관리된 호출까지 다섯 단계면 됩니다.

      빠른 설정이 한 페이지에서 제공업체 연결, 앱 키 생성, 게시, 실제 테스트 호출과 연동을 안내합니다. 이후 팀에 하나의 엔드포인트를 제공하세요.

      콘솔에서

      빠른 설정

      1. 제공업체 연결상위 제공업체 키와 모델 저장
      2. 게이트웨이 키 생성모델 호출 ID 생성
      3. 게시구성 검증 및 활성화
      4. 테스트실제 게이트웨이를 통한 모델 호출 확인
      5. 연동모델 호출 및 API 키 연동 옵션 보기

      Workbench, Codex 또는 Claude Code를 사용하시나요? ShieldON Skill을 설치하면 CLI 설정과 로그인을 안내합니다.

      모델 호출
      curl "https://gateway.example.com/v1/chat/completions" \  -H "Authorization: Bearer $SHIELDON_GATEWAY_API_KEY" \  -H "Content-Type: application/json" \  -d '{"model":"shieldon-chat","messages":[{"role":"user","content":"Hello"}],"metadata":{"application":"support-bot","environment":"production"}}'

      앱은 이 키만 사용합니다. 제공업체 자체 키는 ShieldON 내부에 남습니다.

      Linux 호스트 1대 · Docker Compose. Nginx connects to 게이트웨이(Go), 제어 영역(Go), 웹 콘솔 + 문서. 게이트웨이(Go) connects to PostgreSQL, Redis. 제어 영역(Go) connects to PostgreSQL, Redis, S3 호환 스토리지(선택 사항).

      모든 구성 요소가 자체 환경에서 실행됩니다. 하나의 진입점, 소수의 컨테이너, 표준 PostgreSQL과 Redis, 선택적인 객체 스토리지를 사용하며 다중 아키텍처 이미지와 오프라인 설치 패키지로 제공합니다.

      모델을 넘어

      모델 호출을 넘어 에이전트가 사용하는 기능까지 관리하세요.

      Codex, Claude Code, OpenClaw와 자체 개발 에이전트도 결국 공통 게이트웨이가 필요합니다. 우리의 방향은 Skills, Tools, MCP 서버, CLI 작업 흐름과 API까지 관리하는 것입니다. 안전한가, 비용은 얼마인가, 확인할 수 있는가, 지속적으로 개선되는가라는 네 가지 질문을 적용합니다.

      1. 1. 거버넌스 기반

        보유 자산 파악: 공통 ID 모델과 에이전트, Skill, 도구, MCP 서버 및 API 목록에 책임자, 데이터 분류와 감사를 연결합니다.

      2. 2. 정책 및 제어

        규칙 설정: 모든 에이전트에 보안 정책과 지출 통제를 적용하고 승인, 기능 제한과 릴리스 관리를 제공합니다.

      3. 3. 지속적 개선

        의도적인 개선: 실제 사용에서 도출한 프롬프트, 정책, Skill과 사용 사례 제안을 평가하고 통제된 방식으로 적용합니다.

      4. 4. 기업 운영 계층

        AI를 기업 시스템처럼 운영합니다. 관리되지 않는 에이전트를 발견·등록하고 실행 환경과 배포 옵션을 확대하며 고객이 가장 필요로 하는 영역을 확장합니다.

      안전성

      모델과 도구의 경계를 넘는 정보를 파악하고 비밀 정보와 개인정보를 내부에 유지하며 고위험 작업에는 승인을 요구합니다.

      재무 / FinOps

      비용을 사람, 팀, 앱, 에이전트, Skill, 도구, 모델과 제공업체에 귀속시키고 예산을 적용하며 이상 징후를 일찍 탐지합니다.

      가시성 / 관측 가능성

      사람부터 결과까지 이어지는 하나의 기록. 에이전트, Skill, 도구, MCP 서버, API, 모델과 적용된 정책을 추적합니다.

      RSI

      실제 사용 데이터가 더 나은 프롬프트, 정책과 사용 사례를 제안합니다. 모든 제안은 버전 관리와 평가를 거쳐 사람이 승인합니다.

      Skill 관리

      에이전트가 실행하는 Skills를 등록하고 책임자, 버전, 목적, 위험 수준과 허용 사용자를 관리합니다. 다른 변경과 같은 검토된 릴리스 과정으로 게시합니다.

      도구 및 MCP 관리

      사용 중인 모든 도구와 MCP 서버, 접근 데이터와 도달 대상을 파악하고 허용·거부·예산을 설정합니다. ID에서 에이전트, Skill, 도구, 모델을 거쳐 결과에 이르는 전체 연결을 유지합니다.

      CLI 및 API 관리

      CLI 세션, 자동 작업과 내부 API에도 모델 호출과 같은 ID, 정책, 사용량 측정, 감사와 릴리스 관리를 적용합니다.

      안전성, 재무 및 가시성 제어

      경계에서 데이터를 분류하고 위험한 작업을 승인제로 관리합니다. 에이전트, Skill과 도구까지 비용을 배분하고 예산을 적용하며 사람부터 결과까지 기록을 유지합니다. 모든 정책 변경을 검토, 버전 관리, 게시, 모니터링하고 롤백합니다.

      ID에이전트Skill도구MCP 호출API모델결과
      자체 인프라에서 통제된 파일럿을 시작하세요. ShieldON은 준비되어 있으며 설정을 함께 안내해 드립니다.
      파일럿 도입 신청데모 예약문서 읽기

      자체 호스팅 · Docker Compose · 문서 포함 · app.shieldon.ai에서 로그인