보안을 처음부터 다시 구축하라는 요구가 아닙니다. AI가 드나드는 두 길목에 방어 게이트를 다는 것. 기존 인프라는 그대로 둡니다.
방어선은 두 곳이면 됩니다
1편에서 망분리가 왜 풀리는지, 2편에서 무엇을 갖춰야 하는지를 봤습니다. 3편은 그것을 어떻게 충족하느냐입니다.
핵심 전제부터 말씀드립니다. 기존 시스템을 갈아엎지 않습니다. AI가 드나드는 길목은 둘뿐이고, 그 두 곳에만 게이트를 더하면 방어가 성립합니다.
외부 경계: 외부에서 공격과 악성 입력이 들어오는 지점. 1차로 차단합니다.
AI 호출 지점: 업무 시스템이 AI를 부르는 구간. 입력과 출력을 동시에 통제할 수 있는 유일한 지점입니다.
특히 두 번째가 결정적입니다. AI를 호출하는 이 구간은 들어가는 질문과 나오는 답을 함께 잡을 수 있습니다. 답이 맞는지 검증하고, 모든 입출력을 기록합니다. 그래야 분쟁이나 감사에서 “왜 그렇게 판단했는지”를 소명할 수 있습니다.
방화벽도, API 게이트웨이도 그대로 둡니다. 위험한 길목에만 방어선을 더하는 구조입니다.
네 가지 통제가 위험에 일대일로 대응합니다
2편에서 위험이 네 가지로 수렴한다고 했습니다. 외부 공격·정보 유출, 환각, 사후 적발, 감사 증빙의 부재.
네 가지 위험에는 네 가지 통제가 맞붙습니다.
입력 차단: 외부 공격과 민감정보를 입력 단계에서 막습니다.
출력 검증: AI 답이 사실인지 확인하고, 환각을 거릅니다.
사전 진단: 도입 전에 스스로 취약점을 점검합니다.
전체 기록: 모든 입출력과 판단 근거를 남깁니다.
규제가 요구한 것과 정확히 같은 목록입니다. 입력을 막고, 출력을 검증하고, 도입 전에 진단하고, 전 과정을 기록하라. 우연이 아닙니다. 통제를 규제의 요구에 맞춰 설계했기 때문입니다.
사전: 도입 전에 약점을 찾습니다
운영에 들어가기 전에 해야 할 일이 있습니다. 내 AI가 어디서 뚫리는지 미리 아는 것입니다.
블랙박스 점검(2편 ④)이 외부에서 오기 전에, 같은 관점으로 먼저 점검합니다. AI 기반 자동 RED팀이 모의 공격을 던지고, 약점을 식별하고, 배포 전에 검증합니다.
한국어라는 점이 중요합니다. 글로벌 가드레일은 한국어 금융 공격 패턴을 책임지지 않습니다. 한국어 공격 패턴과 OWASP LLM Top10 전 항목을 점검 범위에 둬야, 외부 점검에서 드러나기 전에 스스로 메울 수 있습니다.
운영: 들어오는 것을 막고, 나가는 것을 검증합니다
운영 단계의 통제는 두 방향입니다.
입력 방어. AI를 호출하기 직전, 프롬프트 인젝션과 민감정보를 거릅니다. 빅테크 모델이든 국산 모델이든 같은 게이트를 통과하고, 폐쇄망·에어갭부터 클라우드까지 동일하게 적용됩니다. 모델을 바꿔도 방어선은 그대로 남는다는 뜻입니다.
출력 검증. 7대 원칙의 신뢰성이 여기 걸립니다. AI가 내놓은 답이 사실인지, 근거가 있는지를 사용자에게 나가기 전에 확인합니다. 환각과 오답을 차단하고, 판단 근거를 기록합니다.
입력 방어와 출력 검증은 다른 기술입니다. 들어오는 공격을 막는 일과, 나가는 답의 사실 여부를 따지는 일은 성격이 다릅니다. 가드레일 하나로 둘 다 해결되지 않는 이유입니다.
사후: 기록이 소명을 만듭니다
사고는 일어나지 않는 것이 최선이지만, 일어났을 때 설명할 수 있어야 합니다.
모든 AI 입출력과 판단 근거를 기록합니다. 사고가 나면 원인을 추적하고, 자체 소명 자료를 만듭니다. 이 기록이 7대 원칙의 거버넌스 증빙이 되고, 동시에 AI 기본법이 요구하는 5년 보관·설명 의무를 충족합니다.
2편에서 본 두 규제가 같은 지점에서 만난다고 했습니다. 같은 기록 인프라 하나로 7대 원칙과 AI 기본법에 함께 대응합니다. 기록은 사후 대응의 도구이자, 평소의 증빙입니다.
성능을 어떻게 읽어야 하는가
방어율, 탐지 속도, 검증율 같은 수치가 자주 인용됩니다. 이 수치를 읽는 법을 분명히 해두는 편이 정직합니다.
이런 수치는 자체 내부 테스트 환경(AgentDojo, OWASP LLM Top10, RAGAS 등) 기준의 측정값입니다. 실제 도입 환경과 데이터, 설정에 따라 달라집니다. 특정 프로젝트의 실증 결과가 같은 성과를 보장하지도 않습니다.
그래서 숫자 자체보다 맥락이 중요합니다. 핵심은 “방어율 몇 퍼센트”가 아니라, 입력·출력·사전·사후라는 네 지점을 빠짐없이 덮느냐입니다. 한 지점이 비면 그곳이 사고 지점이 됩니다. 수치는 각 지점이 작동한다는 근거일 뿐, 그 자체가 안전의 증명은 아닙니다.
모델만 얹으면 된다는 오해
가장 위험한 오해가 “모델 하나 도입하면 끝”이라는 생각입니다.
AI가 금융 현업에서 실제로 일하려면, 다섯 단계가 하나의 파이프라인으로 이어져야 합니다. 데이터 정제, 검색, 권한 부여, 출력 검증, 운영. 한 단계라도 비면 그 지점이 사고 지점이 됩니다.
데이터가 부정확하면 잘못된 판단이 들어가고, 검색이 틀리면 그 위의 답도 틀립니다. 권한이 모두에게 같으면 한 계정의 사고가 전체 유출로 번집니다. 검증이 없으면 환각이 고객에게 나갑니다. 운영이 받쳐주지 못하면 앞의 네 단계가 무의미해집니다.
모델은 이 파이프라인의 한 조각입니다. 조각만 사면, 나머지는 비어 있습니다.
시리즈를 마치며
세 편을 통해 하나의 흐름을 따라왔습니다.
망분리는 풀립니다(1편). 신청하든 안 하든 모든 금융사가 검증된 AI 보안을 갖춰야 합니다(2편). 그 요구는 기존 시스템을 새로 짓지 않고, 길목에 방어선을 더하는 것으로 충족됩니다(3편).
규제 완화의 본질은 운영 단계의 방어입니다. AI의 위협은 AI로 막는다. 이것이 선언이 아니라 실제 구조가 되려면, 입력·출력·사전·사후의 네 지점이 빠짐없이 작동해야 합니다.
직접 구축하면 1~2년, 검증된 인프라를 탑재하면 즉시 가동. 2차 신청 전, 지금이 그 준비를 끝내야 할 시점입니다.
※ 본 글의 성능 수치(방어율·탐지 속도·검증율·정확도 등)는 자체 내부 테스트 환경(AgentDojo·OWASP LLM Top10·RAGAS 등) 기준 측정값으로, 실제 도입 환경·데이터·설정에 따라 달라질 수 있습니다. 레퍼런스·실증 사례는 특정 프로젝트의 결과이며 동일한 성과를 보증하지 않습니다. 규제·제재 관련 서술은 일반적 정보 제공 목적이며 법률 자문이 아닙니다. 관련 실증 자료는 요청 시 제공 가능합니다.
YATAV · AI Trust Infrastructure
