사례 요약 | |
|---|---|
고객 | 방산 기업 A사 · 다수 발주처 협력 · 30개 이상 무기체계 관련 자료 운영 |
고민 | 완전 폐쇄망 · 외산 LLM 사용 불가 · ERP·메일·내부서버에 흩어진 전사 자료 |
적용 | 사내 통합 RAG · AEGIS 입력 통제 · TruthAnchor 출력 검증 · 권한 매핑 |
성과 | 보안 요구 7종 100% 충족 · 보안 점검 200여 건 위반 0건 · 신규 문서 평균 2.4분 반영 · 환각 0건 |
"OO 배선장치 부적합 보고서 어디 있지?"
방산 기업 A사 직원들이 하루에도 수십 번씩 던지던 질문입니다. 답은 분명 사내 어딘가에 있었습니다. 그룹웨어, ERP, 메일 첨부파일, 혹은 팀별 내부 서버 속. 하지만 그 '어딘가'를 찾아내는 데 매번 30분에서, 길게는 2시간이 걸렸습니다. 자료 검색 누락은 일상이었고, 같은 문서가 부서마다 중복 보관되는 일도 흔했습니다.
A사가 원한 해결책은 간단했습니다. "직원들이 자연어로 물어보면, 몇 초 만에 정확한 답을 찾아주자."
하지만 이 당연해 보이는 목표를 가로막는 환경이 있었습니다. 바로 '외부 인터넷이 완전히 차단된 폐쇄망'이라는 점이었습니다.
1. 3가지 제약이 동시에 얽힌 현장
보통 보안이 엄격한 기업이라도 아래 3가지 조건 중 하나 정도에 해당합니다. 하지만 방산·금융·공공 등 핵심 산업 현장에서는 이 셋이 동시에 몰려옵니다. A사 역시 마찬가지였습니다.
완전 폐쇄망: 외부 인터넷 통신 불가, 외산 SaaS AI 서비스 이용 불가
국산 LLM 활용 필수: 보안 정책상 외산 AI 모델 도입 불가
분산된 대규모 데이터: ERP, 메일, 도면 등 20~50TB 규모의 다양한 포맷(8종 이상) 데이터 산재
단순히 사내에 AI 모델을 하나 띄운다고 해결될 문제가 아니었습니다. 보안, 권한, 실시간성, 데이터 규모라는 7개 요구사항을 한꺼번에 풀어내야만 실제로 작동하는 시스템이 될 수 있었습니다.
2. 검색·통제·검증을 하나로 묶은 설계
① 외산 모델 없이 한국어 AI 성능 극대화하기
A사에 채택된 국산 LLM은 일반 벤치마크 점수만 놓고 보면 글로벌 대형 모델보다 아쉬운 부분이 있었습니다. 우리는 이를 인정하고 다른 방식으로 접근했습니다.
3축 하이브리드 검색 Engine: 키워드(BM25), 의미(Vector), 관계(Knowledge Graph) 검색을 동시에 돌려 결합하고, 한국어 특화 리랭커(Reranker)를 거쳐 가장 연관성 높은 자료만 모델에 전달했습니다. 모델이 고민할 부담을 검색 단계에서 대폭 줄여준 것입니다.
사내 도메인 데이터 최적화: A사의 실제 보고서, 도면, 시험성적서를 바탕으로 AI 모델을 미세 조정(Fine-tuning)했습니다. 일반 지식 성능 비교에 연연하지 않고, '우리 회사 내부 자료를 얼마나 정확히 이해하고 답변하는가'를 기준으로 삼아 실제 현장 질문에 대한 답변 정확도를 끌어올렸습니다.
② 민감 데이터 차단과 권한 통제
인사·회계 등 민감 정보가 AI 답변으로 유출되거나 프롬프트 인젝션 등으로 통제가 풀리는 상황을 막기 위해 3중 가드레일을 적용했습니다.
입력 통제(AEGIS): 주민번호, 사번, 계좌번호 등 주요 개인식별정보(PII) 7종을 입력 단계에서 자동 가명화하고 우회 시도를 차단합니다.
출력 검증(TruthAnchor): 답변이 실제 사내 문서에 근거하는지 검증하고, 근거가 부족하면 어설픈 답변 대신 "정보 부족"을 명확히 고지하여 환각(Hallucination)을 막습니다.
데이터 단 권한 매핑: AI 모델에게 권한 판단을 맡기지 않았습니다. 그룹웨어의 인가 등급과 연동하여, 사용자가 원래 접근 권한을 가진 문서만 AI가 참조할 수 있도록 데이터 레이어에서 직접 제한했습니다.
③ 50TB, 8개 포맷 데이터의 실시간 처리
PDF, 엑셀, HWP는 물론 DWG 도면과 코드까지 한 시스템에서 처리해야 했습니다.
실시간 변경 수집: CDC(Change Data Capture) 기술을 통해 ERP나 코드의 변경 사항만 실시간으로 반영했습니다.
문서 유형별 특화 파이프라인: 도면은 표제란과 BOM(부품명세서)을 자동 추출해 부품 사양 질의에 대응하고, 엑셀은 BOM 트리를 시각화하여 부품 누락·중복 리포트까지 생성할 수 있게 했습니다.
증분 학습을 통한 실시간 반영: 신규 문서 등록 시 전체 재학습 대신 증분 파이프라인(Kafka 기반)을 통해 평균 2.4분 만에 AI 검색 및 답변에 반영되도록 구현했습니다.
3. 도입 결과: 보안 검증 200건 위반 0건
구분 | 도입 전 | 도입 후 |
|---|---|---|
자료 1건 검색 시간 | 30분 ~ 2시간 | 수 초 내 답변 |
답변 정확도 | 누락·중복 검색 빈번 | 인용 정확도 100% / 환각 0건 |
신규 문서 반영 | 수동 정리 필요 | 평균 2.4분 내 자동 반영 |
보안 및 권한 통제 | 시스템별 개별 관리 | 그룹웨어 권한 자동 적용 / 민감정보 양방향 차단 |
PoC 단계에서 진행된 200여 건의 보안 점검 항목을 위반 0건으로 통과했으며, 동시 사용자 200명 이상의 부하 상황에서도 안정적인 응답 성능을 확인했습니다.
4. 폐쇄망 AI 구축에서 얻은 핵심 인사이트
보안·권한·AI는 하나의 구조로 풀어야 합니다.
보안 요건과 권한 통제, AI 검색을 별개 시스템으로 다루면 운영 단계에서 반드시 충돌이 발생합니다. 처음 설계부터 통합된 축으로 접근해야 합니다.
권한 통제는 AI 상단이 아닌 데이터 레이어에서 처리해야 합니다.
AI 모델의 추론 능력에 권한 판단을 의존하면 프롬프트 공격이나 우회 기법에 무너질 수 있습니다. 사용자가 볼 수 있는 권한 내부의 데이터만 AI에게 전달되는 구조가 가장 안전합니다.
자체 인프라 구축은 단순 비용이 아닌 '통제력 확보'의 과정입니다.
SaaS 형태에 비해 초기 구축비와 운영 인력이 더 들 수밖에 없습니다. 하지만 보안 가이드라인과 망분리 요건이 점점 강화되는 환경에서, 데이터 유출 위험 없이 100% 자율 제어 가능한 AI 인프라를 갖추는 것은 그 이상의 가치를 제공합니다.
💡 비슷한 고민을 하고 계신다면
CMMC, 망분리 등 보안 규제로 인해 외산 SaaS AI 도입이 불가능한 경우
그룹웨어, 파일 서버, ERP 등에 사내 지식이 파편화되어 검색이 어려운 경우
단순 챗봇을 넘어 엄격한 사용자 권한 제어와 민감정보 차단이 동시에 필요한 경우
폐쇄망 환경에서의 AI 도입은 기존 Cloud SaaS 방식을 그대로 따라 해서는 성공하기 어렵습니다. 보안과 데이터 구조에 맞춘 전용 설계가 필요한 이유입니다.
