나도 몰랐던 내 정보, 왜 LLM은 알고 있었을까?

June 9, 2025
나도 몰랐던 내 정보, 왜 LLM은 알고 있었을까?

AI 시대, 기업 데이터 보안은 어떻게 지켜야 할까

“이거 ChatGPT에 넣으면 금방 요약돼요!”

하지만 그 ‘작은 편의’가 보안팀을 긴장시키는 사고로 번질 뻔했다면?

5분 뒤, 깔끔하게 정리된 초안이 올라옵니다.문제는 그 안에 실명, 전화번호, 계좌번호까지 들어 있었다는 것.누구도 악의는 없었습니다. 그저 빨리 끝내고 싶었을 뿐이죠.

인공지능은 확실히 강력한 도구지만, 동시에 기업 내부 데이터를 어떻게 다룰 것인가에 대한 보안 이슈도 함께 따라옵니다.AI를 ‘잘’ 사용하는 것만큼이나, ‘안전하게’ 사용하는 방법에 대한 고민이 필요한 시점입니다.

클라우드가 그랬듯, AI도 하이브리드 시대로

사실 이 고민, 낯설지 않습니다.

클라우드 컴퓨팅이 처음 도입되던 시기, 많은 기업들은 퍼블릭 클라우드의 효율성과 속도에 매력을 느끼는 동시에, 민감한 정보를 외부에 맡기기 어려워했습니다.

결국 기업들은 프라이빗 클라우드와 퍼블릭 클라우드를 목적에 따라 혼용하는 하이브리드 클라우드 전략을 선택하게 되었죠.

이제 그 흐름이 AI와 LLM(Large Language Model) 으로 넘어오고 있습니다.

퍼블릭 LLM, 프라이빗 LLM... 뭐가 다를까?

많은 사람들이 사용하는 ChatGPT나 Gemini, Claude, DeepSeek 등은 대표적인 퍼블릭 LLM입니다.이들은 방대한 인터넷 데이터를 기반으로 훈련되어 뛰어난 언어 이해 및 생성 능력을 보여주지만, 외부 API를 통해 서비스를 제공하는 만큼, 데이터 보안에 민감한 기업에게는 부담이 따릅니다.

그래서 최근 많은 기업들이 오픈소스 LLM(예: Mistral, LLaMA, Phi 등)을

자체 서버에 설치해 운영하는 프라이빗 LLM을 적극 도입하고 있습니다.

프라이빗 LLM의 주요 장점

  • 정확하고 실용적인 결과 제공: 회사 내부 데이터를 활용해 학습함으로써 실제 업무에 맞는 고정밀 결과를 도출 가능
  • 보안 강화 및 데이터 주권 확보: 기업 내부망에 AI 모델을 구축하여 외부 유출 위험을 원천 차단하며, 학습 및 사용 중 생성되는 모든 데이터는 기업 내부에서 자체 관리
  • 폐쇄망 환경 지원: 인터넷 연결 없이도 작동 가능하여 보안성이 중요한 폐쇄망 환경에서도 안정적으로 운영 가능
  • 모델 다양성: 코딩, 상담, 이미지 생성 등 목적에 따라 특화된 다양한 모델 선택 가능
  • 목적 기반 커스터마이징: 고객 상담, 법률 분석, 기술 문서 요약 등 부서별 요구에 맞게 모델 파인튜닝 가능

이러한 장점 덕분에, 점점 더 많은 기업들이 중요한 데이터는 프라이빗 LLM으로 처리하고, 일반적인 정보는 퍼블릭 LLM을 활용하는 하이브리드 전략을 취하고 있습니다.

“하이브리드 LLM” 전략, 이렇게 작동합니다

하이브리드 전략은 단순히 두 가지 모델을 ‘같이 쓴다’는 개념이 아닙니다.정보의 민감도와 업무 목적에 따라 최적의 모델을 선택해 사용하는 전략입니다.

예를 들어,

정보 유형 활용 모델
고객 정보, 내부 보고서, 계약서 등 민감한 내용 프라이빗 LLM
일반 문장 요약, 뉴스 분석, 외부 동향 파악 등 비민감 내용 퍼블릭 LLM

이처럼 명확한 기준을 두고 LLM을 분리해 운용하면, 보안과 성능 두 마리 토끼를 잡을 수 있습니다.

RAG: 검색까지 하는 LLM, 새로운 보안 과제

최근에는 LLM이 검색까지 수행하는 RAG(Retrieval-Augmented Generation) 기술이 급속도로 확산되고 있습니다.이 기술은 단순히 모델이 가진 지식만으로 답변하지 않고, 외부 검색 도구(예: Google, 내부 DB, 사내 위키 등)를 활용해 최신 정보나 구체적인 데이터를 조회한 후, 이를 바탕으로 답변을 생성하는 방식입니다.

하지만 여기서 새로운 보안 이슈가 등장합니다. RAG를 통해 검색 요청이 외부로 나갈 때, 고객 이름, 주민번호, 계좌번호 등 민감 정보가 포함된다면 이는 심각한 보안 사고로 이어질 수 있습니다.

RAG 보안, 이렇게 관리할 수 있습니다

RAG를 안전하게 활용하기 위해선 다음과 같은 정보 비식별화 및 필터링 절차가 필요합니다.

예시 시나리오:

  • 원래 질문:

“홍길동 고객의 신용등급은 B등급입니다. B등급의 대출 이자율은 얼마인가요?”

  • 처리 방식:
    1. 질문 사전 처리: 이름 및 식별 정보 제거 → “B등급의 대출 이자율은 얼마인가요?”
    2. 외부 검색 수행
    3. 검색 결과를 사내 프라이빗 LLM에서 재가공하여 응답 생성

이러한 구조는 정보 유출 가능성을 원천적으로 차단하면서도, 외부 지식을 효과적으로 활용할 수 있도록 해줍니다.

결론: AI를 ‘잘’ 쓰는 것보다 중요한 건 ‘믿고’ 쓸 수 있는가

AI와 LLM은 이미 많은 업무에서 필수 도구가 되고 있습니다.하지만 기술이 진화할수록, 이를 다루는 우리의 전략도 진화해야 합니다.

이제 기업은 다음과 같은 질문에 답할 수 있어야 합니다:

  • 사내에서 AI가 어떤 방식으로 쓰이고 있는지 파악하고 있나?
  • 프라이빗 LLM 도입이 필요한 정보 구간은 어디인가?
  • RAG와 같은 최신 기술 도입 시, 보안 설계는 충분한가?
  • 사용자의 무의식적 사용이 조직에 위험을 초래하고 있지는 않은가?

생성형 AI는 이미 당신의 조직 어딘가에서 ‘누군가’에 의해 사용되고 있을지도 모릅니다. 이제 더 이상 중요한 질문은 ‘도입할 것인가’가 아니라, ‘어떻게 통제하고, 안전하게 관리할 것인가’입니다.

우리는 AI를 조직의 자산으로 키우고 있나요? 아니면 보이지 않는 리스크로 방치하고 있는 건 아닐까요?

이번 글에서는 데이터 보안의 관점에서 생성형 AI 활용 전략을 짚어보았습니다.

AI를 효과적으로 활용하기 위해서는, 기술보다 책임 있는 운영 전략이 먼저입니다.

편리함만 쫓다가, 보안은 놓치고 있지 않나요?