Contact us 한국어|English
Back to Insights
Tech & Insights

Private AI 깊이 알기: 데이터를 내주지 않고 AI를 쓰는 기술

PR 팀PR 팀 · 디사일로
·

테크앤인사이트 — 동형암호와 Private AI 시리즈 (전 4편 완결)

한눈에 보기 (TL;DR)

  • Private AI는 데이터에 대한 통제권이 데이터 소유자에게 그대로 남은 채 AI의 능력을 쓰는 접근 전반을 가리킨다. 핵심은 배포 방식이 아니라 보증이다. 프롬프트와 문서가 모델 운영자에게조차 노출되지 않아야 한다.
  • 지금 Private AI가 부상하는 이유는 세 가지다. 에이전틱 AI에 조직의 내부 데이터가 통째로 모델 입력이 되는 구조, 강화되는 규제, 그리고 규제 산업의 AI 도입 정체다.
  • 해법은 결국 '누구를 믿을 것인가'로 갈린다. 프라이빗 배포는 자사 인프라를, TEE는 칩 제조사를, MPC는 서버 간 비담합을 믿는다. 동형암호(FHE)는 그 질문 자체를 지운다. 계산 전 과정이 암호문 위에서 이루어져, 볼 수 있는 주체가 애초에 없다.
  • 동형암호의 약점이던 속도는 빠르게 좁혀지고 있다. 암호화된 LLM 추론을 분 단위로 끌어내린 THOR와, 행렬 연산을 위해 스킴을 재설계한 5세대 GL 스킴이 그 증거다. 디사일로는 이 기술을 DESILO Private AI 제품군으로 구현하고 있다.

목차

  1. Private AI란 무엇인가: 약속이 아니라 성질
  2. 왜 지금인가: AI 도입의 마지막 병목
  3. 무엇이 새어 나가는가: AI 파이프라인의 노출 지점
  4. 첫 번째 답, 모델을 데이터 곁으로: 프라이빗 배포
  5. 두 번째 답, 신뢰를 옮기기: TEE·MPC·연합학습·차분 프라이버시
  6. 세 번째 답, 신뢰를 없애기: 동형암호
  7. 실용화의 증거: THOR와 GL이 바꾼 것
  8. 무엇을 만들 수 있는가: Secure RAG에서 에이전틱 AI까지
  9. 자주 묻는 질문(FAQ)
  10. 참고 자료

1. Private AI란 무엇인가: 약속이 아니라 성질

오늘날 대부분의 AI 서비스에서 프라이버시는 약속이다. "입력 데이터를 학습에 쓰지 않겠다", "일정 기간 후 삭제하겠다" 같은 약관과 계약, 그리고 그것을 지키려는 운영자의 성의에 기대야 한다. 약속은 유용하지만, 설정 오류·내부자·해킹·정책 변경 앞에서는 깨질 수 있는 약속이다.

Private AI는 프라이버시를 약속에서 시스템의 성질로 바꾸려는 시도다. 데이터를 누가 볼 수 있는가가 운영 정책이 아니라 아키텍처 자체로 결정되게 만드는 것이다. 이 기준으로 보면 Private AI는 특정 배포 형태의 이름이 아니다. 사내망에 설치한 AI도 Private AI의 한 형태일 수 있지만, 설치 위치 자체가 보증은 아니다. 경계 안에 두는 것은 계산을 안으로 한정하는 선택일 뿐이어서, 외부의 계산 자원을 빌리거나 다른 조직과 협력해야 하는 순간에는 성립하지 않는다. 관건은 위치가 아니라, 계산을 맡는 상대가 데이터를 볼 수 있는가다.

Private AI의 기준은 결국 하나로 모인다. AI가 내 데이터로 일하는 동안, 계산을 맡는 상대는 — 모델 운영자조차 — 그 데이터를 볼 수 없어야 한다. 그리고 이 기준을 온전히 충족하는 길의 중심에는 완전동형암호(FHE)가 있다.

2. 왜 지금인가: AI 도입의 마지막 병목

생성형 AI의 유용성은 이미 증명됐다. 그런데도 정작 가치가 가장 큰 곳 — 금융, 의료, 공공, 법무, 제조의 핵심 기술 부서 — 에서 도입이 가장 느리다. 이유는 모델의 능력이 아니라 데이터다. 세 가지 압력이 동시에 걸리고 있다.

데이터가 곧 프롬프트가 됐다. 초기의 걱정이 '내 데이터가 학습에 쓰이지 않을까'였다면, 에이전틱 AI 시대의 현실은 더 직접적이다. 유용한 AI일수록 더 많은 맥락을 요구하고, 그 맥락이란 결국 사내 문서, 고객 기록, 메일함, 데이터베이스다. 조직의 지식 전체가 추론 입력이 되어 경계 밖으로 나가는 구조가 표준이 된 것이다. 실제로 국내외 다수의 기업이 사내 정보의 외부 챗봇 입력을 금지하는 정책을 둔 바 있고, 2023년에는 이탈리아 개인정보 당국이 프라이버시 문제로 생성형 AI 서비스를 일시 중단시키기도 했다.

규제가 양쪽에서 조여온다. 한쪽에서는 GDPR과 EU AI Act, 각국 개인정보보호법이 데이터 보호 의무를 강화하고, 다른 한쪽에서는 EU 자금세탁방지 규정(AMLR)의 정보 공유 조항처럼 기관 간 데이터 협력을 요구하는 규제가 늘어난다. '공유하되 노출하지 말라'는 이중 요구는 기존 방식으로는 풀기 어려운 숙제다.

에이전트가 권한을 요구한다. 에이전틱 AI는 메일함, 캘린더, 사내 시스템, 결제 수단에 대한 접근 권한을 전제로 한다. 자동화의 폭이 커질수록 노출면과 공격면도 함께 커진다. 에이전트에게 열쇠를 주되 금고 안은 보여주지 않는 방법이 필요해진다.

그래서 많은 조직의 선택지는 오랫동안 둘로 좁혀져 있었다. 안 쓰거나, 감수하고 쓰거나. Private AI는 세 번째 선택지다.

3. 무엇이 새어 나가는가: AI 파이프라인의 노출 지점

보안 관점에서 AI 파이프라인을 뜯어보면, 데이터가 평문으로 노출되는 지점은 생각보다 많다.

단계오가는 데이터누가 볼 수 있는가
프롬프트·대화질문 자체, 첨부 문서, 대화 이력모델 운영자, 클라우드 인프라 제공자
RAG 검색사내 문서 저장소 전체와 임베딩검색·벡터 DB 운영자 (임베딩에서 원문이 상당 부분 복원될 수 있다는 연구도 이어진다)
학습·파인튜닝학습 데이터학습 운영 주체 + 모델의 암기(memorization)를 통한 사후 추출 가능성
에이전트 도구 호출메일·DB·API의 내용과 자격증명에이전트 플랫폼과 경유 인프라
로그·모니터링입출력의 평문 사본운영·보안 도구 체인 전반

주목할 점은, 이 중 어느 것도 '암호화를 안 해서' 생기는 문제가 아니라는 사실이다. 전송 구간(TLS)과 저장 구간(at rest)의 암호화는 이미 업계 표준이다. 문제는 세 번째 구간이다. 계산하는 순간(in use), 모든 데이터는 평문으로 돌아온다. AI는 본질적으로 계산이므로, AI 시대의 프라이버시 문제는 결국 이 '사용 중 데이터' 문제로 수렴한다. Private AI의 접근법들은 모두 이 빈칸을 서로 다른 방식으로 메우려는 시도다.

4. 첫 번째 답, 모델을 데이터 곁으로: 프라이빗 배포

가장 직관적인 답은 데이터를 보내지 않는 것이다. 오픈소스 모델을 자체 서버나 프라이빗 클라우드에 올려 조직 경계 안에서 AI를 운영하는 방식이다. 데이터가 경계를 넘지 않으므로 규제 대응이 직관적이고, 많은 조직이 실제로 이 길을 택하고 있다.

다만 이 답에는 세 가지 한계가 따라붙는다. 첫째, 구축과 운영의 부담이다. GPU 인프라, MLOps 인력, 모델 업데이트 주기를 자체 감당해야 하고, 수요에 따라 늘였다 줄이는 클라우드의 탄력성은 포기해야 한다. 둘째, 경계 안에 갇힌다는 점이다. 다른 기관과 데이터를 합쳐야 하는 분석과 협력은 애초에 성립하지 않는다. 셋째, 모델 쪽에서 보면 반대 방향의 신뢰 문제가 있다. 모델 제공자는 가중치 유출 우려 때문에 모델을 고객 인프라에 내주기를 꺼린다. 데이터 소유자는 데이터를, 모델 소유자는 모델을 못 내놓는 교착이 생기고, 좋은 모델을 경계 안으로 들여오는 일 자체가 협상 문제가 된다.

프라이빗 배포는 유효한 선택지다. 그러나 '조직 경계 밖의 계산'이 필요해지는 순간 — 외부의 계산 자원을 빌리거나, 다른 기관과 데이터를 합쳐 분석해야 하는 순간 — 무력해진다. 그래서 다음 질문이 나온다. 경계 밖에서 계산하되, 보이지 않게 할 수는 없는가.

5. 두 번째 답, 신뢰를 옮기기: TEE·MPC·연합학습·차분 프라이버시

'계산 중 보호'를 위한 기술군을 프라이버시 강화 기술(PET)이라 부른다. 각각은 훌륭한 도구다. 다만 질문을 하나로 고정하고 보면 — 이 기술을 쓸 때, 무엇을 믿어야 하는가 — 공통 구조가 드러난다. 신뢰를 없애는 게 아니라, 신뢰의 대상을 바꾸거나 보호 범위를 한정한다는 것이다.

TEE(신뢰실행환경, 기밀 컴퓨팅). CPU·GPU 안에 격리된 영역을 만들고 메모리를 암호화해, 클라우드 사업자조차 내부를 들여다보지 못하게 한다. 속도가 평문 계산과 거의 같고 이미 주요 클라우드와 최신 GPU에서 상용화됐다는 것이 큰 장점이다. 믿어야 하는 것은 두 가지이고, 둘은 성격이 다른 문제다. 하나는 신뢰 모델의 문제다. 격리와 그 증명(attestation)의 뿌리가 칩 제조사에 있으므로, 신뢰가 사라진 게 아니라 클라우드 사업자에서 칩 제조사로 옮겨간 것이다. 다른 하나는 구현의 문제다. 격리를 지키는 것은 수학이 아니라 하드웨어·펌웨어 구현이므로 그 구현의 완전성도 함께 믿어야 하며, 사이드채널 공격 취약성이 학계에서 실증 사례와 함께 꾸준히 보고돼 온 것이 바로 이 지점이다.

MPC(다자간 계산). 데이터를 수학적으로 조각내 여러 서버가 나눠 계산한다. 믿어야 하는 것은 서버들이 담합하지 않는다는 가정이다. 조각 하나만으로는 아무 정보도 얻을 수 없지만, 서버들이 손을 잡으면 원본이 복원된다. 여기에 구조적 부담이 더해진다. 연산 라운드마다 통신이 오가는 대화형 프로토콜이어서, THOR 논문이 인용하는 MPC 결합 방식의 대표 연구(BOLT)는 BERT-base 추론 한 번에 약 25.74GB의 통신을 보고했다. 반면 동형암호는 암호문을 보내고 결과를 받는 비대화형 구조라, 추론 중의 이런 왕복 통신 자체가 없다.

연합학습. 데이터 대신 모델 업데이트를 이동시켜 '학습 단계'의 데이터 집중을 피한다. 믿어야 하는 것은 참여 기관들과 집계 서버이고, 보호 범위도 학습 데이터의 이동에 한정된다. 추론 단계의 입력 프라이버시는 애초에 다루지 않는다.

차분 프라이버시. 결과에 수학적 노이즈를 더해 개인을 집계치 속에 숨긴다. 믿어야 하는 대상이 있다기보다 보호 범위가 한정되는 경우로, 통계 공개·모델 배포 단계의 '출력'을 지킬 뿐 계산 과정의 '입력'은 평문 그대로이며, 노이즈만큼 정확도를 내주는 트레이드오프가 있다.

이 기술들은 서로 배타적이지 않고 실무에서는 자주 조합된다. 하지만 공통점이 하나 있다. 어딘가에 '그래도 믿어야 하는 존재'나 '보호하지 않는 구간'이 남는다는 점이다.

6. 세 번째 답, 신뢰를 없애기: 동형암호

완전동형암호(FHE)는 질문을 바꾼다. 누구를 믿을 것인가가 아니라, 아무도 믿지 않아도 되게 할 수 있는가다. 데이터를 암호화된 상태 그대로 계산할 수 있으므로, 서버는 처음부터 끝까지 암호문만 다룬다. 입력도, 중간 계산값도, 결과도 평문으로 존재하는 순간이 없다. 볼 수 있는 주체가 아예 없는 것이다.

이 보증의 근거는 운영 정책도, 하드웨어 격리도, 비담합 가정도 아닌 격자 문제(Ring-LWE)의 수학적 난해성이다. 양자 컴퓨터에 대한 내성까지 같은 수학에서 따라온다. 게다가 THOR가 보여줬듯 비대화형 구조가 가능해, 암호문을 한 번 보내고 결과를 한 번 받는 단순한 흐름으로 운영된다.

접근법들을 한 표로 놓으면 차이가 분명해진다.

접근무엇을 믿어야 하는가보호 범위특징
프라이빗 배포자사 인프라와 내부자데이터의 외부 이동 방지구축·운영 부담, 기관 간 협력 제약
TEE칩 제조사와 펌웨어계산 중 (하드웨어 격리)속도 우수, 사이드채널 공격 사례 보고
MPC서버 간 비담합계산 중 (분산)대화형, 통신량 부담
연합학습참여 기관과 집계 서버학습 데이터 이동 방지추론 보호 아님
차분 프라이버시(출력 설계의 적절성)결과 공개 시점입력 보호 아님, 정확도 트레이드오프
동형암호(FHE)수학(격자 난해성)뿐전송·저장·계산 중 전 구간가장 강한 보증, 과제는 계산 비용

실질적으로, 동형암호의 유일한 대가는 계산 비용이었다. 그래서 지난 15년의 질문은 '되느냐'가 아니라 '언제 실용적이 되느냐'였다. TEE와 동형암호는 경쟁하기보다 시야가 다르다. TEE가 오늘의 성능으로 계산 중 보호를 제공한다면, 동형암호는 신뢰 자체가 필요 없는 종착점을 제시한다. 그리고 그 종착점까지의 거리가 최근 몇 년 사이 극적으로 줄었다. 다음 장의 이야기다.

7. 실용화의 증거: THOR와 GL이 바꾼 것

동형암호 기반 Private AI가 구호가 아니라는 것을 보여주는 지표는 두 층위에서 나온다. 알고리즘과 스킴이다.

알고리즘의 층위: THOR. 디사일로와 한양대학교 김미란 교수 연구팀이 공동 개발해 컴퓨터 보안 분야 최고 권위 학회인 ACM CCS 2025에서 발표한 THOR는, 기존 4세대 스킴(CKKS) 위에서 행렬 곱셈과 비선형 근사를 재설계해 BERT-base 모델의 암호화 추론 전 과정을 단일 GPU에서 기존 논문 기준 10분에 수행했고, 이후 최적화를 통해 2분 수준까지 단축되었다. 같은 비대화형 방식의 직전 연구가 2.7시간 걸리던 작업이고, 정확도는 평문 모델과 약 1%포인트 수준의 차이다. '암호화된 LLM 추론'이 시간 단위에서 분 단위로 내려온 것이다.

스킴의 층위: GL. FHE의 창시자 크레이그 젠트리와 디사일로 이용우 수석과학자가 공동 발명한 5세대 GL 스킴은, AI 연산의 대부분을 차지하는 행렬 곱셈을 위해 동형암호를 처음부터 다시 설계했다. 암호화된 행렬 곱이 평문 행렬 곱 4번으로 환원되고, 부대비용인 키 스위칭은 원소별 곱셈의 최대 4배 이내로 묶인다. 계산 시간의 대부분이 '어차피 해야 하는 평문 행렬 곱'이 되므로, GPU와 전용 하드웨어가 빨라지는 만큼 암호화 계산도 함께 빨라지는 구조다.

여기에 세 번째 축이 더해진다. 하드웨어다. FHE 전용 가속기와 GPU 최적화 연구가 이어지고 있고, GL처럼 평문 행렬 곱 중심으로 재편된 스킴은 이 가속의 이득을 구조적으로 흡수한다. 알고리즘, 스킴, 하드웨어의 세 축이 동시에 움직이면서 동형암호의 비용 곡선은 어느 한 축의 속도보다 빠르게 떨어지고 있다.

자세한 내용은 「THOR 깊이 알기」와 「GL 스킴 깊이 알기」에서 각각 다룬다.

8. 무엇을 만들 수 있는가: Secure RAG에서 에이전틱 AI까지

동형암호 기반 Private AI는 이미 구체적인 제품의 모습을 갖춰 가고 있다.

Secure RAG. 조직의 문서를 암호화된 채로 저장하고, 질문도 암호화된 채로 검색과 생성까지 잇는 구조다. 3장에서 본 RAG의 노출 지점 — 문서 저장소, 임베딩, 질의 — 이 통째로 암호문 안으로 들어간다. 조직의 지식을 AI에 연결하되 그 지식이 누구에게도 보이지 않는, Private AI의 가장 실용적인 첫 형태다.

프라이빗 어시스턴트. 개인과 조직의 맥락(메일, 일정, 문서)을 암호화한 채 활용하는 AI 비서다. 편리함을 위해 프라이버시를 포기하는 대신, 둘을 함께 갖는 방향이다.

데이터 클린룸. 서로 데이터를 보여줄 수 없는 기관들이 암호문 상태로 데이터를 결합해 공동 분석과 공동 모델링을 수행한다. 금융기관 간 자금세탁 탐지처럼 '공유하되 노출하지 말라'는 이중 요구(2장)에 대한 직접적인 답이며, 디사일로의 DESILO DCR이 이 형태다.

에이전틱 AI의 안전장치. 에이전트가 다루는 데이터와 자격증명을 암호화 상태로 유지하면, 에이전트에게 권한을 주면서도 노출면은 키우지 않을 수 있다. 에이전트 시대의 데이터 보안에서 암호기술의 역할은 이제 막 본격적으로 논의되기 시작한 영역이다.

디사일로는 이 스택을 아래에서 위로 쌓아 올리고 있다. 5세대 GL 스킴까지 담은 FHE 라이브러리 DESILO FHE 라이브러리, 기관 간 결합 분석을 위한 DESILO DCR, 그리고 Secure RAG를 포함한 DESILO Private AI로 이어지는 구조다. 스킴(GL)과 알고리즘(THOR)에서 라이브러리와 제품까지, 동형암호 기반 Private AI의 전 층위를 직접 만드는 회사는 세계적으로도 드물다.

9. 자주 묻는 질문 (FAQ)

Q1. Private AI는 온프레미스 설치형 AI를 말하는가?

아니다. 배포 위치가 아니라 보증의 문제다. 사내 설치는 계산을 경계 안으로 한정하는 선택일 뿐, 외부의 계산 자원이나 다른 기관과의 협력이 필요해지는 순간 성립하지 않는다. Private AI의 기준은 '계산을 맡는 상대가 데이터를 볼 수 있는가'이며, 이는 배포 형태가 아니라 아키텍처로 결정된다.

Q2. 동형암호는 느려서 못 쓴다고 들었다. 사실인가?

검색·통계·정형 분석류 워크로드는 실용화를 위한 검증 단계에 들어와 있고, LLM 추론도 THOR가 시간 단위를 분 단위로 끌어내렸다. GL 스킴처럼 수학적 구조 자체를 바꾼 5세대 기술과 하드웨어 가속까지 더해지면서 격차는 계속 줄어들고 있다.

Q3. TEE가 있는데 굳이 동형암호가 필요한가?

둘은 경쟁보다 보완에 가깝다. TEE는 오늘의 성능으로 계산 중 보호를 제공하지만 칩 제조사와 구현을 신뢰해야 하고, 동형암호는 신뢰 대상 없이 수학만으로 보증한다. 요구되는 보증 수준과 워크로드에 따라 선택하고 조합하되, 신뢰가 전혀 허용되지 않는 데이터의 종착점은 동형암호다.

Q4. 암호화하면 AI의 품질이 떨어지지 않는가?

THOR의 결과가 답이다. GLUE 벤치마크 기준 평문 모델과의 차이는 약 1%포인트 수준이었다. 이 차이는 동형연산 자체보다는, AI 모델에서 널리 사용되는 Softmax나 Normalization처럼 나눗셈이 들어가 동형연산이 직접 지원하지 않는 함수를 다항식으로 근사하는 과정에서 생기는 오차가 대부분이다.

Q5. 학습(파인튜닝)도 암호화된 채로 할 수 있는가?

연구가 진행 중인 영역이다. 현재 실용화의 중심은 추론·검색·분석이며, 암호화 상태의 학습은 그다음 과제다. 행렬 연산을 근본에서 가속하는 GL 스킴 같은 기반이 이 간극도 함께 줄이고 있다.

10. 참고 자료

테크앤인사이트 — 동형암호와 Private AI 시리즈 (전 4편 완결)