THOR 깊이 알기: 암호문 위에서 LLM을 추론하는 기술

테크앤인사이트 — 동형암호와 Private AI 시리즈 (전 4편)

• ① 완전동형암호(FHE) 깊이 알기: 데이터를 열어보지 않고 계산하는 기술
• ② THOR 깊이 알기: 암호문 위에서 LLM을 추론하는 기술 — 지금 읽고 있는 글
• ③ GL 스킴 깊이 알기: 행렬을 위해 처음부터 다시 설계한 동형암호 — 공개 예정
• ④ Private AI 깊이 알기: 데이터를 내주지 않고 AI를 쓰는 기술 — 공개 예정

한눈에 보기 (TL;DR)

• THOR는 완전동형암호(FHE) 위에서 트랜스포머 추론의 전 과정을 실행하는 프레임워크다. 사용자의 입력이 암호화된 채로 LLM 연산이 이루어지므로, 모델을 운영하는 서버조차 사용자가 무엇을 물었고 어떤 답을 받았는지 볼 수 없다.
• 디사일로와 한양대학교 김미란 교수 연구팀의 공동 연구 성과로, 컴퓨터 보안 분야 최고 권위 학회인 ACM CCS 2025(타이베이)에서 발표됐다. 제1저자 문정호(Jungho Moon)는 연구 당시 디사일로 소속으로 참여했다.
• 핵심은 동형암호의 성질에 맞춰 행렬 곱셈을 다시 설계한 것이다. 기존 최고 성능 기법 대비 평문-암호문 행렬 곱은 5.3배, 암호문-암호문 행렬 곱은 9.7배 빠르다.
• 그 결과 BERT-base 모델의 128토큰 추론 전 과정을 단일 GPU에서 2분에 마친다. 논문 공개 당시 성능 10분에서 지속 최적화한 결과이며, 같은 방식의 직전 연구는 2.7시간이 걸리던 작업이다. 정확도는 평문 모델과 약 1%포인트 수준의 차이를 유지한다.

목차

1. 왜 '암호화된 추론'인가
2. 무엇이 어려운가: 트랜스포머와 동형암호의 간극
3. 핵심 기술 ① 행렬을 대각선으로 곱한다
4. 핵심 기술 ② 비선형 함수를 다항식으로 길들인다
5. 핵심 기술 ③ 부트스트래핑을 아끼는 파이프라인
6. 결과: 2분, 그리고 1%p
7. 보안 모델: 무엇을 보장하는가
8. THOR 다음: Private AI 로드맵
9. 자주 묻는 질문(FAQ)
10. 참고 자료

---

1. 왜 '암호화된 추론'인가

생성형 AI가 널리 쓰일수록 한 가지 사실이 분명해졌다. LLM에 무언가를 입력하는 순간, 그 내용은 모델을 운영하는 쪽에 그대로 전달된다는 것이다. 업무 문서, 고객 정보, 진료 기록처럼 민감한 데이터를 다루는 조직일수록 이 구조는 치명적이며, 금융·의료·공공 등 규제 산업에서 AI 도입 논의가 번번이 멈춰 서는 이유이기도 하다.

완전동형암호(FHE)는 이 문제의 가장 근본적인 답이다. 데이터를 암호화된 상태 그대로 연산할 수 있으니, 원리적으로는 암호문 위에서 LLM 추론도 가능하다. 문제는 속도였다. 최소 수억 개의 파라미터를 가지는 LLM에 FHE를 적용하면 추론 한 번에 수 시간이 걸리거나, 아주 작은 모델에서만 동작하는 수준에 머물러 있었다.

THOR는 이 간극을 좁힌 결과물이다. 이름은 Transformer와 HomomOrphic encRyption에서 왔다. 디사일로와 한양대학교 김미란 교수 연구팀이 공동으로 개발했고, 미국 텍사스대학교 휴스턴 보건과학센터 연구진이 함께 참여했다. 논문은 2025년 10월 타이베이에서 열린 ACM CCS 2025에서 발표됐다. CCS는 IEEE S&P, USENIX Security, NDSS와 함께 컴퓨터 보안 분야 4대 최고 권위 학회로 꼽힌다.

동형암호 기술 자체에 관해서는 인사이트 「완전동형암호(FHE) 깊이 알기」에서 전반을 다룬다.

---

2. 무엇이 어려운가: 트랜스포머와 동형암호의 간극

트랜스포머(Transformer)는 다양한 오픈소스와 AI 서비스에서 널리 사용되고 있는 생성형 AI의 핵심 구조로서, 크게 두 종류의 계산으로 이루어진다. 하나는 거대한 행렬 곱셈이다. 어텐션의 쿼리·키·밸류 계산부터 피드포워드 레이어까지 연산량의 대부분이 행렬 곱이다. 다른 하나는 비선형 함수다. softmax, GELU, LayerNorm처럼 지수·나눗셈·제곱근이 섞인 함수가 층마다 반복된다.

동형암호 입장에서는 둘 다 만만치 않다. 암호문은 수만 개의 값을 담은 긴 벡터이고, 지원되는 연산은 벡터 단위의 덧셈·곱셈·회전(rotation)뿐이다. 평문에서라면 자유로운 행과 열 접근이 암호문에서는 비싼 회전과 키 스위칭 연산의 연속이 된다. 비선형 함수는 아예 직접 계산할 수 없어 다항식 근사로 바꿔야 하고, 연산이 쌓일수록 커지는 노이즈를 초기화하는 부트스트래핑은 동형암호에서 가장 비용이 큰 절차다.

기존 연구는 두 갈래로 진행돼 왔다.

THOR의 목표는 분명하다. 통신이 필요 없는 비대화형(non-interactive) 구조를 유지하면서, 속도를 실용 구간까지 끌어올리는 것이다.

---

3. 핵심 기술 ① 행렬을 대각선으로 곱한다

THOR의 핵심 중 첫 번째는 동형암호 친화적인 행렬 곱셈 알고리즘이다. 출발점은 행렬을 행이나 열이 아니라 대각선(diagonal) 단위로 인코딩하는 발상이다. 두 행렬의 곱 AB의 각 대각선은, A의 위대각선들을 회전시킨 벡터와 B의 아래대각선 벡터를 원소별로 곱해 더한 값으로 정확히 표현된다. 동형암호가 가장 잘하는 연산, 즉 벡터의 회전과 원소별 곱만으로 행렬 곱이 완성되는 구조다.

여기에 두 가지 설계가 더해진다.

촘촘한 패킹. 암호문 하나에는 수만 개의 슬롯이 있는데, 대각선 하나만 담으면 대부분이 빈 채로 낭비된다. THOR는 여러 행렬의 대각선을 하나의 암호문에 겹겹이 담는 인코딩으로 슬롯을 가득 채워, 멀티헤드 어텐션의 12개 헤드를 병렬 처리한다.

곱셈 종류별 맞춤 알고리즘. 트랜스포머에는 성격이 다른 두 곱셈이 있다.

• 평문×암호문 곱(PC-MM): 모델 가중치(평문)와 활성값(암호문)의 곱이다. 행렬을 블록으로 나눠 같은 대각선 위의 블록들을 병렬로 곱하는 전략으로, 필요한 회전 수를 행렬 전체 크기가 아닌 블록 크기 수준으로 줄였다.
• 암호문×암호문 곱(CC-MM): 어텐션 스코어(QKᵀ)처럼 양쪽 모두 암호문인 경우다. Baby-Step Giant-Step 전략으로 입력 암호문에 대한 회전을 뒤로 미뤄 부분합에 한 번만 적용, 회전 횟수를 절반으로 줄였다.

결과는 수치로 확인된다. 멀티헤드 어텐션에 필요한 모든 행렬 연산에서 기존 최고 성능 기법(BOLT, Powerformer)을 일관되게 앞섰다.

논문이 복잡도 지표로 삼는 기본 연산인 키 스위칭(key-switching) 횟수 기준으로는, 어텐션 헤드 계산에서 기존 방식 대비 89~98%를 절감했다.

---

4. 핵심 기술 ② 비선형 함수를 다항식으로 길들인다

동형암호가 계산할 수 있는 것은 결국 덧셈과 곱셈, 즉 다항식뿐이다. softmax의 지수함수와 나눗셈, GELU, LayerNorm의 역제곱근은 모두 다항식 근사로 바꿔야 한다. 근사가 부정확하면 모델 정확도가, 근사가 무거우면 속도가 무너진다.

Softmax: 2단계 근사. 실제 BERT의 softmax 입력은 [-44, 50] 수준의 넓은 범위에 퍼져 있어 지수함수를 한 번에 근사하기 어렵다. THOR는 좁은 구간으로 줄여 지수함수를 안정적으로 근사한 뒤 제곱·정규화를 반복하여 원래 범위로 되돌리는 normalize-and-square 전략[4]과, 골드슈미트(Goldschmidt) 반복법에 수렴 속도를 매 단계 조절하는 적응형 기법[5]을 결합하여 이 문제를 해결했다. 그 결과 반복 횟수는 7회에서 3회로, 가장 비용이 큰 부트스트래핑은 8회에서 3회로 줄었고, 기존 최고 기법 대비 2.64배 빨라졌다. softmax 한 번으로 환산하면 약 14.5ms다.

GELU와 Tanh: 저차 다항식의 합성. 하나의 고차 다항식 대신 저차 다항식 두 개의 합성으로 같은 정밀도를 더 적은 연산으로 얻는다. 기존 방식 대비 곱셈 횟수는 56회에서 39회로, 곱셈 깊이는 14에서 11로 줄었다.

LayerNorm. 정규화에 필요한 역제곱근 역시 같은 적응형 반복법으로 계산한다.

---

5. 핵심 기술 ③ 부트스트래핑을 아끼는 파이프라인

개별 연산이 빨라도 조립이 엉성하면 전체는 느리다. THOR에는 엔드투엔드 파이프라인 차원의 설계가 함께 담겼다.

대표적인 것이 전치(transpose) 인코딩이다. 쿼리 계산 Q = XW를 그대로 수행하면 암호문 X를 여러 번 회전해야 하지만, 양변을 전치한 Qᵀ = WᵀXᵀ 형태로 계산하면 회전이 평문인 가중치 쪽으로 넘어가 암호문 회전이 사라진다. THOR는 추론 전 과정을 이 전치 형태로 일관되게 설계했다.

부트스트래핑의 배치도 마찬가지다. THOR는 중간 암호문의 개수가 가장 적어지는 지점에 부트스트래핑을 몰아서 수행한다. 그럼에도 전체 추론 시간의 56%(논문 구현 기준)를 부트스트래핑이 차지할 만큼 이 절차의 비중은 크다. 비교하자면 기존 비대화형 연구(NEXUS)는 인코딩 구조상 총 6,016회의 부트스트래핑이 필요해, 그것만으로 약 1.7시간이 걸리는 것으로 추정된다. 인코딩 구조의 선택이 부트스트래핑 횟수를 정하고, 부트스트래핑 횟수가 전체 성능을 정하는 셈이다.

---

6. 결과: 2분, 그리고 1%p

정확도는 GLUE 벤치마크의 세 과제로 검증했다. 비교 대상은 셋이다. 평문 원본 모델, 비선형 함수를 모두 다항식 근사로 바꾼 뒤 암호화 없이 실행한 평문 근사 모델, 그리고 그 근사 모델을 암호문 위에서 실행한 암호화 추론(THOR)이다. 암호화 추론과 원본의 차이는 약 1%p 수준이다.

주목할 부분은 가운데 열이다. 근사만 적용한 평문 근사 모델은 세 과제 모두에서 원본과 같거나 오히려 높다. 근사 설계 자체는 사실상 손실이 없다는 뜻이고, 미세한 차이는 암호문 위에서 실행되는 과정에서 더해진다. 전체 소스 코드는 GitHub에 공개되어 있다.

---

7. 보안 모델: 무엇을 보장하는가

THOR의 시나리오에는 두 주체가 있다. 파인튜닝된 모델을 가진 서버(서비스 제공자)와 추론을 요청하는 클라이언트다. 클라이언트는 입력 문장의 임베딩을 암호화해 보내고, 서버는 처음부터 끝까지 암호문 위에서만 계산한 뒤 암호화된 결과를 돌려준다. 복호화할 수 있는 것은 비밀키를 가진 클라이언트뿐이다.

위협 모델은 '정직하지만 호기심 많은(honest-but-curious)' 서버, 즉 프로토콜은 따르되 오가는 데이터를 들여다보려는 서버를 가정한다. 이때 서버가 클라이언트의 입력에 대해 아무것도 알 수 없다는 것이 보안 목표이며, 이는 CKKS 스킴의 의미론적 보안, 곧 Ring-LWE 문제의 수학적 난해성으로 보장된다. 복호화 결과가 외부에 공유되지 않는 프로토콜 구조여서, CKKS에 대해 알려진 키 복구 공격에도 안전하다.

비대화형이라는 점은 실무적으로도 중요하다. MPC 계열처럼 연산 라운드마다 서버와 클라이언트가 데이터를 주고받을 필요가 없으므로, 수십 GB의 통신도, 네트워크 지연에 대한 의존도 없다. 클라이언트는 암호문을 한 번 보내고, 결과를 한 번 받는다.

---

8. THOR 다음: Private AI 로드맵

THOR가 보여준 것은 '암호화된 LLM 추론'이 초소형 모델의 개념 증명이나 수 시간짜리 데모를 넘어 분 단위까지 내려왔다는 사실이다. 사용자의 프롬프트와 문서가 암호화된 채로 검색과 생성이 이루어지는 Secure RAG, 그리고 디사일로의 DESILO Private AI 제품군이 딛고 선 기술적 토대가 바로 여기에 있다.

확장의 방향도 열려 있다. 논문이 밝히듯 THOR의 행렬 곱셈과 비선형 근사 기법은 BERT류 인코더를 넘어 GPT류 디코더 모델과 다른 트랜스포머 기반 과제에 적용될 수 있다. 남은 성능 격차는 알고리즘, GPU 최적화, 전용 하드웨어의 세 방향에서 계속 좁혀지는 중이다. 특히 대형 AI 모델 연산의 대부분을 차지하는 행렬 곱셈을 근본부터 재설계한 5세대 GL(Gentry-Lee) 스킴은, THOR가 증명한 방향을 다음 단계로 가속할 카드다.

---

9. 자주 묻는 질문 (FAQ)

Q1. 서버가 정말 아무것도 볼 수 없는가?

그렇다. 입력값, 모든 중간 계산값, 최종 결과까지 서버는 암호문으로만 다룬다. 복호화 능력은 비밀키를 가진 클라이언트에게만 있으며, 이는 접근 통제 같은 정책이 아니라 격자 문제의 수학적 난해성으로 보장된다.

Q2. 더 빨라질 수 있는가?

시간의 절반 이상(56% - 논문 구현 기준)은 노이즈를 초기화하는 부트스트래핑이 차지한다. 부트스트래핑 자체의 개선, GPU와 전용 하드웨어 가속, 행렬 곱셈 구조를 재설계한 새로운 스킴이 격차를 줄여 갈 세 갈래 길이다. 같은 비대화형 방식의 직전 연구가 2.7시간이 걸렸다는 점을 감안하면, 논문에서의 10분은 종착점이 아니라 출발점이라고 할 수 있으며, 실제로 논문 공개 이후에도 지속 최적화하여 현재는 2분 수준으로 단축되었다.

Q3. 정확도가 떨어지지 않는가?

GLUE 벤치마크 기준 평문 모델과의 차이는 약 1%포인트 수준이다. 근사만 적용한 평문 모델이 원본과 같거나 오히려 나은 경우도 있어, 근사 설계 자체는 사실상 손실이 없고 미세한 차이는 암호문 위에서 실행되는 과정에서 더해지는 것으로 나타났다.

Q4. 모델을 다시 학습시켜야 하는가?

원론적으로는 동형암호를 위한 별도의 재학습은 필요하지 않다. 다만 지수함수·나눗셈 등 동형암호에서 무거운 연산들을 가벼운 다항식으로 대체한 뒤 원본 모델의 성능을 유지하도록 파인튜닝하면 동형암호에 더 효율적인 추론이 가능하며, 관련 연구들 또한 다수 진행되고 있다.

Q5. 어디까지 확장되는가?

논문은 BERT-base 모델에서 엔드투엔드 검증을 마쳤고, 제안 기법이 GPT류 디코더 모델과 다른 트랜스포머 과제로 확장 가능함을 밝히고 있다. 더 큰 모델로의 확장은 알고리즘과 하드웨어 가속이 맞물린 다음 과제다.

---

10. 참고 자료

1. Jungho Moon, Dongwoo Yoo, Xiaoqian Jiang, Miran Kim, "THOR: Secure Transformer Inference with Homomorphic Encryption," ACM CCS 2025: https://doi.org/10.1145/3719027.3765150
2. THOR 소스 코드: https://github.com/crypto-starlab/THOR
3. Liberate.FHE (현 DESILO FHE): https://fhe.desilo.dev/latest/
4. Wonhee Cho, Guillaume Hanrot, Taeseong Kim, Minje Park, Damien Stehlé, "Fast and accurate homomorphic softmax evaluation," ACM CCS 2024: https://dl.acm.org/doi/10.1145/3658644.3670369
5. Jungho Moon, Zhanibek Omarov, Donghoon Yoo, Yongdae An, Heewon Chung, "Adaptive successive over-relaxation method for a faster iterative approximation of homomorphic operations," Cryptology ePrint Archive 2024: https://eprint.iacr.org/2024/1366

---

테크앤인사이트 — 동형암호와 Private AI 시리즈 (전 4편)

• ① 완전동형암호(FHE) 깊이 알기: 데이터를 열어보지 않고 계산하는 기술
• ② THOR 깊이 알기: 암호문 위에서 LLM을 추론하는 기술 — 지금 읽고 있는 글
• ③ GL 스킴 깊이 알기: 행렬을 위해 처음부터 다시 설계한 동형암호 — 공개 예정
• ④ Private AI 깊이 알기: 데이터를 내주지 않고 AI를 쓰는 기술 — 공개 예정

---

다음 편 예고

다음 편에서는 대형 AI 연산의 병목인 행렬 곱셈을 근본부터 다시 설계한 5세대 GL(Gentry-Lee) 스킴을 다룬다. 동형암호의 창시자 크레이그 젠트리와 디사일로가 공동 발명한 이 스킴이 THOR가 증명한 '분 단위 암호화 추론'을 어디까지 밀어붙이는지, 다음 주 이 게시판에서 공개한다.