포스트 양자 암호화란? 2026년 보안의 새로운 기준
양자 컴퓨터가 기존 암호를 깨뜨릴 수 있는 이유와, 이에 대비하는 포스트 양자 암호화 표준을 정리했다.
양자 컴퓨터가 현실이 되면 지금 쓰고 있는 암호가 전부 뚫린다. 이 말이 SF 소설 같지만, 보안 업계에서는 이미 몇 년 전부터 대비를 시작했다. 2024년에 NIST가 포스트 양자 암호화 표준을 확정한 이후로는 더 이상 먼 미래 얘기가 아니다.
지금 쓰는 암호화가 왜 위험한가
인터넷 보안의 근간인 RSA와 ECC(타원곡선 암호). 이 두 알고리즘은 수학적으로 어려운 문제에 기반을 두고 있다.
RSA는 큰 수의 소인수분해가 어렵다는 데 의존한다. 두 개의 큰 소수를 곱하는 건 쉽지만, 그 결과물에서 원래 소수 두 개를 찾아내는 건 현재 컴퓨터로는 사실상 불가능하다. 2048비트 RSA 키를 기존 슈퍼컴퓨터로 깨려면 우주의 나이보다 긴 시간이 필요하다.
ECC도 비슷하다. 타원곡선 위의 이산 로그 문제를 풀어야 하는데, 이것도 기존 컴퓨터로는 현실적인 시간 안에 풀 수 없다.
문제는 양자 컴퓨터다. 양자 컴퓨터는 이 두 문제를 효율적으로 풀 수 있는 알고리즘이 이미 존재한다.
쇼어 알고리즘 — 이론은 이미 완성됐다
1994년, 수학자 피터 쇼어가 발표한 알고리즘이 있다. 쇼어 알고리즘(Shor's Algorithm). 양자 컴퓨터 위에서 실행하면 소인수분해와 이산 로그 문제를 다항 시간에 풀 수 있다. 쉽게 말하면, 기존 컴퓨터로 수억 년 걸릴 계산을 양자 컴퓨터로는 몇 시간 만에 끝낼 수 있다는 이야기다.
1994년에 나온 알고리즘이 왜 지금까지 문제가 안 됐냐면, 쇼어 알고리즘을 실행할 만큼 강력한 양자 컴퓨터가 아직 없었기 때문이다. RSA-2048을 깨려면 수천 개의 안정적인 논리 큐비트가 필요한데, 2026년 현재 가장 앞선 양자 컴퓨터도 그 수준에는 못 미친다.
그런데 이게 "안전하다"는 뜻은 아니다.
"지금 수확하고 나중에 복호화" 위협
**Harvest Now, Decrypt Later(HNDL)**라는 공격 시나리오가 있다. 지금 당장은 해독할 수 없지만, 암호화된 데이터를 일단 저장해놓고 나중에 양자 컴퓨터가 충분히 발전하면 그때 복호화하겠다는 전략이다.
정부 기밀, 군사 통신, 의료 데이터, 기업 기밀 같은 건 10년, 20년 뒤에도 민감하다. 국가 수준의 행위자가 지금 인터넷 트래픽을 대량으로 수집하고 있다면? 양자 컴퓨터가 실용화되는 시점에 한꺼번에 뚫릴 수 있다.
이 때문에 "양자 컴퓨터가 아직 멀었으니까 괜찮다"가 통하지 않는 거다. 보안 전환에는 시간이 걸리니까, 미리 움직여야 한다.
NIST의 포스트 양자 암호화 표준
미국 국립표준기술연구소(NIST)가 2016년부터 포스트 양자 암호화 표준화를 진행했다. 82개 후보 알고리즘에서 시작해서 여러 라운드의 평가를 거쳤고, 2024년에 최종 표준을 발표했다.
CRYSTALS-Kyber (ML-KEM)
키 교환/캡슐화를 위한 알고리즘이다. 정식 표준명은 FIPS 203, ML-KEM(Module-Lattice-Based Key-Encapsulation Mechanism).
현재 TLS 핸드셰이크에서 ECDHE가 하는 역할을 대체한다. 격자(lattice) 기반 수학 문제에 의존하는데, 이 문제는 양자 컴퓨터로도 효율적으로 풀 수 없다고 알려져 있다.
키 크기가 기존보다 크다는 단점이 있다. ECDHE의 공개키가 32바이트인 반면, Kyber-768의 공개키는 1,184바이트. 하지만 성능은 꽤 괜찮다. 기존 알고리즘과 비교해도 키 생성과 캡슐화 속도가 빠른 편이다.
CRYSTALS-Dilithium (ML-DSA)
전자서명을 위한 알고리즘이다. FIPS 204, ML-DSA(Module-Lattice-Based Digital Signature Algorithm).
인증서 서명, 코드 서명, 문서 서명 등 RSA나 ECDSA가 쓰이던 자리를 대체한다. 역시 격자 기반이고, Kyber와 같은 수학적 구조를 공유해서 구현을 함께 최적화할 수 있다는 장점이 있다.
서명 크기가 좀 크다. Dilithium-3 기준 서명이 3,293바이트로, ECDSA의 72바이트에 비하면 상당히 크다. 인증서 체인에서는 이 크기 증가가 핸드셰이크 성능에 영향을 줄 수 있다.
SPHINCS+ (SLH-DSA)
Dilithium이 격자 기반이라면, SPHINCS+는 해시 기반 서명이다. FIPS 205, SLH-DSA.
격자 기반 암호에 예상치 못한 취약점이 발견될 경우를 대비한 백업 표준이다. 해시 함수의 안전성에만 의존하니까, 수학적 기반이 완전히 다른 대안을 확보해놓은 셈.
대신 서명 크기가 훨씬 크고 속도도 느리다. 일상적으로 쓰기보다는 보험 성격이 강하다.
양자 위협 타임라인
양자 컴퓨터가 RSA-2048을 깰 수 있는 시점, 이른바 Q-Day가 언제 올지는 전문가마다 의견이 갈린다.
낙관적 예측은 2035~2040년. 양자 하드웨어의 오류 보정 기술이 아직 많이 부족하고, 기하급수적인 발전을 가정해도 10년은 걸린다는 입장이다.
비관적 예측은 2030년 전후. IBM, Google, Microsoft가 양자 로드맵을 공격적으로 발표하고 있고, 중국의 투자 규모도 어마어마하다. 기술적 돌파가 예상보다 빨리 올 수 있다는 주장.
어느 쪽이든, 보안 전환에는 5~10년이 걸린다는 게 핵심이다. SSL에서 TLS로의 전환, SHA-1에서 SHA-256으로의 전환이 얼마나 오래 걸렸는지 생각해보면 된다. 지금 시작해도 빠듯한 타이밍이다.
이미 적용되고 있는 것들
구글 크롬은 2024년부터 TLS 핸드셰이크에 Kyber를 포함한 하이브리드 키 교환을 지원하기 시작했다. X25519Kyber768이라는 이름으로, 기존 X25519(ECDHE)와 Kyber-768을 결합한 방식이다. 둘 중 하나가 깨지더라도 다른 하나로 보호되니까, 전환 과정에서 안전장치 역할을 한다.
Signal 메신저도 2023년부터 PQXDH 프로토콜을 적용해서, 양자 이후 시대에도 대화 내용이 보호되도록 했다. Cloudflare, AWS도 PQC 지원을 확대하고 있다.
2026년 현재, 대부분의 최신 브라우저와 주요 클라우드 서비스에서 하이브리드 PQC를 지원한다. 사용자 입장에서는 체감이 안 될 수 있지만, 뒤에서는 이미 전환이 진행 중이다.
개발자가 지금 할 수 있는 것
당장 모든 시스템을 PQC로 교체할 필요는 없다. 하지만 몇 가지는 지금 신경 쓸 수 있다.
암호 민첩성(Crypto Agility) 확보 — 암호화 알고리즘을 하드코딩하지 않고, 교체 가능한 구조로 설계하는 거다. 나중에 알고리즘을 바꿔야 할 때 시스템 전체를 뜯어고치지 않아도 되도록.
TLS 라이브러리 업데이트 — OpenSSL 3.x, BoringSSL 같은 주요 TLS 라이브러리가 PQC 알고리즘을 지원하기 시작했다. 사용 중인 라이브러리가 최신 버전인지 확인하고, PQC 지원 여부를 파악해두면 좋다.
데이터 민감도 분류 — 조직에서 다루는 데이터 중 10년 이상 보호해야 하는 게 있는지 파악. 그런 데이터가 있다면 HNDL 위협에 대한 대응을 일찍 시작해야 한다.
하이브리드 모드 테스트 — 새 프로젝트에서 하이브리드 키 교환을 테스트해볼 수 있다. Cloudflare나 AWS의 PQC 지원 서비스를 활용하면 별도 인프라 없이도 실험이 가능하다.
# OpenSSL 3.x에서 PQC 알고리즘 확인
openssl list -kem-algorithms
openssl list -signature-algorithms
성능 영향은?
PQC 알고리즘의 키와 서명 크기가 커지면서 성능에 미치는 영향이 있다. TLS 핸드셰이크에서 주고받는 데이터가 늘어나니까 레이턴시가 약간 증가한다.
하지만 실측해보면 생각보다 크지 않다. 하이브리드 키 교환(X25519Kyber768)의 경우, 핸드셰이크 시간이 기존 대비 1ms 미만 증가하는 수준이다. 서명 검증은 Dilithium이 RSA보다 오히려 빠르다.
키와 서명 크기를 비교하면 이렇다.
| 알고리즘 | 공개키 | 서명/암호문 | 비교 대상 |
|---|---|---|---|
| Kyber-768 | 1,184B | 1,088B | ECDHE: 32B |
| Dilithium-3 | 1,952B | 3,293B | ECDSA: 64B |
| SPHINCS+-SHA256-128f | 32B | 17,088B | RSA-2048: 256B |
숫자만 보면 차이가 크지만, 실제 웹 환경에서 이 증가분이 체감될 정도는 아니다. 대역폭이 넉넉한 환경에서는 수 KB 차이가 사용자 경험에 영향을 미치지 않는다.
문제가 될 수 있는 건 인증서 체인이다. 인증서 체인에 PQC 서명이 들어가면 총 크기가 커지는데, IoT 디바이스처럼 대역폭이 제한된 환경에서는 부담이 될 수 있다. 하지만 일반적인 웹 환경에서는 무시할 만한 수준이다.
AES, SHA는 괜찮은가
양자 컴퓨터가 위협하는 건 주로 비대칭 암호(RSA, ECC)다. 대칭 암호(AES)와 해시 함수(SHA)도 양자 컴퓨터의 영향을 받긴 하지만, 정도가 다르다.
그로버 알고리즘(Grover's Algorithm)은 대칭 키 탐색을 제곱근만큼 빠르게 해준다. AES-128의 보안 강도가 64비트로 떨어진다는 뜻이다. 그래서 양자 이후 시대에는 AES-256을 쓰면 된다. 128비트 보안 강도가 유지되니까 충분하다.
SHA-256도 마찬가지로 양자 컴퓨터에 의해 보안 강도가 절반으로 줄지만, 128비트 보안이 남으니까 당분간은 안전하다.
비대칭 암호만 PQC로 전환하면 되고, 대칭 암호와 해시는 키/해시 길이만 적절히 올리면 되는 거다. 전체 암호 체계를 갈아엎을 필요까지는 없다는 점에서 다행이다.
양자 컴퓨터가 현실적 위협이 되기 전에 전환을 완료하는 게 목표다. 성능 걱정에 전환을 미루다가 Q-Day를 맞는 것보다는, 약간의 오버헤드를 감수하고 미리 움직이는 게 합리적이다. 어차피 네트워크 속도와 하드웨어 성능이 계속 좋아지고 있으니까, 시간이 지나면 PQC의 오버헤드는 더 줄어든다.