2026.04.24 · PKI·인증서 · 읽는 데 약 7분
양자내성암호(PQC) 전환을 준비하다 보면 가장 먼저 막히는 지점이 있다. NIST 표준도 나왔고, 알고리즘도 골랐는데 — HSM이 문제다.
CA 운영자 입장에서 솔직하게 정리해본다.
HSM은 왜 PQC 전환에서 병목이 되는가
PKI 인프라에서 HSM은 단순한 키 저장소가 아니다. CA의 개인키를 보호하고, 서명 연산을 수행하고, FIPS 140-2/3 인증을 통해 규제 요건을 충족시키는 핵심 신뢰 앵커다. 문제는 이 HSM이 PQC 알고리즘 앞에서 예상치 못한 여러 제약을 드러낸다는 점이다.
1. 펌웨어 업그레이드만으로는 안 되는 경우가 많다
벤더들은 "펌웨어 업그레이드로 PQC 지원 가능"이라고 홍보한다. 틀린 말은 아니다. Thales Luna 7의 경우 특정 펌웨어 버전 이상에서 ML-KEM, ML-DSA를 지원한다.
그런데 실제로 운영 환경에 적용하려면 몇 가지 전제가 따라온다.
- 기존 FIPS 인증서 번호가 바뀐다. 펌웨어를 올리면 새 CMVP 인증서로 전환되는데, 기관에 따라 이 변경 자체가 감사 이슈가 된다.
- 기존 키 슬롯 구조가 영향을 받을 수 있다. 마이그레이션 전 전체 백업과 복구 테스트가 선행되어야 한다.
- HA(고가용성) 구성을 유지하면서 롤링 업그레이드가 가능한지 사전에 벤더와 확인해야 한다. 문서에는 나오지 않는 부분이다.
2. PQC 키 크기가 HSM 성능에 직접 타격을 준다
RSA-2048 서명 연산과 ML-DSA-65 서명 연산의 연산량은 차원이 다르다. ML-DSA의 공개키는 약 1,952바이트, 서명은 약 3,293바이트다. ECDSA P-256과 비교하면 각각 수십 배 크다.
CA처럼 초당 수백~수천 건의 인증서를 발급하는 환경에서는 HSM의 서명 처리량(TPS)이 직접적인 병목이 된다. 단순히 알고리즘을 교체하는 것이 아니라, HSM 수량 증설 또는 부하 분산 구조 재설계가 따라올 수 있다.
OCSP 응답 서명도 마찬가지다. 실시간 유효성 검증을 위해 대량의 서명을 처리하는 OCSP 서버에서는 이 성능 저하가 사용자 체감으로 이어진다.
3. PQC CMVP 인증 제품이 아직 적다
FIPS 140-3 인증을 받은 HSM 제품 중 PQC 알고리즘을 공식 지원하는 제품은 2026년 현재도 손에 꼽는다. 규제 환경이 엄격한 금융권에서는 "지원한다"와 "CMVP 인증된 모듈에서 지원한다"는 전혀 다른 의미다.
국내의 경우 KCMVP 인증 제품군에서 PQC 알고리즘 지원이 추가되려면 국산 KpqC 알고리즘(SMAUG-T, HAETAE 등)의 표준화 완료와 검증 체계 구축이 선행되어야 한다. 이 타임라인이 아직 확정되지 않았다는 점이 국내 금융기관 입장에서 가장 불확실한 부분이다.
4. 전환 기간 동안 이중 운영이 불가피하다
PQC로 완전히 전환하기 전까지는 기존 RSA/ECC 인프라와 PQC 인프라를 동시에 운영해야 한다. 하이브리드 인증서(Hybrid Certificate)를 발급하려면 두 알고리즘의 키를 모두 HSM에서 관리해야 하고, 이는 키 슬롯, 성능, 관리 복잡도 모든 면에서 부담이 두 배가 된다.
이 이중 운영 기간이 얼마나 길어질지는 클라이언트 생태계(브라우저, OS, 애플리케이션)의 PQC 지원 속도에 달려 있다. 보수적으로 보면 2030년까지는 이 상태가 이어진다.
그래서 지금 뭘 해야 하나
HSM이 병목이라고 해서 PQC 전환을 미뤄야 한다는 뜻이 아니다. 오히려 병목을 일찍 파악할수록 대응 시간이 생긴다.
현재 HSM 인벤토리부터 점검한다. 보유 중인 HSM 모델과 펌웨어 버전, 현재 CMVP 인증서 번호를 정리하고 벤더의 PQC 지원 로드맵과 대조해본다. Thales의 경우 Customer Portal에서 제품별 PQC 지원 계획을 확인할 수 있다.
성능 테스트 환경을 먼저 구성한다. 운영 환경에 바로 적용하기 전에 테스트 HSM에서 ML-DSA 서명 TPS를 측정해본다. 현재 운영 부하 기준으로 어느 시점에서 성능이 문제가 될지 예측할 수 있다.
소프트웨어 레이어부터 준비한다. HSM이 준비되기 전이라도 BouncyCastle, OpenSSL 3.x 등 PQC를 지원하는 암호 라이브러리로 애플리케이션 레이어를 먼저 전환해둘 수 있다. HSM이 소프트웨어 폴백(fallback)을 허용하는 구간 동안 전환 테스트가 가능하다.
PQC 전환은 알고리즘 교체가 아니라 인프라 전체의 재설계에 가깝다. HSM은 그 인프라에서 가장 느리게 움직이는 레이어다. 그래서 가장 먼저 들여다봐야 한다.
이 글은 금융권 PKI 운영 실무 경험을 바탕으로 작성했습니다. 특정 벤더 제품의 사양은 버전에 따라 다를 수 있으며, 도입 전 반드시 벤더와 확인하시기 바랍니다.