암호화란?

암호화란?

암호화 알고리즘은 수학적 과정을 통해 의미 있는 정보를 제3자가 해석할 수 없는 형태의 데이터로 변환하는 기술입니다.

암호화 알고리즘은 재화적 가치를 지닌 데이터를 식별 불가능한 이진 데이터로 변환함으로써, 공격자가 정보를 획득하더라도 활용할 수 없도록 만듭니다. 이는 공격의 성공 가능성 자체를 제거하는 방식입니다.

일반적인 보안 도구들이 시스템 접근 통제나 침입 차단 등 보호’에 초점을 둔다면, 암호화는 데이터 그 자체를 보호하는 방식입니다. 이 때문에 암호화는 사후 대응 중심의 보안 전략이 아닌, 위험을 사전에 차단하는 근본적인 보안 방법으로 평가됩니다.

정보 보안 환경에서는 공격과 방어 기술이 지속적으로 진화합니다. 단순히 침해 발생 이후 대응하는 전략만으로는 한계가 있으며, 데이터 유출 시 발생하는 피해 또한 감당하기 어렵습니다. 이러한 환경에서 암호화는 데이터가 노출되더라도 실질적인 피해로 이어지지 않도록 하는 핵심 수단입니다.

암호화의 이해를 위해 암호의 성질과 알고리즘, 암호화 키, 암호화 시스템 등에 대해 알아 보겠습니다.

고전 암호

제대로 된 암호는 메시지 원문의 내용과 암호화 알고리즘을 알아내기 어려운 암호입니다. 그러기 위해 암호는 혼돈과 확산이라는 두 가지 성질을 가집니다.

혼돈 Confusion : 성질은 메시지 원문의 내용을 짐작하기 어렵게 만듭니다.
확산 Diffusion : 성질은 암호화 알고리즘의 패턴 추론을 어렵게 만듭니다.

따라서 좋은 암호는 혼돈과 확산 두 가지 성질 모두를 갖춘 암호입니다. 고전 암호는 방식에 따라 주로 ‘치환 암호’와 ‘이동 암호’로 나눌 수 있습니다.

치환 Substitution 암호는 문자열을 다른 문자열로 열 이동 교체하는 암호입니다.

이동 Transposition 암호는 무작위로 보이는 원칙에 따라 문자열 순서를 바꿔 이동한 암호입니다.

치환 암호는 메시지 원문 내용의 추론을 어렵게 하는 혼돈 성질을 만족하는 경향이 있습니다.
이동 암호는 암호화 알고리즘을 짐작하기 어렵게 하는 확산 성질을 만족하는 경향이 있습니다.

따라서 치환과 이동을 교차적으로 적용함으로써 혼돈과 확산 성질을 모두 만족할 수 있습니다.

암호화 키

고전 암호의 한계는 암호화 알고리즘을 알아내면 암호문을 해독할 수 있다는 점입니다.

컴퓨터의 등장과 계산 능력의 발전으로 인해 이러한 방식의 암호는 더 이상 실질적인 보안 수단이 되기 어렵습니다.

이로 인해 현대 암호화 기술에서는 임의의 문자열 값인 암호화 키가 핵심 요소로 사용됩니다. 암호화 키는 일반적으로 의사난수이지만, 암호학에서 요구하는 통계적 기준을 충족하는 경우 난수로 간주합니다.

적절한 암호화 키를 사용하면 암호화 알고리즘이 공개되더라도 키 없이는 데이터를 해독할 수 없습니다. 즉, 현재의 암호화 기술은 어떤 알고리즘을 사용하느냐보다 어떤 성질의 키를 사용하느냐에 따라 보안 수준이 결정됩니다.

암호화 키의 동작 원리는 수리 논리학의 배타적 논리합(XOR) 연산을 기반으로 합니다. XOR 연산은 이진수의 각 비트를 비교해 서로 다를 경우 1, 같을 경우 0을 반환하는 방식으로, 동일한 연산을 두 번 적용하면 원래 값으로 복원되는 특징을 가집니다.

예를 들어, 원문 P에 키 K를 XOR 연산하면 암호문 P + K가 생성됩니다. 이 암호문에 다시 동일한 키 K를 적용하면 (P + K) +  K = P가 되어 원문으로 복호화됩니다.

실제로 원문이 0011이고 키가 0110인 경우, 연산 결과는 0101이 되며, 여기에 다시 같은 키를 적용하면 원문 0011이 복원됩니다.

이론적으로는 키의 길이가 충분히 길고, 동일한 키를 반복 사용하지 않는다면 완벽한 암호화가 가능합니다. 다만 보안은 항상 비용과 효율을 함께 고려해야 하는 영역입니다. 보호 비용이 데이터의 가치보다 클 경우 현실적인 보안으로 보기 어렵습니다.

이러한 이유로 암호화 키의 길이, 생성 방식, 사용 규칙에 대해 국제적으로 합의된 표준이 존재합니다. 현재 사용되는 암호화 키 규격은 양자 컴퓨팅과 같은 새로운 계산 방식이 본격적으로 도입되기 전까지는 충분한 안전성을 가진 것으로 평가되고 있습니다.

암호화의 종류

암호화 이전의 원본 데이터는 평문이라 하며, 암호화 과정을 거친 데이터는 암호문이라 합니다. 암호문은 사람이 직접 의미를 파악할 수 없는 형태의 데이터입니다.

암호화는 암호화 엔진을 통해 수행됩니다. 과거에는 에니그마와 같은 기계식 암호 장치가 사용되었으나, 현재는 대부분 소프트웨어 기반의 암호화 엔진이 사용됩니다. 평문이 암호화 엔진에 입력되면, 엔진은 암호문을 생성합니다.

단방향 암호화

누군가의 신원을 증명할 때 인증의 방법으로 사용하는 비밀번호는 위와 같은 단방향 암호화를 사용합니다.

비밀번호는 저장되기 전에 반드시 암호화되며, 예를 들어 사용자가 비밀번호를 password로 설정한 경우, 실제 저장되는 값은 WaBauZ2.Hnt2와 같이 원문과 전혀 유사성이 없는 형태의 암호문입니다. 평문 password와 암호문 WaBauZ2.Hnt2 사이에서는 의미나 규칙을 추론할 수 없어야 합니다.

이 방식은 암호문을 다시 평문으로 되돌릴 수 없다는 특징을 가집니다. 사용자 인증 시에는 저장된 비밀번호를 복호화하지 않고, 사용자가 입력한 값을 동일한 방식으로 다시 암호화한 뒤 저장된 암호문과 비교하여 일치 여부를 확인합니다.

비밀키 암호화

비밀키 암호화는 하나의 동일한 키를 사용해 암호화와 복호화를 모두 수행하는 방식입니다.

평문은 암호화 키를 이용한 이진 연산을 통해 암호문으로 변환되며, 수신자는 동일한 키를 사용해 암호문을 원래의 평문으로 복호화합니다. 이 방식에서는 송신자와 수신자가 동일한 암호화 키를 공유하고 있어야 합니다.

이로 인해 암호화 키를 안전하게 전달해야 한다는 문제가 발생합니다. 키 전달이 안전하다면 메시지 역시 동일한 방식으로 전달할 수 있다는 논리적 한계가 존재합니다.

공개키 암호화

공개키 암호화는 공개키와 개인키라는 서로 다른 두 개의 키를 사용하는 방식입니다. 공개키로 암호화된 데이터는 해당 공개키와 쌍을 이루는 개인키로만 복호화할 수 있습니다.

공개키는 외부에 공개되지만, 개인키는 소유자만이 보관합니다. 따라서 공개키를 이용해 암호화된 메시지는 개인키를 가진 주체만이 해독할 수 있습니다.

비밀키 암호화는 공개키 암호화에 비해 처리 속도가 빠르기 때문에, 실제 암호화 시스템에서는 두 방식을 혼합해 사용하는 경우가 많습니다. 예를 들어, 공개키 암호화를 통해 비밀키를 안전하게 전달한 뒤, 실제 데이터 암호화에는 비밀키 방식을 적용합니다.

참고로, 공개키와 개인키의 역할을 반대로 적용하면 전자서명 방식이 됩니다.

암호화 방식의 선택

암호화 방식의 결정은 적용 환경과 요구 조건에 따라 달라집니다. 단일한 방식이 모든 상황에 적합한 것은 아니며, 목적에 맞는 방식과 구조를 선택해 암호화 공정을 설계하고 시스템을 구성합니다.

암호화 방식은 단순한 구조부터 복잡한 구조까지 다양하게 존재하며, 보안 수준과 운영 비용을 함께 고려한 보안 경제적 판단을 통해 선택됩니다.

공개키 암호화는 비밀키 암호화보다 상위 개념이거나 이를 대체하기 위한 방식이 아닙니다. 두 방식은 각기 다른 목적과 특성을 가진 독립적인 암호화 방식입니다.

– 키 분배 및 관리 문제가 없고 빠른 실행 속도가 필요한 경우 비밀키 방식을 선택
– 키 분배 및 관리 문제가 있고 송수신 부인 방지 보장이 필요한 경우 공개키 방식을 선택

이처럼 적절한 암호화 방식의 선택은 해당 환경에 대한 이해를 바탕으로 한 암호화 시스템 설계의 핵심 요소입니다.

현대 암호화

양자내성암호화

양자컴퓨팅 기술의 발전으로 기존 암호화 체계의 안정성에 변화가 나타나고 있습니다.

현재 널리 사용되는 공개키 암호 알고리즘은 고전적 계산 환경을 전제로 설계되어, 양자컴퓨터가 상용화될 경우 보안성이 약화될 수 있다는 한계를 가집니다. 최근 구글 퀀텀 AI의 연구에 따르면, 이론적으로 약 100만 큐비트 양자컴퓨터가 2023년까지 RSA-2048 암호화를 해독할 수 있는 것으로 분석되었습니다. 이는 과거에 예상되던 필요 연산 자원 대비 약 20배 이상 낮아진 수치로, 기존 암호 체계가 위협받는 시점이 앞당겨지고 있음을 시사합니다.

이러한 환경 변화에 대응하기 위해 양자내성암호화가 필요합니다. 

양자내성암호화는 양자 연산으로도 해결이 어려운 수학적 문제를 기반으로 설계된 암호화 방식으로, 양자컴퓨터 환경에서도 데이터 보호를 목표로 합니다.

기존 공개키 암호화와 달리, 양자 알고리즘에 취약하지 않은 구조를 가지며 장기적으로 사용되는 데이터와 인프라 보호에 적합합니다. 또한 현재 암호화 체계를 전면 교체하기보다는, 단계적 전환과 병행 적용을 통해 현실적인 도입이 가능하도록 설계됩니다.

다만 양자내성암호화 역시 성능 부담, 표준 정착 과정, 기존 시스템과의 호환성 등 현실적인 제약을 함께 고려해야 하는 기술입니다.

동형 암호화

동형 암호화는 데이터를 복호화하지 않은 상태에서도 연산이 가능하도록 설계된 암호화 방식입니다. 암호화된 데이터에 대해 수행한 연산 결과가 복호화 후 평문에서 수행한 연산 결과와 동일하게 유지되는 것이 특징입니다.

이 방식은 데이터가 암호화된 상태로 저장되거나 외부 환경에서 처리되는 상황에서도 민감한 정보가 노출되지 않도록 합니다. 특히 클라우드 환경이나 외부 연산 자원을 활용하는 서비스에서 데이터 기밀성을 유지하면서 분석과 처리를 가능하게 하는 기술로 활용됩니다.

다만 현재의 동형 암호화는 연산 비용이 매우 크고 처리 속도가 느려, 일반적인 서비스 환경에 광범위하게 적용하기에는 현실적인 제약이 있습니다. 이로 인해 실제 활용은 제한적인 분석 업무나 특정 연구·실험 환경에 국한되는 경우가 많습니다.

따라서 동형 암호화는 즉시 적용 가능한 범용 기술이라기보다는, 장기적인 관점에서 데이터 활용과 보안의 균형을 확장하기 위한 미래 지향적 암호화 기술로 이해하는 것이 적절합니다.

암호화 시스템

앞서 살펴본 내용은 암호화와 관련된 암호학 이론을 간단히 정리한 것입니다. 학문은 탐구를 통해 일반화된 원리를 도출하고, 논리적으로 이치를 설명하려는 체계적인 노력입니다. 기술은 이러한 학문적 기반을 바탕으로, 최소 비용으로 최대 효과를 얻기 위해 실제 환경에 적용하는 과정입니다.

기술은 이론을 그대로 사용하는 것이 아니라, 상황에 맞게 변형하고 가공하며 융합하는 과정에서 완성됩니다. 따라서 기술의 가치는 이론적 완성도보다 실제 문제를 얼마나 효과적으로 해결하는지에 따라 판단됩니다.

암호화 기술 역시 비즈니스 요구에 따라 그 가치가 결정됩니다. 서비스의 목적에 따라 암호화를 적용하는 위치가 달라지고, 보호 대상 데이터의 성격 또한 달라집니다. 이로 인해 암호화는 개별 기술의 선택 문제가 아니라, 시스템 구조와 비즈니스 전반을 고려한 설계 문제로 다뤄져야 합니다.

즉, 암호화는 사업적 필요에 따라 다양한 환경에서 암호학 원론을 기술적으로 적용하는 과정이라 할 수 있습니다.

하지만 보안 침해 사고의 일반적 행태에 비추어 보면 위 구성으로는 충분한 보안성을 이룰 수 없습니다.

실제 필요한 웹 애플리케이션 암호화의 요구사항은 아래와 같습니다.

사용자 인증 암호화, 구간 암호화, 메시지 암호화, 파일 암호화 그리고 키 관리가 포함된 구성입니다.

모든 종류의 보안 시스템 구성은 안전한 IT 시스템 설계 원칙을 따릅니다.
따라서 완벽한 암호화 기술 적용을 위해서는 시스템의 모든 계층과 모든 영역을 고려해야 합니다.

애플리케이션 – 시스템 – 네트워크, 3개 계층 모두 적절한 암호화가 적용되고, 안전한 키 관리와 권한 관리 및 접근 제어를 통해 완벽한 암호화를 이룰 수 있습니다.

이 원칙에 따라 최종적으로 설계하고 구축한 시스템의 구성은 아래와 같습니다.

전 계층 전 영역에 철저한 암호화 그리고 키 관리가 적용된, 완벽한 암호화 시스템의 예입니다.

암호화 전문기업

암호화 전문기업은 단순히 암호화 기술을 적용하는 것 이상으로, 사업 환경과 운영 현실을 고려해 보안을 설계해야 합니다. 이를 위해 암호화 전문기업은 다음과 같은 기준을 바탕으로 보안 체계를 구축해야 합니다.

첫째, 암호화 전문 기업은 다양한 사업 환경에서도 일관된 보안 수준을 설계할 수 있어야 합니다.
사업 환경에 따라 암호화를 적용하는 위치와 데이터의 특성은 달라지며, 보호해야 할 자산의 가치와 위협 수준 또한 서로 다르기 때문입니다. 이러한 차이를 이해하고 각 환경에 맞는 보안 체계를 설계하는 것이 암호화 전문성의 출발점입니다.

둘째, 암호화 전문 기업은 보안과 성능의 균형을 고려한 설계를 해야 합니다.
암호화와 복호화에는 연산 비용이 수반되며, 이는 보안과 성능 사이의 트레이드오프 요소입니다. 전문 기업은 이 특성을 감안해 시스템 성능 저하를 최소화하는 방향으로 암호화를 적용합니다.

셋째, 암호화 설계의 핵심은 기술보다 시스템과 데이터에 대한 이해입니다.
실제 운영에서 발생하는 많은 문제는 암호화 기술 자체가 아니라, 시스템 구조나 데이터 특성에 대한 이해 부족에서 발생합니다. 데이터의 생성, 저장, 조회, 활용 방식을 고려한 설계가 필수적입니다.

가장 중요한 점은 암호화는 모든 보안 문제를 해결하는 만능 수단이 아니라는 점입니다. 따라서  효과적인 보안을 위해서는 보안 거버넌스와 구성원의 보안 인식이 함께할 때 비로소 의미를 가집니다.