전 세계적으로 양자 컴퓨팅 기술에 대한 관심이 매우 뜨겁다는 사실은 더 이상 놀랍거나 새로운 일이 아니다. IBM 의 최신 상용 양자 컴퓨터인 퀀텀 시스템 투(Quantum System Two)는 156개의 물리 큐비트를 가진 초전도 회로 기반의 양자처리장치(Quantum Processing Unit, QPU)를 탑재하고 있고, 아이온큐(IonQ)에서 2025년 4월 공개한 양자 컴퓨터 포르테 엔터프라이즈(Forte Enterprise)는 트랩트 이온(Trapped-ion) 기반의 물리 큐비트 36개를 탑재한 QPU를 장착하고 있다. 구글에서 발표한 초전도 회로 기반의 QPU인 윌로우(Willow)는 105개의 물리 큐비트를 장착하고 있을 뿐 아니라, 업계 최초로 유의미한 수준의 오류정정 성능을 갖춘 것으로 최근 보고되어 큰 관심을 받은 바 있다.

큐비트가 가진 고유한 물리적 특성은 간단히 중첩 현상에 의한 병렬성과 얽힘 현상에 의한 비선형성으로 설명될 수 있다고 생각하며, 이 때문에 고전 비트 기반으로 수행되는 일부의 계산들을 훨씬 빨리 수행할 가능성이 존재한다는 것은 분명한 사실이다. 하지만 QPU에서 물리적으로 발생 하는 다양한 잡음, 계산 결과를 얻는 과정(측정이나 토모 그래피 등)에 수반되는 부정확성 등에 의해 양자 컴퓨터가 지닌 현실적인 유효 성능은 적어도 아직은, 고전 컴퓨터 대비 그다지 좋은 편이라고 할 수 없다.

NISQ라는 패러다임의 등장과 변분법 양자 알고리즘

노이즈가 있는 중규모 양자(Noise-Intermediate-ScaleQuantum, NISQ) 패러다임은 2018년 미국 캘리포니아공과대학(Caltec)의 존 프레스킬(John Preskill) 교수가 제안했으며, '다양한 잡음에 의해 발생하는 QPU의 물리적 오류가 주는 정보처리의 부정확성을 완벽하게 없애는 것이 어려우니, 차라리 잡음이 존재하는 상황에서 중규모 이하의 양자 컴퓨터를 사용해 보자'는 철학에 기반하고 있다. NISQ 패러다임에 부합하는 대표적 알고리즘 중 하나인 변분법 알고리즘(Variational Quantum Algorithm)은 QPU에서 발생하는 부정확성을 고전 컴퓨터와 연동한 순환 프로세스(iterative process)를 이용해 줄여나가자는 취지로 고안되었으며, 다양한 계산과학 분야에서 많이 활용하는 고유치(eigenvalue)나 선형 시스템(linear system)의 해를 계산하는 문제에 사용할 수 있다는 점 때문에 도메인 연구자들을 양자 컴퓨팅 활용연구에 끌어들이는 계기로 작용했다.

[그림 1]에서 알 수 있듯, 변분법 양자 알고리즘은 양자 컴퓨터에서 구동되는 안사츠(Ansatz) 회로와 측정 회로와 고전 컴퓨터에서 구동되는 다변수 최적화 모듈로 구성된다. 동작 원리도 비교적 간단해서 초깃값으로 주어진 인자들로 구성된 안사츠 회로를 이용해 양자 컴퓨터에서 계산한 기댓값을 다변수 최적화 모듈의 입력으로 사용하고, 다변수 최적화 모듈에서 얻은 계산한 인자를 이용해 안사츠 회로를 업데이트해 나가는 프로세스를 원하는 답을 얻을 때까지 반복하는 것이 전부다. 물론, 풀고자 하는 문제에 맞도록 효율적인 측정 회로와 기댓값 함수를 설계하는 것은 어려운 연구주제이나, 기본적으로 변분법 양자 알고리즘은 '임의의 초기 해를 우리가 원하는 해로 수렴'시켜가는, 고전 컴퓨터에서 많이 사용되는 일반적인 순환 알고리즘(interative algorithm)과 유사한 방식으로 동작한다고 할 수 있다.

변분법 양자 알고리즘의 활용연구 사례: 푸아송 방정식의 해 계산

최근 몇 년 동안 반도체 소자의 전기적 특성 계산에 필요한 수치 문제를 변분법 양자 알고리즘으로 해결하는 연구들을 수행해 오고 있다. 그중 하나의 결과로 최근 출판된 푸아송 방정식(Poisson’s equation)의 해를 계산한 연구내용을 간략히 소개하고자 한다. 푸아송 방정식은 전산유체공학, 물리학, 전자공학 등 다양한 응용 도메인에서 사용되는 대표적인 편미분 방정식 중 하나로 선형 시스템의 해를 계산하는 문제를 수반한다.

[그림 2]의 (a)는 실리콘 반도체로 이루어진 간단한 MESFET(MEtal-Semiconductor Field Effect Transistor) 소자 구조를 2차원에서 표현한 것으로, 다소 비현실적인 크기를 가정했다(계산에서는 16nm-by-16nm(1nm=10-9m) 크기의 도메인을 사용했지만, 실제 사용되는 MESFET은 마이크로미터(~10-6m) 수준의 크기를 가지기 때문). [그림 2]의 (b)는 MESFET 소자에 인가되는 전압 신호의 크기가 달라질 때 소자 내부에서 어떻게 전위 에너지의 분포가 달라지는지에 대해 푸아송 방정식을 이용해 계산한 결과를 보여주고 있는데, 윗줄 3개의 결과는 고전 알고리즘(LU 분해기법)으로 얻은 정확한 분포를, 아랫줄 3개의 결과는 변분법 양자 알고리즘을 이용해 페니레인(PennyLane) 시뮬레이터로 계산한 분포를 뜻한다. 세 가지의 인가전압에 대해 양자 알고리즘으로 얻은 해의 충실도는 모두 99.97% 이상으로 확인되었으며, 이는 비록 작은 규모이긴 하지만 NISQ 알고리즘으로 푸아송 방정식을 꽤 정확히 풀 수 있음을 시사한다.

변분법 알고리즘으로 대변되는 NISQ 알고리즘의 문제점

어떤 알고리즘의 가치를 평가하는 데 ‘해가 얼마나 정확한가?’ 도 중요한 질문이지만 어쩌면 그만큼이나 중요한 또 다른 질문은 ‘얼마나 효율적이고 실용적인가?’일 것이다. 변분법 알고리즘의 효율성을 평가하는 가장 중요한 척도는 많은 연구자들이 생각하듯 안사츠 회로나 측정 회로의 계산 복잡도(보통 양자 게이트의 숫자)임이 분명하지만, 이것만으로는 충분하지 않다. 정확한 해를 얻는 데 필요한 루프 실행횟수와 결과의 측정횟수가 같이 고려되어야 하기 때문이다.

[그림 3]의 (a)는 2차원 푸아송 방정식 문제를 반도체 소자 특성 계산에 적용했을 때 사용한 안사츠 회로를, (b)는 루프의 수행 횟수에 따른 해의 충실도 변화를 측정 횟수의 함수로 보여 준다. (b)의 중요한 두 가지 메시지는 [그림 1]에 표현된 루프의 실행횟수에 따라 해의 충실도가 증가한다는 점과 측정횟수 (shot의 수)가 충분히 많아야 충실한 해를 얻을 수 있다는 점이다. [그림 3]의 결과에서 우리는 ‘고작’ 8큐비트 회로로 표현된 푸아송 방정식의 해를 얻는데 30여 번의 루프 실행과 루프 당 100만 번 이상의 측정이 필요하다는 점을 알 수 있다. 8큐비트 회로로 표현된 푸아송 행렬이 256-by-256이고 이 정도 규모의 선형 시스템을 고전 컴퓨터에서 매트랩(MATrix LABoratory, MATLAB) 같은 소프트웨어로 계산하면 1초도 걸리지 않는다는 점을 생각한다면, 적어도 변분법 양자 알고리즘이 고전 수치 알고리즘 대비 효율성이 좋다고 말할 수 없다는 점은 너무나도 분명해 보인다.

그럼에도 불구하고, NISQ 알고리즘 활용연구에 대한 노력은 필요하다.

2000년대 중반 박사과정 공부를 하면서 GPGPU(General Purpose computing on Graphics Processing Units) 장치를 처음 접했다. 다양한 에러가 난무하고 어렵기만 한 쿠다 (Compute Unified Device Architecture, CUDA)라는 언어로 힘들게 코드를 짜고 처음 실행시켜 본 후, ‘이걸 도대체 왜 하지? 멀티코어 CPU에서 병렬처리 잘하면 될걸’이라고 생각했던 것을 지금도 분명히 기억한다. 병렬처리 기술과 슈퍼컴퓨터를 이용해 반도체 소자 특성 계산연구를 오랫동안 수행한 경험을 가진 입장에서, 최근 양자 알고리즘 연구를 수행하면서 드는 필자의 생각이 20여 년 전에 가졌던 GPGPU에 대한 생각과 너무나 비슷하다.

측정횟수, 안사츠 회로와 다변수 최적화의 성능에 따른 루프 반복횟수 등의 문제 때문에 최근 변분법 알고리즘으로 대변되는 NISQ 알고리즘의 실용성에 의문이 제기되고 있고, 조기 오류 내성(early fault-tolerant) 양자 연산에 관한 연구의 필요성도 대두되고 있다. 하지만 이 모든 내용이 분명한 사실임에도 불구하고, NISQ 알고리즘의 실용성을 높이기 위한 연구는 계속되어야 한다고 생각한다. 획기적인 패러다임의 변화 또는 기술의 진보가 이루어지지 않는 한 당분간(어쩌면 꽤 오랫동안) 우리가 사용할 수 있는 양자 컴퓨터는 잡음이 존재하는 물리 큐비트에 기반하고 있을 것이라고 믿기 때문이다. 앞서 예로 든 전통적 도메인 계산의 큰 부분을 차지하는 편미분 방정식 문제를 포함해 변분법 양자 회로(variational quantum circuit)에 기반한 인공지능 학습이나 조합 최적화 문제를 대상으로 한 NISQ 알고리즘 활용 연구의 필요성도 여전히 크다고 생각한다.

마지막으로, NISQ 알고리즘의 활용연구는 기존 양자정보이론 연구자만의 영역이 아니라고 말하고 싶다. 수치해석 활용에 능숙한 도메인 연구자, 고전 컴퓨팅 장치에서 성능 최적화 연구를 수행하는 컴퓨터공학자 등 ‘풀고자 하는 문제의 목적과 기존 해결 수단이 가진 장단점’을 명확히 이해하고 있는 엔드 포인트(end-point) 연구자들이 양자정보이론 연구자들과 협력하는 것이 NISQ를 포함한 양자 알고리즘의 활용성을 제고하는 데 매우 필요하고 중요하다는 점을 강조하고 싶다.