25.6.4 최신 양자 기계학습 알고리즘 연구 동향 (2023–2025)

양자기계학습(QML)은 최근 1~2년 사이 다양한 하위 분야에서 새로운 알고리즘과 개선된 기법들이 제안되고 있습니다. 아래에서는 분류, 회귀, 생성 모델, 강화학습의 주요 영역별로 대표적인 최신 알고리즘들의 이름, 제안 연도, 주요 아이디어와 장점/단점, 적용 문제 유형, 그리고 NISQ 적합성 여부를 정리합니다.

분류 (Supervised Classification)

최근 양자 분류 분야에서는 양자 커널 기반 SVM과 **변분 양자 분류기(VQC)**를 결합하거나 개선하려는 시도가 많습니다. 이들 모델은 이론적으로 적절한 특성 맵(feature map)을 사용하면 고전적으로 풀기 어려운 분류 문제에서도 양자 우위를 달성할 수 있음이 증명되었지만nature.com, 반대로 양자 커널 값이 다수 큐빗에서 상수로 수렴하는 문제(exponential concentration)도 보고되어 실제 이점을 얻기 위해서는 신중한 설계와 많은 샘플 측정이 필요합니다nature.com. 이러한 배경에서, 최근에는 새로운 변종 알고리즘과 구조적 개선으로 효율을 높이고 NISQ 환경에서 실행 가능한 분류기를 개발하려는 노력이 진행되고 있습니다:

• VQASVM (Variational Quantum Approximate SVM, 2023): 양자 커널 SVM을 변분적 방법으로 근사한 하이브리드 분류 알고리즘입니다nature.com. 양자 회로로 SVM의 결정경계를 학습하되 일부 계산을 고전적으로 처리하여 경험적으로 $\mathcal{O}(n^{<2})$ 수준의 런타임을 달성하였고, 소규모 NISQ 양자컴퓨터에서 동작 가능하도록 설계되었습니다nature.com. 장점: SVM의 글로벌 최적화 특성을 유지하면서 계산 복잡도를 낮추었고, 실제 IBM 양자 클라우드 기기에서 소규모 데이터에 대한 동작을 검증하였습니다nature.com. 단점: SVM을 근사하는 방식이라 큰 데이터셋에 대한 정확도 영향과 이론적 보장은 추가 연구가 필요하며, 실제 하드웨어에서는 아직 소규모 장난감 데이터 수준 검증에 그쳤습니다. 적용: 이진/다중 클래스 분류. NISQ 적합성: 높음 – 양자연산 수를 줄이고 실제 NISQ 기기(5큐빗 등)에서 구현 시험이 이루어졌습니다nature.com.
• 회전 불변 양자 분류기 (Equivariant VQC, 2025): 이미지 분류에서 회전 대칭을 가지는 데이터를 효율적으로 학습하기 위해 제안된 기하학적 양자 머신러닝 모델입니다. San Sebastian 등은 특정 대칭성을 반영한 등가(Equivariant) 양자 회로 구조를 도입하여, 입력 이미지의 회전각에 관계없이 동일한 레이블을 예측하는 레이블-불변 분류기를 구현했습니다journals.aps.org. 주요 아이디어: 회로에 회전 대칭 제약을 걸어 불필요한 매개변수 공간을 줄임으로써, 변분 최적화 시 Barren Plateau(평탄지대) 문제를 완화하고 모델 성능을 향상시켰습니다journals.aps.org. 실제 실험에서 이 등가 회로는 기존 임의 회로 대비 분류 정확도 향상을 보였습니다journals.aps.org. 장점: **도메인 지식(대칭성)**을 활용하여 학습 안정성과 일반화 성능을 높였고, 불필요한 매개변수를 줄여 수렴 속도 개선 효과를 얻었습니다journals.aps.org. 단점: 특정 대칭이 있는 데이터에 특화된 구조이므로 범용성은 제한되며, 대형 이미지(고해상도)에 대해서는 양자 회로 alone으로 처리하기 어려워 고전 합성곱과 결합한 하이브리드 접근이 필요했습니다journals.aps.org. 적용: 회전/대칭성이 존재하는 이미지나 패턴의 분류 문제. NISQ 적합성: 높음 – 얕은 변분 양자회로로 구현되며, 연구에서도 NISQ 디바이스에서 활용 가능한 자원으로 실험되었습니다journals.aps.org.

회귀 (Supervised Regression)

양자 회귀 분야에서는 **양자 특성 맵(kernel)**과 변분 회로를 활용하여 연속값 예측이나 함수 근사를 수행하는 접근이 주목받고 있습니다. 최근 연구는 양자 커널 기법을 회귀 및 미분방정식 풀이에 응용하거나, 데이터를 양자상태로 직접 인코딩하여 회귀 계수를 추출하는 새로운 알고리즘들을 제안하였습니다:

• 양자 커널 회귀 및 미분방정식 해법 (Quantum Kernel Regression, 2023): Paine 등journals.aps.org은 양자 특성 맵으로 구성한 커널 함수를 가중합하여 회귀 모델을 만들고, 양자 회로의 자동미분을 이용해 미분방정식(ODE/PDE)의 제약도 학습할 수 있는 방법을 제안하였습니다journals.aps.org. 주요 아이디어: 양자 회로를 통해 계산된 **커널 행렬(Gram matrix)**만 얻고, 모델의 가중치(α) 최적화는 고전적으로 수행하여 대규모 데이터도 전역 최적해로 수렴시키는 접근입니다journals.aps.org. 지원벡터회귀(SVR)와 유사하게 convex한 학습문제로 만들었기 때문에 훈련이 안정적이며 글로벌 최적점을 보장할 수 있습니다journals.aps.org. 또한 양자 회로는 함수값 및 도함수 계산만 맡으므로 양자 하드웨어 상의 노이즈 영향이 작고, 하드웨어 친화적인 것이 장점입니다journals.aps.org. 장점: 양자 특성공간의 표현력을 활용하면서도 학습을 고전적 convex 최적화로 처리하므로 바른 플래토 현상 없이 안정적으로 학습 가능하고journals.aps.org, 선형/비선형 미분방정식 등 과학계산 문제에까지 확장한 점이 혁신적입니다journals.aps.orgjournals.aps.org. 단점: 커널 행렬 계산량이 데이터 수의 제곱에 비례하여 많고, 회로를 반복 실행해 커널값을 추정해야 하므로 샘플 복잡도가 높습니다. 또, 양자 커널이 실제 고전 커널보다 반드시 우수하다는 보장은 없고, 특성 맵 설계가 성능을 좌우하는 한계가 있습니다. 적용: 연속값 예측 회귀 (예: 함수 피팅) 및 미분방정식 풀이(양자물리, 공학 문제 등). NISQ 적합성: 보통 – 회로 심도는 얕게 여러 번 실행하는 형태로 현재 기기에서 실험 가능하지만, 데이터 양에 따라 반복실행 횟수가 많아 노이즈 누적의 영향과 시간 비용이 커질 수 있습니다.
• 변분 양자 회귀 (Variational Quantum Regression, 2023): Wang & Benninkarxiv.orgarxiv.org은 고전 데이터를 양자 상태의 진폭 등으로 직접 인코딩하고, 변분적인 방법으로 해당 데이터에 맞는 회귀 계수(모델 파라미터)를 양자 회로에서 학습하는 알고리즘을 제안했습니다. 주요 아이디어: 양자상태에 데이터 테이블 전체를 임베딩하고, 회로의 매개변수가 곧바로 **회귀 계수(실수 값)**에 대응되도록 설계하여 모델의 해석가능성을 높였습니다arxiv.org. 이렇게 하면 양자 회로를 블랙박스처럼 쓰는 기존 VQA와 달리, 학습된 매개변수의 값이 곧 회귀식의 계수이므로 결과를 직접 해석할 수 있습니다arxiv.org. 또한 다항 회귀처럼 비선형 특성이 필요할 경우 고전적으로 입력 데이터에 feature를 추가한 뒤 동일한 방법을 적용하여 확장할 수 있습니다arxiv.org. 장점: 모델 구조가 명시적이고 해석이 쉬우며, 양자 상태 준비부터 학습까지 전체 절차의 자원 복잡도를 분석하여 고전 대비 이점이 있는 조건을 제시하였습니다arxiv.org. 시뮬레이션 결과 간단한 데이터셋에 대해 잘 동작함을 확인하였고, 설계상 학습 매개변수 수가 적어 최적화 비용이 낮은 편입니다arxiv.orgarxiv.org. 단점: 데이터를 양자상태로 로드하는 비용이 존재하며, 특히 **피처 수(M)**가 데이터 레코드 수(L)에 비해 크면 ($M \approx L$) 학습이 어려워지는 등 스케일 업에 제한이 있습니다arxiv.org. 따라서 충분히 많은 샘플($L \gg M$)이 있을 때 효율적이며, 입력 차원이 큰 문제에 바로 적용하려면 추가 연구가 필요합니다. 적용: 회귀 분석 전반 (연속 목표값 예측) 및 다항회귀, 데이터 적합화 등. NISQ 적합성: 보통 – 변분 알고리즘이므로 NISQ 디바이스를 활용 가능하나, 고정된 회로에 대량의 데이터 로드가 필요하므로 입출력 단계의 자원 요구량이 커 현재 기기로 큰 문제를 풀긴 어렵습니다.

생성 모델 (Generative Models)

양자 생성모델 분야에서는 양자 GAN의 지속적인 발전과 함께, 최근 양자 확산 모델 등 새로운 생성 패러다임이 등장하고 있습니다. 목표는 양자 상태나 고전 데이터 분포를 생성하는 모델의 성능을 향상시키고, NISQ 기기 상에서 실용적인 이미지/데이터 생성을 구현하는 것입니다:

• IQGAN (Image Quantum GAN, 2023): Chu 등mdpi.commdpi.com이 제안한 이미지 생성 특화 양자 GAN으로, 학습가능한 데이터 인코딩 기법과 간결한 양자 회로 설계를 도입하여 소형 NISQ 기기에서의 이미지 생성 성능을 높였습니다. 주요 아이디어: 생성자 및 판별자에 쓰이는 양자회로에서 **복잡한 얽힘 게이트(CNOT 등)**를 대폭 줄이고 필요한 경우 단일 큐빗 회전으로 대체하여 회로 깊이를 감소시켰습니다mdpi.com. 또한 입력 데이터를 양자상태로 임베딩할 때 고정된 인코딩이 아니라 **학습 가능한 인코딩기(Trainable Encoder)**를 도입하여 모델의 표현력을 높였습니다mdpi.com. 장점: 회로가 단순해져 하드웨어 오류에 강인하며, 6배 적은 양자 자원으로도 기존 QGAN과 동등 이상의 성능을 보였습니다mdpi.com. 실제 IBM 5큐빗 양자 컴퓨터(Quito)에서 간단한 MNIST 데이터(다운샘플링된 손글씨 숫자) 실험을 수행한 결과, 이전 QGAN들보다 뚜렷하고 정확한 이미지를 생성했고, 약 10번의 학습 iteration만에 수렴하여 최종 생성-타겟 상태 간 평균 0.966의 Fidélity를 달성했습니다mdpi.commdpi.com. 특히 기존 모델에서 흐릿하게 나타나던 숫자 '3' 등이 IQGAN에선 명확하게 생성되었고, 학습가능 인코더 덕분에 학습이 빨라지고 최종 fidelity가 추가 향상되었습니다mdpi.com. 단점: 데이터 입력 크기를 줄이기 위해 PCA 등으로 8차원 이하로 다운샘플링한 후 학습해야 했을 만큼, 현재 하드웨어로 생성할 수 있는 이미지 해상도에 제한이 있습니다mdpi.com. 회로에 큐빗 수/게이트 수가 늘어나면 노이즈로 fidelity가 저하되는 현상이 관찰되어, 고해상도 이미지를 생성하려면 여전히 양자 노이즈 및 디코herence 문제를 해결해야 합니다mdpi.com. 적용: 간단한 이미지나 데이터 분포의 생성 (예: 저해상도 MNIST 숫자 생성). NISQ 적합성: 높음 – NISQ 상에서 성능을 내기 위해 고안되었고 실제 양자 프로세서 실험까지 수행되어, 소규모 NISQ 기기에 최적화된 설계입니다mdpi.com.
• PQWGAN (Parameterized Quantum Wasserstein GAN, 2023): Tsang 등mdpi.commdpi.com이 제안한 하이브리드 양자-고전 GAN으로, 여러 **양자 부분생성자(sub-generator)**가 이미지의 서로 다른 부분을 생성하고 이를 고전적으로 합치는 패치워크 전략을 사용함으로써 고해상도 이미지 생성에 도전한 최신 QGAN입니다. 주요 아이디어: 여러 소규모 양자 생성 회로를 이미지 패치별로 병렬 활용하고, 고전 신경망 **판별자(critic)**와 Wasserstein GAN의 Gradient Penalty 훈련법을 접목하여 28×28 픽셀 수준의 Fashion-MNIST 흑백 이미지까지 생성해냈습니다mdpi.com. 이는 이전 양자 GAN들이 8×8 이하에 머물렀던 것에 비해 해상도를 크게 확장한 성과입니다mdpi.commdpi.com. 또한 양자 매개변수 수를 최소화하는 설계로 고전 GAN 대비 적은 파라미터로 유사한 이미지 품질을 얻었고, 프리셋 양자회로블록 재사용 등으로 학습 안정성을 높였습니다mdpi.commdpi.com. 장점: 양자-고전 하이브리드 접근으로 NISQ 한계를 일부 극복하여, 현재까지 가장 높은 해상도의 양자 생성 이미지를 보고하였습니다mdpi.com. 패치 단위 생성으로 양자 회로 규모를 분산시켜 동일 하드웨어로 더 복잡한 데이터 생성이 가능해졌고, Fréchet distance 등의 지표에서도 기존 QGAN들과 견주어 높은 이미지 품질을 보였습니다mdpi.com. 단점: 여전히 일부 패치는 고전적으로 결합하므로 순수 양자 생성이라 하기 어렵고, 패치 수가 늘면 필요 큐빗 수도 선형 증가하는 등 자원 요구량이 커집니다. 연구에서도 고해상도일수록 더 많은 하드웨어 자원과 긴 학습시간이 필요함을 언급하고 있으며mdpi.com, 완전한 대규모 이미지를 생성하려면 향후 양자 메모리 및 회로 확장이 전제되어야 합니다. 또한 학습 과정에서도 여전히 노이즈와 수렴 불안정 문제가 존재하여, 데이터 복잡도가 높을수록 회로 최적화와 안정화가 도전과제로 남습니다mdpi.commdpi.com. 적용: 비교적 복잡한 이미지 생성 (예: 패션 아이템 이미지 등). NISQ 적합성: 보통 – 노이즈 완화 설계와 하이브리드 기법으로 NISQ 한계를 의식하여 설계되었지만, 여전히 많은 큐빗과 회로 깊이가 필요하여 현세대 기기로는 제한적인 규모(28×28 이진 이미지 정도)까지만 구현 가능합니다mdpi.com.
• 양자 확산 모델 (Quantum Diffusion Models, 2024): 클래식 생성모델의 최신 트렌드인 **확산 확률모델(Diffusion Model)**을 양자 영역에 도입한 연구들이 2023~2024년에 출현했습니다journals.aps.orgjournals.aps.org. 대표적으로 Zhang 등은 양자 소멸/생성 과정을 통해 양자 데이터를 생성하는 **QuDDPM (Quantum Denoising Diffusion Probabilistic Model)**을 제안하여 2024년 보고했고journals.aps.org, Chen 등은 비유니터리 양자 채널을 활용한 **QGDM (Quantum Generative Diffusion Model)**을 2024년에 제안했습니다arxiv.orgarxiv.org. 주요 아이디어: 확산 모델은 데이터에 점진적으로 노이즈를 추가했다가 역과정으로 복원하면서 학습하는데, 양자 버전에서는 양자 상태를 완전히 혼합상태(최대 엔트로피 상태)로 붕괴시키는 과정과 역으로 복원하는 변분 회로를 도입하였습니다arxiv.org. 다단계의 중간 학습 목표(노이즈 분포에서 데이터 분포로 조금씩 근사) 설정으로 학습 난이도를 낮추고 barren plateau를 피하는 효과를 거두었습니다journals.aps.org. QuDDPM의 경우 충분한 회로 층수를 통해 이론적으로 임의의 복잡한 양자 분포도 표현 가능함을 보장하면서, 중간 단계별 학습으로 효율적으로 훈련될 수 있음을 증명하였습니다journals.aps.org. 장점: 기존 QGAN 대비 학습 안정성 향상이 두드러집니다. 예를 들어 QGDM은 최적화 문제를 convex하게 구성하여 QGAN보다 수렴 속도가 빠르고, 혼합 상태(노이즈)에서 시작해 목표 상태를 찾는 접근으로 훈련 안정성을 높였습니다arxiv.org. 실제로 QGDM은 혼합 상태 생성에서 QGAN보다 53% 높은 fidelity를 달성하였고, 순수 상태와 혼합 상태 모두에 대해 QGAN보다 우수한 생성 성능을 보였습니다arxiv.org. 또한 QuDDPM은 양자 다체계의 위상 구조 학습이나 양자 노이즈 모델 학습 등 복잡한 양자 데이터 분포까지 효율적으로 학습할 수 있음을 시뮬레이션으로 증명하여, 범용적인 양자 생성 학습 패러다임을 제시했습니다journals.aps.org. 단점: 확산 모델 특성상 반복 단계 수가 많아야 하므로 회로 실행 횟수가 증가하며, QuDDPM은 원하는 표현력을 얻기 위해 충분한 회로 깊이도 요구합니다journals.aps.org. 따라서 노이즈가 있는 NISQ 기기에서 긴 회로를 여러 차례 실행해야 하는 부담이 있어, 작은 규모 시스템 외에는 직접 구현 난이도가 높습니다. 또한 현재 결과들은 주로 시뮬레이션 기반이며, 실제 양자 하드웨어에 적용한 사례는 없어 실기 구현시 추가 검증이 필요합니다. 적용: 복잡한 양자 상태 분포의 샘플링/생성, 장차 고전 데이터의 양자생성으로도 확장 가능. NISQ 적합성: 낮음 ~ 보통 – 알고리즘 자체는 변분 원리를 사용하여 NISQ에서 돌릴 수 있도록 구상되었으나, **요구되는 회로 규모(층수)**가 커질 수 있어 완전한 NISQ 기기 구현에는 제약이 있습니다. 향후 에러 완화나 축약형 알고리즘 개발이 병행되어야 현실적인 NISQ 응용이 가능할 전망입니다.

강화학습 (Reinforcement Learning)

강화학습 분야에서도 양자 컴퓨팅과의 접목이 활발히 시도되고 있습니다. 양자 강화학습(QRL) 알고리즘들은 양자 컴퓨터를 활용하여 에이전트의 정책 탐색이나 환경 시뮬레이션을 가속하고자 합니다. 특히 이산적 행동 공간에서는 양자 확률분포 인코딩을 통한 속도 향상, 연속적 행동 공간에서는 양자 회로를 정책망으로 활용하는 연구들이 최근 등장했습니다nature.comquantum-journal.org.

예를 들어, 위 그림은 양자 강화학습 프레임워크의 개념도를 보여줍니다. 에이전트는 양자상태 $|s_t\rangle$를 받아 양자 회로 기반 정책으로부터 행동 $\theta_t$를 생성하고, 양자 혹은 고전 환경에 그 행동을 적용해 새로운 상태 $|s_{t+1}\rangle$와 보상 $r_{t+1}$을 얻습니다quantum-journal.org. 에이전트는 이 보상에 따라 정책 회로의 매개변수를 업데이트하며 학습을 진행합니다. 이러한 양자-고전 혼합 루프를 통해, 양자특성을 활용한 효율적인 정책 학습이 가능해집니다.

• 하이브리드 양자 Q-러닝 (Quantum-accelerated Q-learning, 2023): Sannia 등nature.com은 고전적 Q-러닝 알고리즘의 의사결정 단계를 양자 서브루틴으로 가속하는 방법을 제안하였습니다. 주요 아이디어: 행동 가치 함수를 업데이트하는 대신, 양자 회로 상에서 확률분포를 인코딩하고 측정을 통해 행동을 샘플링함으로써, 액션 공간의 크기가 큰 경우에도 의사결정에 $\sqrt{N}$ 시간만 소요되도록 한 것입니다nature.com. 구체적으로 $N$개의 행동 중 하나를 선택해야 할 때, $N$차원의 확률분포를 $\lceil \log_2 N\rceil$ 큐빗 상태에 진폭으로 인코딩하고 양자측정을 통해 행동을 결정함으로써 quadratic한 속도 향상을 얻습니다nature.com. 장점: 행동 가짓수가 많은 문제(예: 포커 게임, 대규모 옵션 트레이딩 등)에서 결정 속도를 획기적으로 개선할 수 있고, 양자 분포 인코딩을 통해 복잡한 확률분포도 효율적으로 생성할 수 있습니다nature.com. 고전-양자 하이브리드 구조로 기존 Q-러닝과 호환성이 높고, 필요할 때만 양자 가속기를 사용하므로 실용성도 고려되었습니다. 단점: 제안된 양자 서브루틴은 행동 선택 부분에 국한되므로, 환경 상호작용이나 가치함수 업데이트 자체를 가속하는 것은 아닙니다. 또한 분포 인코딩을 위한 양자회로를 실제 구현하려면 매번 회로 초기화 및 측정 오버헤드가 있어, 작은 액션 공간에는 양자 이득이 크지 않을 수 있습니다. 적용: 이산 행동 강화학습 (예: 많은 선택지가 있는 게임/탐색 문제). NISQ 적합성: 보통 – 양자 서브루틴 자체는 비교적 짧은 회로로 구성 가능하여 NISQ 기기에서 시험 가능하나, 충분한 양자 이득을 얻으려면 수십 큐빗 이상 규모의 회로(큰 행동공간 인코딩)가 필요하며 이는 중기적으로 구현을 기다려야 합니다.
• 양자 DDPG (Deep Deterministic Policy Gradient, 2025): Wu 등quantum-journal.orgquantum-journal.org은 연속 행동 공간을 다루는 대표적 심층RL 기법 DDPG에 양자접근을 도입한 알고리즘을 발표했습니다. 주요 아이디어: 정책 신경망과 가치 평가 신경망을 **변분 양자회로(양자 뉴럴넷)**로 구현하고, 이를 통해 양자 시스템의 제어나 양자상태 준비 문제를 강화학습으로 풀도록 한 것입니다quantum-journal.org. 특히 한 번 정책망을 학습하면 任意의 목표 상태로 시스템을 보낼 수 있는 제어 시퀀스를 한 번에 생성하도록 설계하여, 종래에는 목표 상태마다 별도로 학습해야 했던 양자 제어를 한 번의 학습으로 일반화했습니다quantum-journal.org. 예를 들어 1큐빗 초기상태를 어떤 목표상태로도 보낼 수 있는 제어 펄스 시퀀스를, 단 한 번의 학습으로 얻을 수 있음을 시뮬레이션으로 보였습니다quantum-journal.org. 장점: **양자 뉴럴네트워크(QNN)**를 활용함으로써, 양자 시스템의 연속 제어에 필요한 복잡한 연산을 자연스럽게 표현할 수 있고quantum-journal.org, 학습된 정책이 여러 목표에 일반적으로 적용가능하여 재학습 비용을 크게 절감합니다quantum-journal.org. 논문에서는 1-2큐빗 시스템에서 양자 DDPG로 양자 상태 제어 및 고유값 추정 문제를 성공적으로 해결하며 그 효과를 입증했습니다quantum-journal.org. 단점: 변분 회로를 RL에 통합하면서 학습 파라미터가 많아지고, 소규모(1–2큐빗)에서 동작은 확인되었지만 더 큰 양자 시스템으로의 확장성은 미지수입니다. 또한 양자 회로 학습에는 여전히 다수의 측정 및 피드백 반복이 필요해, 노이즈 환경에서의 안정적 학습이 도전과제입니다. 적용: 양자 로보틱스/제어 (양자 비트 상태를 원하는 상태로 보내기), 양자 최적 제어 등. NISQ 적합성: 높음 – NISQ 기기를 활용한 양자-고전 하이브리드 RL로 설계되었으며, 비교적 얕은 변분 회로를 사용하여 현재 양자 프로세서와 시뮬레이터로 검증된 알고리즘입니다quantum-journal.org. 다만 더 복잡한 환경에서는 노이즈 영향으로 성능 저하 가능성이 있어 계속된 개선이 필요합니다.