Vertex AI Matching Engine의 Brute Force와 Tree-AH 인덱스 정확도 및 성능 특성

Brute Force 인덱스의 특징

Vertex AI Matching Engine의 Brute Force 인덱스는 모든 벡터를 완전 탐색하여 정확한 최근접 이웃 결과를 반환합니다. 이 방식은 검색 정확도가 100%로 매우 높아 **정확한 검색 결과(100% 재현율)**를 보장하지만, 매 쿼리마다 데이터베이스의 모든 항목을 선형 검색하므로 검색 속도가 느리고 지연 시간이 큽니다cloud.google.comcloud.google.com. 특히 데이터셋 규모가 커질수록 검색 시간이 선형적으로 증가하여 대용량 데이터셋에서는 성능 저하가 현저하며, 대규모 실시간 서비스에서는 병목 현상으로 이어질 수 있습니다cloud.google.com. 공식 문서에서도 Brute Force 인덱스는 정확도는 높지만 지연 시간이 커 프로덕션 환경에는 권장되지 않으며, 주로 오프라인 평가 시 정확도 기준으로 활용하는 용도로만 적합하다고 언급됩니다cloud.google.com.

Tree-AH 인덱스의 특징

Tree-AH 인덱스는 Google의 ScaNN 알고리즘을 기반으로 한 근사 최근접 탐색 기법으로, 계층적 클러스터링 트리와 비대칭 해싱(Asymmetric Hashing) 기법을 결합하여 검색을 수행합니다cloud.google.com. 이 알고리즘은 벡터 공간을 다단계 트리로 분할하고 각 노드(특히 리프 노드)에 벡터들을 군집화한 다음, 질의 벡터와 가장 유사한 일부 클러스터만 탐색함으로써 검색 공간을 크게 줄입니다. 또한 AH 기법으로 벡터를 압축하여 유사도 계산을 빠르게 근사하고, 최종 단계에서 선택된 후보들에 대해 정교한 재점수화(재계산)를 수행해 정확도를 높입니다cloud.google.comcloud.google.com. 이 근사 검색 방식 덕분에 Tree-AH 인덱스는 **지연 시간을 크게 낮추면서도 높은 검색 정확도(재현율)**를 유지할 수 있습니다. 다만 100% 정확도를 보장하지는 않으며, 검색 속도를 높이는 대가로 일부 정확도가 희생되지만 일반적으로 아주 높은 재현율을 보여줍니다cloud.google.com. 사용자는 인덱스 매개변수(예를 들어 검색하는 리프 노드 비율 등)를 조정하여 재현율과 응답 지연 시간 사이의 균형을 튜닝할 수 있습니다. 공식 문서에 따르면 한 리프 노드에 포함되는 벡터 수나 탐색하는 리프 비율을 늘리면 더 많은 후보를 검색하여 재현율을 높일 수 있으나 지연 시간이 증가하고, 반대로 줄이면 지연 시간은 감소하지만 재현율이 낮아지는 식으로 정확도와 지연 시간 간 트레이드오프가 존재합니다cloud.google.com. 대규모 검색에서는 Tree-AH 인덱스의 이러한 특성이 큰 이점을 주어, 수백만~수십억 규모의 벡터에 대해서도 낮은 지연 시간으로 유사 벡터를 찾을 수 있으며 Google이 자체 제품에서 사용해온 고도화된 대규모 분산 벡터 탐색 기술이 적용되어 있습니다cloud.google.comcloud.google.com. 단, 인덱스 구축에 시간이 걸리고 약간의 메모리/저장소 overhead 및 근사로 인한 약간의 정확도 손실이 있다는 것이 한계입니다.

Brute Force vs. Tree-AH – 공식 문서 상 강조된 차이점

Google Cloud Vertex AI 공식 문서와 설명에 따르면, Brute Force 인덱스는 **정확도 면에서는 완벽(정확한 최근접 이웃 제공)**하지만 검색 지연 시간과 효율성 측면에서 한계가 있어 대용량 실시간 서비스에는 부적합합니다cloud.google.comcloud.google.com. 반면 Tree-AH 인덱스는 ScaNN 기반의 근사 검색을 통해 대규모 데이터에 대해서도 낮은 지연 시간을 달성하도록 설계된 고성능 인덱스로, 일부 미세한 정확도 손실과 복잡한 설정을 감수하는 대신 대규모 벡터 검색에서 뛰어난 응답 속도를 제공합니다cloud.google.comcloud.google.com. 요약하면, Brute Force는 정확하지만 느리고, Tree-AH는 아주 빠르면서도 높은 정확도를 유지하는 근사 검색으로, Google은 대부분의 생산 환경 벡터 검색에 Tree-AH 방식을 권장하고 Brute Force는 정확성 평가나 소규모 데이터셋에 한정해 사용하도록 강조하고 있습니다cloud.google.comcloud.google.com.