LLM 기반 AI 에이전트 (LLM Powered AI Agents)

참조: https://lilianweng.github.io/posts/2023-06-23-agent/

에이전트 시스템에서 "두뇌" 역할이 중요해지면서, 대규모 언어 모델(LLM)을 핵심 컨트롤러로 활용하는 전략이 각광받고 있습니다. 이 같은 접근은 AI 에이전트를 단순히 특정 기능만 수행하는 도구가 아닌, 다양한 문제 상황에 유연하고 창의적으로 대처할 수 있는 존재로 발전시킵니다. 최근 AutoGPT, GPT-Engineer, BabyAGI 등의 실험적 데모들은 이러한 가능성을 구체적으로 시연하며, LLM 중심 에이전트의 현실성을 입증하고 있습니다.

LLM을 핵심 컨트롤러로 삼는 이유는 다음과 같은 합리적인 근거를 바탕으로 합니다.

첫째, LLM은 광범위한 데이터로 사전 학습되어 있어, 특정 분야에 한정되지 않고 다양한 도메인의 지식을 다룰 수 있습니다. 이를 통해 에이전트는 특정 상황에 국한되지 않고 일반화된 문제 해결 능력을 발휘할 수 있습니다.

둘째, LLM은 입력된 맥락(Context)에 따라 유연한 추론을 수행할 수 있어, 변화하는 환경이나 요구사항에 즉각적으로 대응 가능합니다. 이는 에이전트가 사전에 정의된 규칙에만 의존하지 않고, 새로운 정보를 반영해 실시간으로 계획이나 전략을 조정할 수 있음을 의미합니다.

셋째, LLM 기반 에이전트는 자연어를 통한 상호작용을 기본으로 하기 때문에, 비전문가나 일반 사용자도 명령어나 질의 방식을 직관적으로 구성할 수 있습니다. 이는 에이전트를 운용하고 개선하는 과정에서 개발 비용과 복잡도를 낮추며, 사용자 경험을 높이는 데 기여합니다.

 

결과적으로, LLM을 핵심 컨트롤러로 활용하는 에이전트 구축 개념은 단순한 문장 생성 수준을 넘어선, 다양한 문제 상황에서 능동적이고 고도화된 의사결정을 수행하는 지능형 시스템의 실현으로 이어집니다.

 

 

1. LLM기반 에이전트 시스템 개요

LLM(대규모 언어 모델) 기반 자율 에이전트 시스템에서 LLM은 에이전트의 ‘두뇌’ 역할을 담당합니다. 그러나 이 ‘두뇌’가 온전한 에이전트로 기능하기 위해서는 다양한 보조 요소들이 필요합니다. 이러한 요소들은 계획 수립(Planning), 기억(Memory), 도구 활용(Tool Use), 그리고 행동 실행을 담당하는 액추에이터(Actuator)로 구성되며, 각각의 역할이 유기적으로 결합되어 복잡한 문제 해결 능력을 갖춘 에이전트를 형성합니다.

계획(Planning)

• 하위 목표 설정 및 작업 분해(Subgoal and Decomposition):
에이전트는 큰 목표를 한 번에 달성하기 어렵기 때문에 이를 여러 하위 목표로 나누어 순차적으로 해결합니다. 예를 들어, “온라인 쇼핑몰 개설”이라는 큰 목표가 있다면, “상품 카테고리 선정”, “결제 시스템 연동”, “물류 파트너 선정”, “마케팅 전략 수립” 등의 하위 목표로 세분화해 단계별로 집중적으로 접근할 수 있습니다. 이로써 에이전트는 방대한 작업을 효율적으로 관리하고, 각 단계에서 발생하는 문제에 초점을 맞추어 해결할 수 있습니다.

• 반성(Reflection)과 개선(Refinement):
에이전트는 과거 행동을 되돌아보고 개선하는 과정을 거칠 수 있습니다. 예를 들어, 에이전트가 코드 작성 업무를 수행했는데 초기 결과물에 오류가 있었다면, 에이전트는 이 문제점을 분석하고 더 나은 접근 방식을 시도합니다. 이러한 자기반성과 수정 과정을 통해 에이전트는 점차 높은 품질의 결과물을 산출하게 되고, 시간이 지날수록 더욱 효율적이고 정확한 문제 해결 능력을 갖추게 됩니다.

기억(Memory)

• 단기 메모리(Short-term Memory):
단기 메모리는 에이전트가 현재 상황(대화 맥락, 최근 입력)에서 필요한 정보를 유지하는 영역입니다. 인컨텍스트 학습(In-context Learning)을 통해 모델은 최근 사용자 발화나 이전 답변을 기억하고, 이를 토대로 새로운 문제에 대한 해답을 제시할 수 있습니다. 예를 들어 사용자가 “이전에 언급한 두 번째 옵션을 다시 설명해줘”라고 하면, 에이전트는 단기 메모리를 활용해 직전 맥락에 기반한 상세한 답변을 제공할 수 있습니다.

• 장기 메모리(Long-term Memory):
장기 메모리는 방대한 양의 정보와 지식을 장기간 축적하고 필요할 때마다 빠르게 검색할 수 있게 해줍니다. 외부 벡터 스토어(Vector Store)나 데이터베이스, 지식 그래프 등을 통해 에이전트는 의학, 법률, 기술 문서 등 특정 도메인 지식을 오랜 기간 유지하며, 필요 시 즉시 활용합니다. 이를 통해 에이전트는 단순한 일회성 대응을 넘어, 풍부하고 지속적인 맥락 인식과 정보 활용이 가능합니다.

도구 활용(Tool Use)

• 외부 API 및 기능 호출:
LLM은 사전에 학습된 파라미터에만 의존할 경우 최신 정보나 특정 비공개 데이터에 접근하기 어렵습니다. 이때 에이전트는 외부 API, 플러그인(Plugin)과 같은 도구를 활용해 모델 외부의 자원에 접근합니다. 예를 들어, 주식 시장 예측 에이전트는 실시간 주가 정보 API를 통해 최신 데이터를 받아 분석할 수 있고, 코드 작성 에이전트는 코드 실행 환경에 접근해 실제 결과를 검증할 수 있습니다. 이러한 도구 활용 능력은 에이전트의 기능적 한계를 뛰어넘는 핵심 요소입니다.

액추에이터(Actuator)

• 행동 실행:
액추에이터는 에이전트가 최종적으로 의사결정 결과를 실제 행동으로 옮기는 메커니즘을 의미합니다. 물리적 로봇에서는 모터나 로봇 팔처럼 실제 환경에 영향을 주는 장치가 액추에이터이지만, 소프트웨어 에이전트에서는 데이터베이스 갱신, API 호출, 메시지 전송과 같은 형태로 나타납니다. 예를 들어, 온라인 쇼핑몰 개설 목표를 위해 “결제 시스템 연동”을 하기로 결정했다면, 액추에이터는 해당 결제 API를 실제로 호출하고 설정하는 작업을 수행하게 됩니다. 즉, 액추에이터를 통해 에이전트는 의도한 계획을 현실화하고 환경에 변화를 일으킵니다.

정리하면 LLM을 중심으로 하는 자율 에이전트 시스템은 계획(Planning), 기억(Memory), 도구 활용(Tool Use), 액추에이터(Actuator)를 결합함으로써 단순한 응답 생성 수준을 넘어 보다 복잡하고 실용적인 문제 해결 능력을 갖춘 인공지능을 구현합니다. 계획을 통해 체계적인 접근이 가능해지고, 기억 시스템으로 장·단기 맥락을 활용할 수 있으며, 도구 활용 능력을 통해 외부 정보와 기능을 능숙하게 다룰 수 있습니다. 마지막으로 액추에이터를 통해 실제 환경 변화나 명령 실행이 가능해지면서 에이전트는 더욱 주도적이고 능동적인 문제 해결자로 활약할 수 있게 됩니다