25.6.3 최근 1년간 LLM 연구 동향

1. 글로벌 주요 연구기관·기업 LLM 동향 및 모델

• OpenAI – 2023년에는 GPT-4 출시 이후 지속 개선이 이뤄졌고, 2024년에는 저비용 고효율 모델인 GPT-4o와 GPT-4o mini를 발표했습니다. GPT-4o는 GPT-4 Turbo 대비 속도가 2배 빠르고 비용은 절반 수준으로, 처리량은 5배 높아졌습니다openai.com. GPT-4o mini(2024.7)는 82% MMLU 성능에 GPT-4 버전 대비 월등히 저렴한 비용(토큰당 입력 0.15$/출력 0.60$)을 실현했습니다openai.comopenai.com. 또한 GPT-4 Turbo는 이미지 입력을 지원하여 이미지 캡션 생성이나 상세 이미지 분석 등에 활용되고 있습니다openai.com.
• Google DeepMind (Gemini/Bard) – 2023년 12월에 발표된 Gemini 1.0 시리즈(울트라/프로/나노)는 모든 모달리티(텍스트·이미지·오디오·비디오 등)를 네이티브로 처리하며, Gemini Ultra는 여러 벤치마크에서 OpenAI GPT-4를 뛰어넘는 성능을 보였습니다time.com. 2024년 12월에는 Gemini 2.0 시리즈(Flash/Pro 등)를 발표했으며, 이 모델은 네이티브 이미지와 오디오 출력, 툴 활용 기능을 추가하여 복합적인 에이전트를 구현할 수 있게 되었습니다blog.googleblog.google. 구글은 Gemini를 자사 검색, Bard 등에 통합하고 있습니다.
• Meta (Facebook AI) – 2024년 4월에 Llama 3(8B/70B 규모)를 공개했으며, 곧이어 Llama 3.1(8B/70B/405B, 2024.7)이 등장했습니다. Llama 3.1은 컨텍스트 길이를 128K 토큰까지 확장하고 8개 언어를 지원하도록 강화되었으며, Meta에 따르면 405B 버전은 현재 “공개 가능한 가장 대형 모델” 중 하나입니다aws.amazon.com. Meta는 Llama를 기반으로 Meta AI 챗봇 등 다양한 서비스를 개발 중입니다.
• Anthropic – 2024년 3월에 Claude 3 모델군(Haiku, Sonnet, Opus)을 발표했습니다. Opus는 가장 고성능 모델로, GPT-4 수준을 넘어서는 이해능력과 추론능력을 보여주며 미적분 문제, 고급 질문응답 등에서 최첨단 성능을 달성했습니다anthropic.comanthropic.com. Claude 3 전 모델은 코드 생성 능력과 다국어 대화 능력이 크게 향상되었고, 이미지·도표 등 다양한 시각 자료도 처리할 수 있습니다anthropic.comanthropic.com.
• 기타 주요 모델 – 유럽의 Mistral AI는 2023년 말 Mistral 7B(데이터 집약, Apache2 라이선스)와 Mixtral 8×7B(Mixture-of-Experts, 2023.12), 2024년에는 Mixtral 8×22B(2024.4, 세계 최고 수준의 공개 모델)을 출시했습니다docs.mistral.ai. 그 외에도 중국의 Baidu(ERNIE), 일본 소프트뱅크·알리바바(예: Qwen), xAI(Grok), AWS(PaLM 2) 등도 자체 LLM을 공개하거나 통합하고 있습니다.

2. LLM 구조와 학습 기법의 진화

• Mixture-of-Experts 등 스파스 구조: 일부 모델은 MoE 구조를 도입해 계산 효율을 높이고 있습니다. 예를 들어 Mistral의 Mixtral 모델은 여러 작은 전문가 네트워크를 두고 토큰별로 일부 전문가만 활성화하는 방식을 택해 큰 용량을 사용하면서도 비용을 절감합니다docs.mistral.ai.
• 장문 컨텍스트 처리: 대부분 최신 LLM은 긴 문맥을 처리하기 위해 컨텍스트 길이를 대폭 확장하고 있습니다. 예를 들어 OpenAI는 GPT-3.5 Turbo의 컨텍스트 한계를 기본 16K 토큰으로 늘렸으며, 내부 평가에서 38%의 형식 정확도 개선을 확인했습니다. Google DeepMind의 Gemini 2.0 역시 수십만 토큰을 다룰 수 있는 장문 이해를 지원합니다.
• 압축 및 최적화: 모델 크기를 줄이고 추론 속도를 높이기 위한 기법이 활발히 연구되고 있습니다. 대표적으로 양자화(GPTQ 같은 4비트 압축), 지식 증류, 모수 효율적 파인튜닝(LoRA) 등이 쓰입니다. OpenAI는 저비용 소형 모델(GPT-4o mini)로 비용을 획기적으로 절감했고openai.com, 이를 통해 대규모 어플리케이션의 비용 부담을 낮추고 있습니다.
• 기능 확장: 지식 보강(외부 데이터 조회), 체인오브쏘트(중간 추론 생성), 멀티에이전트 패러다임 등을 포함해 학습·파인튜닝 기법도 진화합니다. 예를 들어 OpenAI는 도메인 특화 파인튜닝을 위한 ‘커스텀 모델’ 기능을 제공하기 시작했습니다openai.com.

3. 멀티모달 LLM 발전 동향

• 텍스트+이미지: GPT-4 시리즈는 Vision 기능을 갖춰, 이미지 입력으로부터 캡션 생성, 사물 인식, 도표 분석 등을 수행합니다openai.com. Google Gemini(1.0이후)는 원래부터 멀티모달 설계로 텍스트·이미지·비디오·오디오를 모두 처리하고 있으며, Gemini 2.0은 이미지와 오디오 출력을 네이티브로 지원합니다blog.googleblog.google. Anthropic의 Claude 3도 사진, 차트, 도표 같은 다양한 시각 자료를 해석할 수 있는 능력을 갖췄습니다anthropic.com.
• 텍스트+음성: OpenAI는 GPT-4o에 음성 입출력 기능을 추가하고 있으며, 조만간 오디오 대화(Voice Mode)도 GPT-4o 기반으로 제공할 계획입니다openai.com. DevDay 발표에서 OpenAI는 텍스트를 사람 목소리로 변환하는 TTS API도 공개했습니다openai.com. Google은 Gemini 2.0에 오디오 출력 기능을 추가했고, Meta도 음성 지원 기능을 연구 중입니다.
• 비디오 이해/생성: OpenAI는 Sora라는 이름의 텍스트→비디오 모델을 기술 보고서로 발표(2023.10)했고, 이는 텍스트에서 1분짜리 영상을 생성할 수 있습니다. ElevenLabs 등의 스타트업도 음성/비디오 생성 모델을 개발 중입니다. 국내에서는 트웰브랩스(Twelve Labs)가 영상 언어 모델(VLM) 연구를 선도하고 있습니다.

4. 국내 LLM 연구·기업 동향

• 네이버 (HyperCLOVA): 네이버는 2021년 한국어 특화 LLM HyperCLOVA를 시작으로, 2023년 4월 HyperCLOVA X를 발표했습니다. HyperCLOVA X는 한국 블로그, 카페 등 우리나라 텍스트 생태계에 특화된 모델로, 오픈소스로 공개되어 SEED 3B/1.5B/0.5B 경량 모델을 제공합니다. 실제로 공개 후 한 달 만에 30만 건 이상 다운로드되었습니다oss.kr. 네이버는 현재 HyperCLOVA X의 성능을 고도화하는 중입니다yna.co.kr.
• LG AI 연구원: 2024년 말 EXAONE-3.5 3가지 모델을 오픈소스로 공개했습니다. EXAONE-3.5는 한 번에 A4 100페이지 분량의 긴 문서를 처리할 수 있는 성능을 갖추었으며, 애초에 공개 모델로 개발된 점이 특징입니다yna.co.kr. LG는 이후 의료·로봇 등 실제 행동까지 다루는 ‘거대행동모델(LAM)’ 연구에도 나섰습니다.
• 학계·연구기관: KAIST는 인텔·네이버와 손잡고 Daejeon에 공동연구센터를 설립하여 가우디2 AI칩 평가 및 LLM 개발에 협력하고 있습니다khan.co.kr. 서울대는 서울대병원을 중심으로 한국형 의료 LLM을 자체 개발했는데, 국내 3,800만 건의 임상 텍스트를 학습시켜 2025년 3월 공개했습니다. 이 모델은 한국 의료 체계에 최적화되어 의료진의 진료·연구 보조에 활용될 예정입니다snuh.org.
• 기타 기업: SK텔레콤, KT, 엔씨소프트, 카카오 등도 자체 LLM을 개발하거나 글로벌 파트너와 협력 중입니다(예: SKT ‘A.X’, KT ‘MiDeum’, NC소프트 ‘Barco’, 카카오 ‘Kanana’). 한국 스타트업들도 활발합니다. 업스테이지는 Llama3 기반 한국어 모델과 멀티모달 모델(CANVAS 등)을 공개했고, 코난테크놀로지는 대규모 한글 말뭉치를 활용한 코난LLM으로 유명합니다.

5. LLM 주요 응용 분야 및 사례

• 코드 생성: GPT-계열과 Anthropic Claude는 프로그래밍 코드 생성에서 강점을 보입니다. 예를 들어 Claude 3 모델군은 코드 생성 능력이 크게 개선되어, 복잡한 코딩 작업도 신속히 처리할 수 있습니다anthropic.com. GitHub Copilot(=OpenAI Codex 기반)이나 DeepMind의 AlphaCode 등도 소프트웨어 개발 보조에 활용됩니다.
• 검색 및 지식 응답: 마이크로소프트 Bing Chat이나 Google Bard처럼 LLM을 검색 엔진과 결합해 자연어 질의응답을 제공하는 서비스가 늘고 있습니다. LLM은 대화형 검색, 요약 답변, 오버뷰 생성 등에 활용되어 사용자 경험을 개선합니다.
• 고객지원 및 챗봇: 금융·이커머스·헬프데스크 분야에서 LLM 기반 챗봇이 빠르게 도입되고 있습니다. 고객 문의 자동 응답, 채팅 상담 보조, 감정 분석 등을 통해 서비스 효율과 만족도를 높입니다.
• 교육: 튜터링 보조, 자동 과제 채점, 학습 자료 생성 등에 LLM이 사용됩니다. 예컨대 학생 질문에 설명을 제공하거나 작문 지원을 합니다. 다국어 학습 지원 및 시험 준비에도 활용 사례가 늘고 있습니다.
• 의료: 의료 분야에서는 환자 기록 요약, 진단 지원, 의학 문헌 검색 등에서 LLM을 시험 적용하고 있습니다. 서울대병원의 한국형 의료 LLM은 임상 데이터 분석과 의료 지식 지원에 활용될 예정입니다snuh.org. 또한 언어모델을 이용한 RAG(Retrieval-Augmented Generation) 기술로 신뢰할 수 있는 의료정보를 제공하려는 연구도 진행 중입니다.
• 기타 분야: 법률 상담, 금융 리서치 보고서 작성, 마케팅 콘텐츠 생성, 로봇 제어 언어 인터페이스 등 다양한 분야에서 시범 프로젝트가 진행되고 있습니다.

6. 오픈소스 LLM vs 상용 모델 비교

• 오픈소스 LLM: 메타의 Llama(2/3) 시리즈, Mistral, EleutherAI의 GPT-NeoX·BLOOM, AI21의 Jurassic, 중국 Baichuan·讯飞·文心(EI) 등 다수 오픈소스 모델이 존재합니다. 이들은 모델 가중치와 구조를 공개하여 개발자가 자유롭게 커스터마이징하고 자체 서비스로 활용할 수 있다는 장점이 있습니다. 대표적으로 Meta Llama 3.1(405B)은 아마존 Bedrock을 통해 공개되어 누구나 사용 가능하며, “가장 크고 공개 가능한 파운데이션 모델”로 평가받고 있습니다aws.amazon.com. 오픈소스 생태계는 Hugging Face 같은 커뮤니티를 중심으로 활발히 발전 중입니다.
• 폐쇄형 상용 모델: OpenAI의 GPT-4/GPT-4o, Anthropic의 Claude, Google Bard(Gemini), xAI의 Grok 등은 모델 내부 구조와 가중치가 비공개로, 오직 API 형태로만 접근할 수 있습니다. 이러한 모델은 일반적으로 제한된 라이선스로 제공되며 성능과 안정성이 높지만, 사용자가 직접 모델을 수정하거나 대규모 배포하기 어렵습니다. 예를 들어 메타 Llama도 커뮤니티 라이선스로 공개되었지만, 경쟁 모델 학습 금지나 사용자 수 제한 같은 조건이 붙습니다oss.kr.

표 1. 주요 LLM 모델 비교 (2023~2024년)

모델개발사/기관출시 시기파라미터 규모공개 여부주요 특징

GPT-4/o	OpenAI	2023~2024	비공개	Closed	멀티모달(이미지·텍스트·음성), 2배 빠른 처리openai.com
Gemini (1.0/2.0)	Google/DeepMind	2023.12 / 2024.12	비공개	Closed	전 모달리티 지원, Ultra 버전 GPT-4 초과 성능time.com, 2.0에 음성·영상 출력 추가blog.google
Claude 3	Anthropic	2024.3	비공개	Closed	Opus/Haiku/Sonnet, 코딩 및 비전 능력 강화anthropic.comanthropic.com
Llama 3.1	Meta	2024.7	8B~405B	Open	다국어 지원, 128K 컨텍스트aws.amazon.com
Mixtral 8×22B	Mistral AI	2024.4	8×22B (MoE)	Open	파라미터 최적화, 뛰어난 공개 모델 성능docs.mistral.ai
HyperCLOVA X	Naver/CLOVA	2023.4	~6.9B	Hybrid	한국어·문화 특화, 경량 모델 공개 (3B/1.5B)yna.co.kr
EXAONE-3.5	LG AI 연구원	2024.12	수십B	Open	A4 100매 분량 문서 처리, 온디바이스 모델 포함yna.co.kr
한국형 의료 LLM	SNUH (의료진)	2025.3	비공개	Open	3,800만건 임상 기록 학습, 한국 의료 특화snuh.org

 

이처럼 오픈소스와 폐쇄형 모델은 각기 생태계가 다릅니다. 오픈소스는 자유로운 수정·배포가 가능하지만, 커뮤니티의 검증이 필요하고 기업 사용에 제약이 있을 수 있습니다. 반면 폐쇄형은 안정성과 성능은 높지만 접근성과 확장성은 제한적입니다.

출처: 각 기업 공식 블로그·논문·공식 발표 자료 및 신뢰할 수 있는 매체를 참고하여 2024~2025년의 최신 정보 위주로 정리하였습니다openai.comopenai.comtime.comblog.googleopenai.comanthropic.comanthropic.comyna.co.kryna.co.krkhan.co.krsnuh.orgoss.kraws.amazon.com.