본문 바로가기

  • 교재 소개

  • 10장 AI 글로벌 트렌드와 미래 전망

  • 10.2 LLM의 여러 형태 활용

LLM의 여러 형태 활용

1. LLM의 여러 형태 활용

이 장에서는 대규모 언어 모델(LLM)이 텍스트 생성을 넘어 다양한 형태로 활용되고 있는 현황을 살펴봅니다. 멀티모달, 에이전트, RAG, 파인튜닝 등 LLM의 확장된 활용 방식을 이해하고, 업무에 적용할 수 있는 방법을 알아봅니다.

1.1 LLM의 발전 흐름

1.1.1 주요 LLM 비교

모델개발사특징주요 활용
GPT-4oOpenAI텍스트·이미지·음성 통합 멀티모달범용 AI 어시스턴트
ClaudeAnthropic안전성 중시, 긴 컨텍스트문서 분석, 코딩, 업무 보조
GeminiGoogle검색 연동, 멀티모달검색 기반 업무, 구글 생태계
LLaMAMeta오픈소스, 커스터마이징 가능기업 내부 맞춤형 AI
HyperCLOVA XNaver한국어 최적화(26년 4월 서비스 종료)한국어 업무, 네이버 서비스
MistralMistral AI경량·고성능 오픈소스비용 효율적 배포
DeepSeekDeepSeek추론 특화 오픈소스코딩, 수학, 분석

1.2 LLM 활용 형태

1.2.1 텍스트 생성 활용

LLM의 가장 기본적이면서 널리 사용되는 활용 형태입니다.

  • 문서 작성: 보고서, 기획서, 공문서 초안 작성
  • 요약: 긴 회의록, 정책 문서, 연구 보고서를 핵심 내용으로 압축
  • 번역: 다국어 문서 번역 및 현지화
  • 교정·교열: 맞춤법, 문법, 문체 검토 및 수정

1.2.2 멀티모달 활용

최신 LLM은 텍스트를 넘어 이미지, 음성, 영상까지 처리할 수 있습니다.

분류서비스기능활용 예시
이미지 생성DALL-E 3, Midjourney, Stable Diffusion텍스트→이미지정책 홍보 이미지, 프레젠테이션 자료
이미지 분석GPT-4o Vision, Claude Vision이미지→텍스트문서 스캔 분석, 현장 사진 분석
음성 인식Whisper, Clova Note음성→텍스트회의 자동 녹취, 민원 전화 분석
음성 합성ElevenLabs, VITS텍스트→음성안내 방송, 교육 자료 음성
영상 생성Sora, Runway, Veo 2텍스트→영상정책 홍보 영상, 교육 콘텐츠

1.2.3 AI 에이전트

AI 에이전트는 LLM이 단순 질의응답을 넘어 자율적으로 도구를 활용하여 복잡한 업무를 수행하는 형태입니다.

주요 AI 에이전트 서비스나 도구는 아래와 같습니다.

  • OpenAI GPTs / Assistants API: 맞춤형 AI 에이전트 생성
  • Claude MCP (Model Context Protocol): 외부 도구 연결 프로토콜
  • Claude Skills: 특정 업무 수행 스킬 개발
  • LangChain / LangGraph: 오픈소스 에이전트 프레임워크

특히 Claude, Claude Cowork, Claude MCP, Claude Skills 등은 업무에 특화된 에이전트를 구축하는 데 최적화 되어 있습니다. 아래 영상처럼 PPT, 엑셀 등을 아주 쉽게 만들 수 있습니다.

1.2.4 RAG (Retrieval-Augmented Generation)

RAG는 LLM이 외부 데이터를 검색하여 답변의 정확도를 높이는 기술입니다. 환각(Hallucination)을 줄이고 최신 정보를 반영할 수 있어 공공 분야에서 특히 유용합니다.

RAG의 장점과 공공 분야 활용:

장점설명공공 분야 활용 예시
정확성 향상실제 문서 기반 답변법령·규정 기반 정확한 안내
최신성 유지데이터 업데이트만으로 반영변경된 정책·제도 즉시 반영
출처 제공근거 문서 명시 가능법적 근거 조항 제시
비용 효율파인튜닝 없이 도메인 적용부서별 맞춤 AI 구축
보안내부 데이터 외부 유출 방지민감 행정 문서 내부 활용

1.2.5 파인튜닝 (Fine-tuning)

파인튜닝은 기존 LLM을 특정 도메인이나 업무에 맞게 추가 학습시키는 방법입니다.

파인튜닝 vs RAG 비교

구분파인튜닝RAG
방식모델 자체를 추가 학습검색 결과를 컨텍스트에 추가
비용높음 (GPU 필요)상대적으로 낮음
업데이트재학습 필요문서 업데이트로 반영
적합한 경우특정 스타일·용어 학습최신 정보 반영, 출처 필요
예시공문서 스타일 학습법령 검색 기반 답변

1.2.6 코드 생성

LLM은 단순 텍스트 생성뿐만 아니라, 코드 작성과 디버깅에도 활용됩니다. 특히 업무 자동화, 데이터 분석, 내부 도구 개발 등에 유용합니다.

활용 분야서비스/도구기능활용 예시
설치형 코드 작성Codex, Claude Code, Gemini CLI코드 분석 및 작성코드 및 문서 작성
라이브 코드 작성GitHub Copilot코드 자동 생성업무 자동화 스크립트, 데이터 분석 코드

1.3 공식 교육 자료로 LLM 활용법 익히기

LLM을 제대로 활용하려면, LLM을 만든 기업들이 직접 제공하는 공식 교육 자료로 학습하는 것이 가장 효과적입니다. Anthropic과 OpenAI 모두 프롬프트 엔지니어링부터 고급 활용법까지 체계적인 교육 과정을 무료로 제공합니다.

순서과정명내용링크
1Anthropic API FundamentalsAPI 키 설정, 모델 파라미터, 멀티모달 프롬프트, 스트리밍 등 기초GitHub - API Fundamentals
2Prompt Engineering Tutorial9개 챕터 + 연습 문제로 구성된 프롬프트 엔지니어링 핵심 기법GitHub - Prompt Engineering
3Real World Prompting실제 업무에 프롬프트 기법을 적용하는 실전 과정GitHub - Real World Prompting
4Prompt Evaluations프롬프트 품질을 측정하고 개선하는 평가 기법GitHub - Prompt Evaluations
5Tool UseAI가 외부 도구를 활용하는 기법 (에이전트의 기반)GitHub - Tool Use

2. 다양한 형태의 모델 활용

LLM을 사용하는 방식은 크게 웹 서비스 접속 방식과 로컬 설치 방식으로 나뉩니다. 각 방식은 용도, 비용, 보안, 성능 면에서 서로 다른 장단점을 가지며, 목적에 맞게 선택하여 활용할 수 있습니다.

웹 서비스 접속 방식은 우리가 흔히 사용하는 ChatGPT, Claude, Gemini 등의 온라인 AI 도구를 활용하는 방식입니다. 로컬 설치 방식은 2가지로 나뉩니다. 하나는 우리가 사용하는 ChatGPT, Claude, Gemini와 같은 모델의 설치 버전을 사용하는 방식입니다. Codex, Claude Code, Gemini CLI와 같은 도구를 설치하면 이 도구는 우리 컴퓨터를 통해 AI와 연결되며 우리 컴퓨터를 통제할 수 있게 됩니다. 다른 하나는 Ollama, Qwen과 같은 로컬 LLM 도구를 설치하여 인터넷 연결 없이도 AI를 활용하는 방식입니다. 보안상 민감한 데이터를 다루거나, 인터넷 연결이 불안정한 환경에서는 로컬 설치 방식이 유리할 수 있습니다.

특히 Qwen3.5는 2026년 2월에 출시된 알리바바의 최신 오픈소스 모델로, 작은 크기에도 놀라운 성능을 보여줍니다.

모델파라미터특징활용 기기
Qwen3.5-0.8B8억초경량, 임베디드 기기용IoT, 저사양 기기
Qwen3.5-2B20억스마트폰 최적화, 30~50 토큰/초스마트폰
Qwen3.5-4B40억균형 잡힌 성능태블릿, 노트북
Qwen3.5-9B90억소형 모델 중 최고 성능데스크톱, 고사양 노트북

Qwen3.5-9B는 13배 더 큰 모델(GPT-OSS-120B)과 비슷하거나 더 높은 성능을 기록했으며, 시각적 추론 벤치마크(MMMU-Pro)에서 70.1점으로 Gemini 2.5 Flash-Lite(59.7)를 능가했습니다. 조금더 무거운 모델을 돌리기 위해서는 AI 전용 서버가 필요하지만 기술의 발전으로 500만원 대에 형성이 되어 있습니다.

이러한 모델이 로컬에서 구동되게 하는 것이 'AI 서버'이며, DGX와 같은 AI 전용 서버가 500만원 ~ 800만원 대에 형성되어 있습니다. 보통 제약없는 AI를 사용하고 싶을 때, 정보보안 이슈가 있을 때 많이 사용합니다.