결론을 내린 환경
첫 번째, 제 PC의 RTX 5070
2026년 8월, 저는 LM Studio를 깔고 일주일쯤 써 봤습니다. 앱 안에서 모델을 검색해 바로 내려받을 수 있어서, 내려받는 데 시간이 꽤 걸린 것만 빼면 시작은 정말 쉬웠습니다. Qwen3.8 27B를 받아 돌려 보니 너무 느렸습니다. 'RTX 5070으로 로컬 LLM을 돌려 의미 있는 일을 하기는 쉽지 않겠구나' 싶었습니다.
다만 품질은 나쁘지 않았습니다. Claude Haiku보다 조금 낮은 정도로 느껴졌습니다. 저희 회사가 Haiku에 맡기는 일은 대부분 문의를 분류하거나 짧게 요약하는 가벼운 일이고, 그런 일이 많지 않아 모델을 바꾸지 않고 그대로 Opus를 사용하고 있었습니다. 왜냐하면 Opus로는 초안 자체의 완성도가 높아 맞춤법이나 퇴고, 교정까지 한 번에 할 수 있기 때문입니다.
모든 면에서 클라우드였습니다. Haiku나 Sonnet을 API로 쓰면 되는데, 그보다 좋은 로컬 모델을 제 컴퓨터에서 돌리겠다고 수백만 원, 수천만 원을 쓰는 것은 옳지 않다고 판단했습니다.
두 번째, 위니버시티 바이브 코딩
위니버시티에는 학생이 말로 앱을 만드는 바이브 코딩 도구가 있습니다. 이 도구를 만들 때 회사 서버의 GPU를 묶어 로컬 모델을 붙이는 방안도 따져 봤습니다. 2026년 10월에 내린 결론은 RTX 3090 자체 서버 대신 Claude Haiku 5.5 API였습니다.
- 성능: Haiku 5.5가 3090에 올릴 수 있는 Qwen3.8 27B보다 높았습니다(Artificial Analysis 종합 지수 43 대 34, 2026년 10월 기준).
- 비용: 학생 200명이 한 달에 90번씩 쓴다고 보면 API는 월 약 2.3만 원, 3090 서버는 고정비만 월 약 11.6만 원이었습니다. 심지어 여기에 서버를 관리하는 인건비는 들어가 있지 않습니다. 동시 접속도 고려하지 않은 상태입니다.
회사 서버의 GPU 몇 장을 붙여 돌려도 들인 만큼 나오지 않는다고 판단했습니다.
세 번째, 기업 교육의 사내망 로컬 LLM
한 기업 교육에서는 보안 정책 때문에 사내망에 구축한 로컬 LLM을 썼습니다. 최고급 그래픽카드 네 장에 약 4천만~5천만 원(2026년 4~5월 교육 당시 기준)을 들인 장비였고, 모델은 Gemma 4였습니다. 수강생은 VSCode 확장인 Roo Code로만 이 모델에 접근할 수 있었습니다.
문제는 두 가지였습니다.
- 접근성: 사람들이 평소 쓰는 AI는 웹에 접속해 바로 씁니다. VSCode 확장으로만 들어가는 환경은 그런 화면도, 편의 기능도 없습니다. Claude Desktop 같은 편의 기능까지 만들어 줄 것이 아니라면 쓰기 어렵습니다.
- 성능: 그 장비에 올릴 수 있는 가장 좋은 모델도 지금 쓸 수 있는 Opus 5.5에 한참 못 미쳤습니다. 웹에서 Claude에게 한두 번 물으면 끝날 일을 수백 번 묻고 수백 번 고쳐야 하니, 쓰는 사람의 체감이 좋을 수 없었습니다.
그래서
수천만 원짜리 장비도, 제 PC의 그래픽카드도 같은 자리에서 물음이 생깁니다. 로컬 LLM이 가벼운 일은 됩니다. 의미 있는 작업도 있습니다. 다만 일반적으로는 클라우드가 압도적 우위를 달성하고 있습니다. 고급 작업과 여러 사람이 함께 쓰는 일이 특히 그렇습니다. 저희는 교육을 많이 하는 회사라 수강생이 한꺼번에 쓰는 일이 특히 중요한데, 이 부분은 속도와 함께 지금도 앞으로도 로컬로 풀기 쉽지 않다고 봅니다.
보안이 걱정이라면 로컬 LLM을 짓기보다, 걱정되는 파일만 전처리해 민감한 내용을 가린 뒤 API에 넘기는 소프트웨어를 중간에 두는 편이 낫다고 생각합니다. 만약 로컬 LLM을 도입할 생각이 있는 개인이나 기업이라면 AI 샌드박스나, 그래픽 카드만 클라우드로 빌려 쓰는 서비스로 한 달만 이용해 보시길 권해드립니다.
물론 의미가 전혀 없다는 것은 아닙니다. 외부로 데이터가 전혀 나가지 않아야 하는 업무나 정말 간단한 업무를 하는 곳에서는 충분히 붙여 쓸 수 있습니다. 이 글이 '로컬 LLM이 그래서 필요 없다'로 읽히지 않았으면 좋겠습니다.
마지막 수정