본문 바로가기
스터디 열기

이 책을 읽는 법

이 책은 그래프가 본문입니다. 절마다 그래프나 표가 먼저 나오고, 글은 그 그래프를 읽는 법과 결론 몇 줄입니다. 바쁘시면 그래프와 굵은 글씨만 읽으셔도 됩니다. 그리고 RTX 5080이나 RTX 5090과 비교하는 글을 올리지 않았습니다. 이미 RTX 5070에서 결론이 났기 때문입니다.

맥미니나 맥스튜디오, AI 전문 PC인 미니 PC들도 직접 재지는 않았습니다. 그 이유는 '토큰 속도'와 '동시 처리'에 있습니다. 대신 이 장비들은 공개 벤치마크로 조사해 8장 '시중 장비로 보면'에 따로 모았습니다.

맥미니와 맥스튜디오의 강점은 큰 메모리입니다. 그래픽카드에 들어가지 않는 큰 모델도 일단 올릴 수는 있습니다. 하지만 올라가는 것과 쓸 만한 속도로 도는 것은 다른 문제입니다. 특히 긴 문서나 코드를 넣으면 모델이 첫 글자를 내놓기 전에 입력을 읽는 시간이 길어지는데, 이 구간에서 엔비디아 그래픽카드와의 격차가 크게 벌어집니다(M4까지의 맥 이야기이고, M5부터는 많이 좁혀졌습니다. 8장). 질문 한 줄로 시험해 볼 때는 잘 드러나지 않다가, 실제 업무처럼 자료를 붙여 넣는 순간 체감 속도가 달라집니다.

AI 전문 미니 PC도 사정이 비슷합니다. 혼자 쓰는 데는 충분하지만, 여러 사람이 동시에 요청을 보내면 밀립니다. 그래픽카드는 여러 요청을 한꺼번에 묶어 처리하는 데 강하기 때문에, 사용자가 늘어나도 한 사람당 속도가 덜 떨어집니다. 이 책이 다루는 상황은 혼자 쓰는 상황이 아니라 팀이나 교실이 함께 쓰는 환경입니다. 그래서 비교 기준을 '모델이 올라가느냐'가 아니라 '여럿이 동시에 써도 기다리지 않느냐'에 두었고, 그 기준에서는 처음부터 같은 선에 세울 수 없는 기기들이었습니다.

2026년 11월 4일 저는 이 책의 결론과 사례를 다섯 번에 나눠 말로 풀었고, 글은 AI가 썼습니다. 측정도 AI가 제 PC에서 도구를 깔고 스크립트를 돌려 했고, 책의 숫자는 그 측정 기록에서만 옮겼습니다. 무엇을 남기고 무엇을 뺄지는 제가 정했고, 공개한 뒤에도 직접 읽으며 고쳤습니다.

실험 전에 조사한 공개 벤치마크

실험 환경을 말씀드리기 전에, 시중에 나와 있는 장비를 Claude가 공개 벤치마크로 조사해 정리한 도표를 먼저 보여 드립니다. 이 그래프만은 제가 직접 잰 숫자가 아닙니다.

동시 사용자가 늘면 한 사람 속도가 떨어진다(조사)

가로축은 한 사람이 받는 초당 토큰, 세로축은 같은 순간에 함께 쓰는 사람 수입니다. 파란 세로선은 Claude API입니다. 사람이 늘어도 한 사람이 받는 속도가 그대로라 곧게 섭니다. 회색(맥)과 주황(그래픽카드) 선은 사람이 늘수록 왼쪽으로 눕습니다.

  • 2명이 함께 쓰면 한 사람 속도가 혼자 쓸 때의 4분의 3쯤으로, 3명이면 60% 남짓으로, 10명이면 3분의 1 안팎으로 떨어집니다.
  • 맥은 혼자 쓸 때부터 M5 Max를 빼면 모두 Claude 세 모델보다 느립니다.
  • RTX 5060과 5070은 2명만 붙어도 Claude 세 모델 모두보다 느려집니다. 가장 빠른 RTX 5090도 3명이면 초당 290토큰이 180토큰으로 내려갑니다.

그리고 이 그래프는 로컬에 넉넉하게 그려졌습니다.

  • 로컬 숫자는 Llama 2 7B 4비트라는 작은 모델로 잰 값입니다. 정답률을 조금이라도 Haiku 쪽으로 올리려고 27B급 모델을 올리면 파일이 4배쯤 커져 속도도 그만큼 느려지고, RTX 5060·5070·5080에는 다 들어가지도 않습니다(3장).
  • 2명 이상은 최신 llama.cpp에서 생성 속도만 잰 비율로 추정했습니다. 질문을 읽는 시간과 차례를 기다리는 시간이 빠졌습니다. 실제 서버로 잰 공개 자료(맥 스튜디오의 Ollama, RTX 5090 노트북의 llama.cpp 서버)에서는 8명일 때 한 사람 속도가 혼자일 때의 0.15~0.23배까지 떨어졌습니다.
  • 제가 7장에서 RTX 5070으로 직접 잰 값(Qwen3.5 4B)도 10명이 한꺼번에 물으면 한 사람이 받는 속도가 초당 35토큰 정도였습니다. 이 그래프의 RTX 5070 10명 값과 비슷합니다.

혼자 쓸 때 빠른 장비도 2~3명만 붙으면 한 사람 속도가 크게 깎입니다. 클라우드는 사람이 늘어도 그대로입니다. 비교 기준을 '여럿이 동시에 써도 기다리지 않느냐'에 둔 이유입니다.

실험 환경

이 책의 실측 숫자는 모두 2026년 11월 출판을 위해 제 업무용 PC 한 대에서 측정한 것입니다. 특별히 실험용으로 꾸민 장비가 아니라, 평소처럼 브라우저와 메신저, VS Code가 켜져 있는 PC입니다.

항목값
그래픽카드NVIDIA GeForce RTX 5070 12GB (드라이버 616.92)
CPU·메모리Intel Core i9-14900K, 시스템 메모리 48GB
운영체제Windows 11 Pro, vLLM만 WSL2 Ubuntu 24.04
로컬 모델Qwen3.5 4B·9B, Qwen3.8 27B (비트별 GGUF 파일. GGUF는 llama.cpp 계열 도구가 쓰는 모델 파일 형식)
클라우드 모델Claude Haiku 5.5·Sonnet 5.5·Opus 5.5, 추론 강도 low~max
도구LM Studio 0.4.27, Ollama 0.40.14, llama.cpp b12086, vLLM 0.33.0

무엇으로 쟀나

  • 품질: 위니브가 실제로 가벼운 모델에 맡기는 일로 평가 문항 46개를 만들었습니다. 맞춤법 12, 문의 분류 10, 정보 추출 5, 요약 4, 문장 다듬기 4, 짧은 코드 5, 계산·추론 6문항입니다. 어려운 일로는 위니브 알고리즘 문제 15개(난이도 2~5)를 숨은 테스트까지 모두 통과해야 맞은 것으로 셌습니다. 채점은 대부분 자동이고, 다듬기 4문항만 Claude Opus 5.5가 채점 기준표로 채점했습니다.
  • 속도: 첫 글자가 나올 때까지 걸린 시간, 초당 생성 토큰, 프롬프트 처리 속도. 같은 조건으로 3~5번 재서 평균했습니다.
  • 원가: 클라우드는 공식 표준가에 실제로 쓴 토큰을 곱하고, 2026년 11월 4일 환율 1,341.5원으로 바꿨습니다. 로컬은 1초마다 기록한 그래픽카드 전력에 전기 요금(kWh당 214.6원)을 곱하고, 그래픽카드 값 100만 원을 3년 동안 하루 8시간 쓴다고 보고 나눠 더했습니다.
  • 외부 가격: 책에 나온 Claude·Kimi 요금, 환율, 전기 요금은 2026년 11월 6일에 다시 확인했습니다. Claude 요금과 전기 요금은 그대로였고, 환율은 1,356.6원으로 1.1% 올랐습니다. 클라우드 원가가 그만큼 높아지지만 결론은 같아서, 표의 원가는 측정한 날(11월 4일) 환율로 두었습니다.

숫자를 읽을 때 조심할 점

  • 도구와 모델은 몇 주마다 바뀝니다. 그래프마다 측정 날짜와 버전을 적었습니다. 부록의 측정 방법대로 하시면 여러분의 PC에서 다시 잴 수 있습니다.
  • 로컬 원가는 그래픽카드 전기만 셌습니다. CPU와 나머지 부품의 전기는 빠졌으니, 실제 로컬 원가는 이보다 높습니다. 그리고 사람의 시간(인건비)도 빠졌습니다. 실제로는 인건비가 가장 큽니다(6장 '로컬 원가').
  • 평가 문항은 위니브의 업무입니다. 여러분 회사의 일과는 다를 수 있습니다. 그래서 맺으며에 새 모델이 나왔을 때 한 시간 안에 직접 재 보는 점검표를 실었습니다.

마지막 수정