본문 바로가기
메모리가 비싼 시대의 AI, 로컬로 돌릴까 클라우드를 쓸까 표지
유료

메모리가 비싼 시대의 AI, 로컬로 돌릴까 클라우드를 쓸까

주식회사 위니브 · 사도출판

12장 41절 · 최근 수정 2026.11.10

로컬 LLM을 내 컴퓨터에서 돌리면 돈이 덜 들까요? 이 책은 RTX 5070 12GB 한 장이 꽂힌 위니브 대표의 PC에서 Qwen 4B·9B·27B를 비트별로 줄여 가며 속도와 품질을 직접 재고, 같은 문제를 Claude Haiku·Sonnet·Opus의 추론 강도 다섯 단계로 풀어 토큰당 원가를 나란히 놓았습니다. LM Studio·Ollama·llama.cpp·vLLM 네 도구를 같은 파일로 비교하고, 강의실 100명이 한꺼번에 물을 때 무슨 일이 일어나는지도 쟀습니다. 줄글 대신 그래프 20여 장으로, 내 GPU에 무엇을 몇 비트로 올릴지와 언제 클라우드를 쓸지 판단하는 기준을 보여 줍니다.

목차

  1. 1장 위니브의 결론

  2. 2장 8월, 27B는 왜 느렸나

    • 2.1 LM Studio로 받아 바로 돌려 보기 구매 후 읽기
    • 2.2 같은 파일로 그날을 다시 재기 구매 후 읽기
    • 2.3 12GB를 넘으면 생기는 일 구매 후 읽기
  3. 3장 메모리 계산

    • 3.1 파라미터 × 비트 = 파일 크기 구매 후 읽기
    • 3.2 대화 기록도 메모리를 먹는다: 문맥 길이와 KV 캐시 구매 후 읽기
    • 3.3 내 GPU에 몇 비트로 올릴까 구매 후 읽기
  4. 4장 무엇으로 돌릴까, 네 도구

    • 4.1 네 도구 한눈에 구매 후 읽기
    • 4.2 '그냥 실행하는 게 더 빠르다'는 말의 진실 구매 후 읽기
    • 4.3 무엇을 고를까 구매 후 읽기
  5. 5장 비트를 줄이면

    • 5.1 빨라진다, 그래픽카드에 다 들어가는 한 구매 후 읽기
    • 5.2 품질은 2비트 직전까지 버틴다, 차이는 모델 크기 구매 후 읽기
    • 5.3 27B: 12GB 안과 밖 구매 후 읽기
    • 5.4 생각을 켜면 구매 후 읽기
  6. 6장 추론 강도와 원가

    • 6.1 low에서 max까지 구매 후 읽기
    • 6.2 강도를 올리면 토큰과 기다림이 는다 구매 후 읽기
    • 6.3 문항 1,000개 원가 구매 후 읽기
    • 6.4 로컬 원가: 전기와 그래픽카드 값 구매 후 읽기
    • 6.5 그래서 무엇을 쓸까 구매 후 읽기
  7. 7장 강의실 100명

    • 7.1 혼자 쓸 때와 여럿이 쓸 때 구매 후 읽기
    • 7.2 네 도구의 줄 서기 구매 후 읽기
    • 7.3 교육 회사의 결론 구매 후 읽기
  8. 8장 시중 장비로 보면(조사)

    • 8.1 장비별 생성 속도 구매 후 읽기
    • 8.2 긴 자료를 붙여 넣으면 구매 후 읽기
    • 8.3 큰 모델은 어디에 올라가나 구매 후 읽기
    • 8.4 여럿이 쓰면 구매 후 읽기
    • 8.5 장비 값으로 따지면 구매 후 읽기
    • 8.6 중고 V100도 선택지가 될까 구매 후 읽기
  9. 9장 오픈 모델은 어디쯤

    • 9.1 오픈소스 최고 점수 모델 구매 후 읽기
    • 9.2 내 PC에 올라가는가 구매 후 읽기
  10. 10장 시간이 가면 값은 어떻게 되나

    • 10.1 데이터센터의 지능 값은 내려간다 구매 후 읽기
    • 10.2 지능은 오르고, 공개 모델도 따라온다 구매 후 읽기
    • 10.3 로컬 장비, 얼마여야 합당한가 구매 후 읽기
    • 10.4 쓸 만한 AI PC의 문턱: 300만 원, 초당 100토큰, Haiku 5.5 구매 후 읽기
  11. 11장 맺으며

    • 11.1 새 모델이 나오면, 한 시간 점검표 구매 후 읽기
    • 11.2 대표의 말 구매 후 읽기
  12. 12장 부록

    • 12.1 A. 실험 환경과 버전 구매 후 읽기
    • 12.2 B. 측정 방법과 스크립트 구매 후 읽기
    • 12.3 C. 평가 문항 예시와 용어 구매 후 읽기