다음 조각을 이어 쓰는 방식
2장 1절의 짧은 요청에 돌아온 답에는 담당자가 알려 주지 않은 장소가 들어 있었습니다(책에 실은 답에서는 [1층 모임방]). 내 화면의 답이 장소를 비워 두었다면, 준비물이나 신청 방법처럼 알려 주지 않은 다른 값이 들어갔는지 보세요. 대괄호를 쳐 두었어도 그 값을 고른 것은 AI입니다. 도서관의 실제 사정을 어디선가 확인한 것일까요? 이번 절에서는 글을 만드는 AI의 기본 방식을 알아보고, 왜 계획 메모와 작성 기준이 필요했는지 돌아봅니다.
1. 다음에 이어질 내용을 만듭니다
언어 모델(Language model): 주어진 글의 관계와 맥락을 바탕으로 이어질 내용을 예측하는 AI 모델입니다. 대화형 AI가 글로 답할 때 이 능력을 사용합니다. 답을 작은 조각으로 이어 쓰고, 그때까지의 내용을 바탕으로 다음 조각을 만듭니다.
강좌 안내에 “준비물은”이라는 말이 있으면 뒤에 무엇인가 이어져야 합니다. 앞의 자료에 노트북과 충전기가 있다면 그 항목을 적을 수 있습니다. 자료가 없다면 흔한 강좌 안내에서 볼 법한 내용을 넣거나, 정보가 필요하다고 답할 수 있습니다. 입력에 어떤 설명이 있느냐가 답에 영향을 줍니다.

그림의 세 줄은 모두 직접 돌려 본 답입니다. 첫 줄은 2장 1절의 한 줄 요청입니다. 입력에 장소나 수강료, 준비물에 관한 말이 없었고, AI는 안내문에 있을 법한 값을 골라 채웠습니다. 둘째 줄과 셋째 줄은 5절에서 해 볼 연습으로, 시작 문장은 같고 입력만 다릅니다. 자료가 없다고 알려 주었더니 대상과 활동 내용이 확인되지 않았다고 적었고, 대상·활동·시간·준비물을 주었더니 그 자료를 이어 썼습니다. 이어 쓴 말의 범위를 정한 것은 입력에 든 자료와 조건입니다.
이 과정은 앞의 단어 하나만 보고 다음 단어를 고르는 일보다 넓습니다. 누가 읽는지, 어떤 형식인지, 어떤 조건을 지켜야 하는지도 함께 다룹니다. “처음 쓰는 성인 주민에게 쉽게 설명한다”는 지시와 “생활 메모를 정리한다”는 자료가 있으면 같은 강좌도 그 대상과 목적에 맞춰 설명할 수 있습니다.
2장의 짧은 요청에는 장소를 정할 근거가 없었습니다. 그런데 안내문 형식을 완성하는 과정에서 구체적인 장소가 붙을 수 있습니다. 그렇게 생긴 문장은 읽기에는 자연스러워도 이번 강좌를 확인한 결과는 아닙니다. 어떤 답에서 왜 그 표현을 골랐는지 내부 계산을 추측하기보다, 답에 사용할 자료가 있었는지를 보는 편이 실무에 도움이 됩니다.
요즘의 대화형 AI는 답을 내기 전에 조건을 먼저 따져 보는 과정(추론)을 거치기도 합니다. 그 과정도 글을 이어 쓰는 같은 방식으로 이루어지고, 그만큼 시간과 처리 분량이 더 듭니다. 추론은 7장 1절에서 다시 다룹니다.
2. 글을 처리하는 조각을 토큰이라고 합니다
토큰(Token): 모델이 글을 읽고 만들 때 사용하는 작은 처리 단위입니다. 한 단어일 수도 있고, 단어의 일부나 글자일 수도 있습니다. 우리가 문장을 띄어쓰기한 단위와 항상 같지는 않습니다.
“처음 만나는 AI”라는 짧은 이름도 처리할 때는 여러 조각으로 나뉠 수 있습니다. 어떤 조각이 되는지는 모델이 사용하는 방식에 따라 달라집니다. 글자 수와 토큰 수가 언제나 같다고 생각하지 않으면 됩니다. 이 책의 연습에서는 직접 토큰 수를 셀 필요가 없습니다.
그래도 토큰이라는 말을 알아 두면 좋은 이유가 있습니다. 모델이 한 번에 읽고 쓸 수 있는 분량이 토큰 단위로 정해져 있기 때문입니다. 긴 자료를 붙여 넣거나 대화가 길어질수록 그 분량이 차오르고, 서비스에 따라서는 사용 한도에도 더 빨리 닿습니다. 앞의 것이 다음 절에서 볼 맥락 창이고, 뒤의 것은 9장 2절의 사용량 기록으로 이어집니다.
내가 쓴 지시와 자료도 같은 처리 단위로 읽히고, 그것을 바탕으로 답이 만들어집니다. 이 때문에 지시를 자료 가까이에 분명하게 적는 것이 도움이 됩니다. “장소는 미정이다”라는 사실과 “자료에 없는 장소는 덧붙이지 말라”는 작성 기준을 함께 주면, 어떤 내용을 쓰고 어떤 빈칸을 유지해야 하는지 설명할 수 있습니다.
3. 학습한 내용과 이번에 준 자료는 역할이 다릅니다
학습: 많은 예를 이용해 모델 안의 수많은 숫자(계산 값)를 조정하고, 새로운 입력에 적용할 관계와 패턴을 얻는 과정입니다. 글의 구조와 표현, 여러 개념의 관계를 다루는 능력이 이 과정을 통해 형성됩니다. 이후 지시를 따르는 답을 만들도록 추가 훈련을 할 수도 있습니다.
도서관 안내문을 처음부터 쓸 수 있는 데에는 이런 학습의 역할이 있습니다. 안내문에 제목과 대상, 일정 같은 항목이 들어간다는 일반적인 형식을 활용할 수 있습니다. 그러나 이번에 담당자가 정하지 않은 장소는 일반적인 안내문을 잘 아는 것만으로 확정되지 않습니다.
계획 메모는 그 일반적인 능력을 이번 일에 맞춰 쓰도록 주는 자료입니다. 독자의 배경과 확정된 시간, 남겨야 할 미정 항목이 들어 있습니다. 표현을 만드는 능력에 이번 일의 사실과 규칙을 더하는 것입니다.
대화창에 계획 메모를 붙여 넣는 일을 모델을 새로 학습시키는 것과 같다고 생각하지는 마세요. 이번 요청에서 참고할 자료를 건네는 일입니다. 이 대화에 한 번 썼다고 모든 새 대화에서 같은 메모를 반드시 활용하는 것은 아닙니다. 어떤 정보가 다음 대화로 이어지는지는 다음 절에서 구분합니다.
학습한 내용은 사실을 확인할 원문 목록과도 다릅니다. 어떤 주제를 능숙하게 설명하더라도 문장마다 정확한 출처를 제시할 수 있다고 보장되지는 않습니다. 설명을 잘 만드는 능력과 이번 답의 근거를 제시하는 일은 함께 갖춰야 할 서로 다른 조건입니다.
4. 계산과 현재 정보에는 도구를 더합니다
강좌 소개를 쉬운 말로 바꾸는 일에는 제공한 메모가 주요 재료입니다. 참석 수를 합치거나 비율을 구하는 일이라면 계산 결과도 필요합니다. 숫자가 들어간 문장을 자연스럽게 썼다고 계산 도구로 값을 구했다는 뜻은 아닙니다.
계산 기능을 쓸 수 있는 서비스라면 원래 수치와 계산할 항목을 주고 도구를 사용하게 할 수 있습니다. 어떤 수를 더하거나 나누었는지 함께 받으면 결과를 다시 살펴보기 쉽습니다. 도구를 쓸 수 없다면 사용했다고 보고하게 하지 말고, 계산이 필요한 부분을 따로 남기도록 합니다.
바뀌는 정보도 자료를 새로 구해야 합니다. 실제 기관의 오늘 운영 시간을 묻는다면 공식 안내를 조회하는 검색 기능이 필요할 수 있습니다. 모델이 학습한 설명만으로 지금도 같은 시간인지 확인할 수는 없습니다.
반대로 바닷마을 작은도서관의 미정 장소는 검색으로 해결할 수 있는 문제가 아닙니다. 연습을 위해 만든 기관의 장소를 담당자가 아직 정하지 않았기 때문입니다. 현실의 다른 도서관을 찾아 그곳의 장소를 가져오면 이번 자료의 빈칸을 잘못 채우게 됩니다.
따라서 무엇이 부족한지 구분합니다. 이미 있는 원문이 필요한지, 계산이 필요한지, 바뀐 사실을 조회해야 하는지, 담당자의 결정이 필요한지를 봅니다. 이 구분이 있어야 AI에게 자료나 도구를 더 주는 요청도 목적에 맞게 할 수 있습니다.
5. 따라 해 보기
이번에는 안내문의 첫 문장을 서로 다른 조건으로 만들어 봅니다. 토큰을 직접 나누거나 내부 계산을 설명하게 하는 연습은 아닙니다. 주어진 자료가 이어 쓸 내용의 범위를 어떻게 바꾸는지 살펴보세요.
바닷마을 작은도서관의 「처음 만나는 AI」 안내문 첫 문장을 만드는 연습이야. 아래 두 조건을 각각 적용해서 한 문장씩 써 줘.
공통 시작: 바닷마을 작은도서관의 「처음 만나는 AI」는
조건 A: 강좌 이름 외에 대상과 활동에 관한 자료가 없다.
조건 B: 대상은 AI를 처음 써 보는 성인 주민이다. 웹 대화창에서 생활 메모를 정리한다. 시간은 오후 2시부터 4시까지이며 날짜와 장소는 미정이다. 준비물은 노트북과 충전기다. 확인되지 않은 정보는 보태지 않는다.
두 문장 뒤에 제공된 사실을 사용한 부분과 새로 고른 표현을 나눠 설명해 줘. 조건 A에서 확인할 수 없는 정보도 적어 줘. 날짜나 장소를 확정하지 말고, 실제 기관을 검색하지 마.
조건 A에서는 구체적인 활동이나 대상을 설명할 재료가 적습니다. 정보가 필요하다고 답해도 됩니다. 조건 B에서는 성인 주민과 생활 메모 정리라는 내용을 사용했는지 보세요. 답이 문장으로 완성되었다는 것과 이번 자료를 사용했다는 것이 어떻게 다른지 살펴봅니다.
직접 돌려 본 답 (일부)
조건 A
바닷마을 작은도서관의 「처음 만나는 AI」는 대상과 활동 내용이 확인되지 않은 강좌입니다.
조건 B
바닷마을 작은도서관의 「처음 만나는 AI」는 AI를 처음 써 보는 성인 주민이 오후 2시부터 4시까지 웹 대화창에서 생활 메모를 정리해 보는 강좌로, 준비물은 노트북과 충전기이며 날짜와 장소는 아직 정해지지 않았습니다.
(중략)
조건 A에서 확인할 수 없는 정보
- 대상(연령, 주민 여부, AI 사용 경험 수준)
- 활동 내용과 사용하는 도구
- 날짜, 시간, 장소
- 준비물
- 신청 방법, 정원, 참가비, 강사, 횟수
조건 A의 문장은 강좌 이름 말고는 아는 것이 없다는 사실만 적었습니다. 조건 B의 문장에는 성인 주민, 생활 메모 정리, 시간, 준비물이 들어갔고 날짜와 장소는 정해지지 않았다고 적혔습니다. 시작 문장이 같아도 입력에 든 설명이 이어 쓰는 내용을 바꾼 것입니다.
2장 1절에서는 같은 모델이 장소와 수강료까지 채웠습니다. 그때와 달리 이번 조건 A에는 자료가 없다는 사실이 적혀 있었고, 날짜나 장소를 확정하지 말라는 요청도 함께 있었습니다. 빈자리를 그대로 두게 하려면 비어 있다는 사실부터 입력에 적어야 합니다.
조건을 줘도 모든 답이 정확해지는 것은 아닙니다. 다만 어떤 자료를 사용해야 하는지 설명하고, 없는 사실이 어디인지 드러내는 출발점을 만들 수 있습니다. 잘못된 장소를 만들었다면 미정이라는 항목을 다시 알려 주고 그 사실을 유지해 쓰게 하세요.
내 일로 바꿔 보기: 내 결과물에 필요한 것이 표현을 만드는 능력인지, 원문·계산·현재 정보·담당자 결정인지 나눠 적어 보세요.
참고 자료
- Introduction to Large Language Models, Google, 2026-01-09 수정·2026-11-10 조회.
- LLMs: What's a large language model?, Google, 2026-01-02 수정·2026-11-10 조회.
- Usage limit best practices, Anthropic, 발행일 미표시·2026-11-10 조회.
마지막 수정