본문 바로가기
스터디 열기

그럴듯한 문장과 맞는 사실

날짜와 장소를 미정으로 남기는 지시를 넣었더니 이번에는 “무료 주차가 가능하니 편하게 오세요”라는 문장이 붙었다고 해 보겠습니다. 주민에게 친절해 보이지만 계획 메모에는 없는 정보입니다. 자료와 기준을 주어도 근거 없는 문장이 생길 수 있습니다. 그 가능성을 줄이려면 답이 매끄러운지와 근거가 있는지를 구분해야 합니다.

1. 문장을 만들었다고 사실을 확인한 것은 아닙니다

환각(Hallucination): AI가 사실과 다르거나 주어진 자료로 뒷받침되지 않는 내용을 그럴듯하게 만들어 내는 현상입니다. 없는 자료의 제목을 쓰기도 하고, 실제 원문에 없는 조건을 덧붙이기도 합니다. 답의 일부만 틀리면 자연스러운 문장 사이에 섞여 지나가기 쉽습니다.

도서관 안내문의 오류도 이런 모습입니다. 장소가 미정이라고 해 놓고 다른 문장에서는 “도서관으로 바로 오시면 됩니다”라고 쓸 수 있습니다. 날짜를 만들지 않았더라도 방문할 장소가 정해진 듯한 안내를 덧붙이면 이번 자료와 맞지 않습니다.

3장 1절에서 본 것처럼 언어 모델은 주어진 내용과 관계를 바탕으로 답을 만듭니다. 자료가 없거나 모호할 때 빈칸을 그럴듯한 내용으로 채울 수 있고, 자료가 있어도 조건을 잘못 연결하거나 빠뜨릴 수 있습니다.

이것을 단순히 오래된 지식의 문제로만 보면 놓치는 것이 생깁니다. 이번 달 계획 메모를 방금 주었어도 “참가비 미확인”을 “무료”로 바꾸면 잘못된 답입니다. 현재 자료를 갖고 있다는 것과 그 자료에 맞는 문장을 만들었다는 것은 구분해야 합니다.

답의 자신 있는 말투도 근거가 되지는 않습니다. “무료입니다”라는 표현을 “아마 무료일 것입니다”로 바꾸어도 참가비를 확인한 것은 아닙니다. 이 과제에서 필요한 답은 참가비를 확인하지 못했다는 현재 상태입니다.

2. 원문과 빈칸의 처리 방법을 함께 줍니다

첫 방법은 기준이 될 원문을 주는 것입니다. 우리 강좌의 내용을 만들 때에는 일반적인 강좌 상식보다 이번 계획 메모가 필요합니다. 이번 자료만 사실로 쓰고, 없는 항목은 확인할 것으로 남기도록 지시합니다.

모르는 정보가 나왔을 때 어떤 표현을 쓸지도 정해 보세요. 날짜와 장소는 “미정”, 참가비와 주차 안내는 “아직 확인하지 못함”으로 표시할 수 있습니다. 확정된 사실, 제안할 수 있는 표현, 미확인 항목이 구별되면 담당자가 결정할 부분도 보입니다.

질문에 깔린 잘못된 가정도 바로잡을 수 있게 합니다. 예를 들어 “무료 주차 위치를 안내해 줘”라고 물어도 자료에는 주차 가능 여부 자체가 없습니다. 이런 경우 질문의 표현을 따라 답을 완성하기보다, 주차 정보가 확인되지 않았다고 말하도록 합니다.

제목이나 소개 표현을 새로 만드는 일은 계속 맡길 수 있습니다. 다만 새로운 표현이 새로운 약속으로 바뀌지 않게 합니다. “생활 메모를 정리해 보는 시간”은 계획의 내용을 풀어 쓴 표현이지만, “수료증을 드리는 무료 강좌”는 자료에 없는 조건을 더한 것입니다.

빈칸을 보존한다고 안내문 전체가 쓸모없어지는 것은 아닙니다. 이미 결정된 대상과 배울 내용, 시간과 준비물을 정리하고 미확인 항목을 모을 수 있습니다. 필요한 결정이 드러나면 다음에 담당자가 무엇을 준비해야 하는지도 분명해집니다.

3. 출처를 요구하되 확인할 자료로 받습니다

외부 사실을 설명하게 할 때는 근거 자료의 주소와 확인 위치를 함께 요청할 수 있습니다. 그러나 출처처럼 보이는 제목이나 주소도 AI가 만든 답의 일부입니다. 링크가 붙었다는 이유만으로 해당 주장이 입증되었다고 받아들이지 않습니다.

지금처럼 원문을 직접 준 과제에서는 메모 번호와 근거 문장을 받으면 됩니다. 준비물을 노트북과 충전기로 썼다면 M5가 근거가 됩니다. 자료에 없는 주차 안내에는 근거 번호를 억지로 붙이지 말고 정보가 없다고 표시하게 합니다.

외부 자료라면 실제로 읽은 원문인지와 읽지 못한 자료인지를 구분해 달라고 요청하세요. 원문을 열 수 없다면 제목만 보고 읽은 것처럼 보고하지 않도록 합니다. 자료를 제공해 달라고 하거나 확인하지 못한 상태를 남겨야 합니다.

출처를 모으는 일과 그 출처가 주장을 뒷받침하는지 확인하는 일은 이어서 해야 합니다. 여기서는 확인할 근거를 함께 받는 습관부터 시작합니다. 존재하는 자료인지, 내용과 적용 조건이 맞는지 대조하는 방법은 4장 1절에서 다룹니다. 그 대조도 AI에게 맡길 수 있습니다.

4. 새로 확인한 내용은 원문에 반영합니다

바뀌는 외부 사실을 조회할지, 담당자의 결정을 기다릴지는 3장 1절에서 나눈 기준을 적용합니다. 확인을 맡길 때에는 답에 쓸 원문과 확인한 날짜를 함께 보고받으세요. 읽지 못한 자료는 읽지 못했다고 남겨야 합니다.

새로 알게 된 내용은 계획 메모에도 반영합니다. 예를 들어 담당자가 장소를 확정했다면 M4를 고친 새 메모를 다음 요청의 기준으로 줍니다. 대화 속의 짧은 답만으로 상태를 바꾸기보다, 어떤 근거로 어느 항목을 바꿨는지 남기는 것입니다.

확인한 사실, 원문을 열지 못한 항목, 담당자의 결정이 남은 항목을 구분해 보고받으면 다음 행동을 고를 수 있습니다. AI가 만든 설명으로 빈칸을 채우는 대신, 새 근거가 생긴 항목만 현재 자료로 옮겨 주세요.

5. 따라 해 보기

이번에는 도서관 담당자가 미확인 내용을 포함해 질문해 봅니다. 질문이 답을 특정 방향으로 유도하더라도 계획 메모에 없는 정보는 남겨 두는지 살펴보세요.

아래 계획 메모만 사용해서 질문에 답해 줘. 질문에 깔린 가정도 자료와 맞지 않으면 바로잡아 줘. 자료에 없는 것은 '아직 확인하지 못함'이라고 하고, 미정이라고 적힌 것은 미정으로 유지해 줘. 이 도서관은 연습용 설정이므로 외부 검색은 하지 마.

[이번 달 강좌 계획 메모]
M1. 바닷마을 작은도서관이 매달 여는 주민 강좌의 이름은 「처음 만나는 AI」다.
M2. 대상은 AI를 처음 써 보는 성인 주민이다. 웹 대화창에서 생활 메모를 정리한다.
M3. 진행 시간은 오후 2시부터 4시까지다. 날짜는 미정이다.
M4. 장소는 미정이다.
M5. 준비물은 노트북과 충전기다.
M6. 참가비, 주차 안내, 신청 방법은 아직 확인하지 못했다.

[담당자가 묻는 질문]
강좌에는 무엇을 가져오면 되나요?
도서관 1층 모임방으로 가면 되나요?
무료 주차는 어디에 하면 되나요?
참가비는 무료인가요?
당일 현장에서 바로 신청하면 되나요?

질문별로 답과 근거가 되는 메모 번호를 적어 줘. 근거가 없으면 없는 상태를 표시해 줘. 답을 만든 뒤 근거 없이 덧붙인 정보가 있는지 대조하고 고쳐 줘. 마지막에는 확인된 내용만 이용해 주민에게 보여 줄 안내 문장 하나를 써 줘.

준비물에는 노트북과 충전기가 들어가야 합니다. 장소는 미정이며 주차·참가비·신청 방법은 아직 확인하지 못한 상태입니다. 마지막 안내 문장에 무료나 현장 신청 같은 약속이 다시 들어가지는 않았는지도 보세요.

직접 돌려 본 답 (일부)
  1. 도서관 1층 모임방으로 가면 되나요?
    • 답: 장소는 미정입니다. '1층 모임방'은 메모에 없는 내용이라 그렇게 안내할 수 없습니다.
    • 근거: M4 (미정)
  2. 무료 주차는 어디에 하면 되나요?
    • 답: 주차 안내는 아직 확인하지 못했습니다. 주차 위치뿐 아니라 무료 주차가 가능한지도 확인되지 않았습니다.
    • 근거: 없음 (M6에 미확인으로 기록)

(중략)

  • 고친 부분: 안내 문장 초안에서 '도서관에서 열립니다'와 '추후 안내드립니다'를 뺐습니다. 앞의 것은 장소를, 뒤의 것은 안내 계획을 근거 없이 단정하는 표현입니다.

주민 안내 문장

바닷마을 작은도서관의 주민 강좌 「처음 만나는 AI」는 AI를 처음 써 보는 성인 주민을 대상으로 오후 2시부터 4시까지 웹 대화창에서 생활 메모를 정리해 보는 시간이며, 준비물은 노트북과 충전기입니다.

3번 답은 질문에 깔린 “무료 주차”를 인정하지도 부정하지도 않고 “아직 확인하지 못했습니다”로 답했고, 근거 칸에는 없음을 적었습니다. 고친 부분은 답을 만든 뒤의 대조가 한 일입니다. 안내 문장 초안에 슬며시 들어갔던 “도서관에서 열립니다”를 장소를 단정한 말로 걸러 냈습니다. 1절에서 본 “도서관으로 바로 오시면 됩니다”와 같은 종류의 문장입니다. 요청문의 “근거 없이 덧붙인 정보가 있는지 대조하고 고쳐 줘”가 이렇게 쓰입니다.

잘못된 답이 있다면 “M6에서는 확인하지 못했다고 했어. 가능하다는 표현을 지우고 현재 상태로 고쳐 줘”라고 요청합니다. 자료를 표로 답할 때는 잘 지켰는데 문장으로 바꾸면서 조건을 덧붙였다면, 문장 작성에도 같은 자료 범위를 적용하도록 설명합니다.

처음부터 잘 답했다면 2장에서 만든 안내문을 함께 놓고 보세요. 사실을 알려 주는 문장과 독자의 관심을 끄는 표현을 구분할 수 있는지 살펴봅니다. 표현을 바꾸는 과정에서도 날짜·장소·비용 같은 사실의 상태는 유지되어야 합니다.

내 일로 바꿔 보기: 내 결과물에서 자료로 확인한 내용과 아직 모르는 내용을 나누고, 근거가 없을 때 어떻게 표시할지 지시에 넣어 보세요.

6. 이 장을 정리하며

  • 언어 모델은 주어진 맥락을 바탕으로 다음 조각을 이어 답을 만듭니다.
  • 현재 자료와 유효한 결정은 메모로 정리해 다음 대화에도 전달할 수 있습니다.
  • 근거 없는 답을 줄이려면 원문과 빈칸 처리 기준을 주고 필요한 사실을 새로 조회합니다.
  • 다음 장에서는 안내문과 근거를 기준표로 대조하고 검토 결과를 받아 보겠습니다.

참고 자료

마지막 수정