본문 바로가기

자료 신뢰도 검증

지난 세 강의를 거치면서 노트북 안에는 자료가 30개 안팎으로 쌓였습니다. 양은 충분합니다. 그런데 이 자료들 사이에는 통계청 보고서와 누가 쓴지 모를 블로그 글, 보도자료 원문과 광고성 기사가 한 칸에 섞여 있습니다. 노트북은 이 둘을 똑같이 "소스"라는 한 단어로 부릅니다. 이 차이를 사람이 손으로 갈라주지 않으면, 사업계획서 한 줄을 인용 번호와 함께 깔끔히 적어놓고도 그 뒤에 깔린 출처가 누군가의 일기였다는 사실을 본인이 모른 채로 제출하는 사고가 납니다.

1. 왜 출처를 솎아내야 하나

사업계획서나 IR 자료를 만들 때, 모든 의사결정의 출발점은 "이 숫자가 어디서 왔는가"입니다. 창업자가 시장을 읽고 전략을 세우는 과정에서 자료의 신뢰성은 판단의 질을 결정합니다. 같은 시장 규모 5천억 원이라는 주장이라도, 통계청 보고서에서 가져온 숫자와 블로그 글에서 가져온 숫자는 그 위에 쌓을 수 있는 논리의 무게가 다릅니다. 신뢰할 수 없는 자료 위에 세운 전략은 시장에서 실행하는 순간 흔들립니다. 출처가 부실하면 그 한 줄이 아니라 사업계획서 전체의 논리 구조가 한 번에 무너집니다.

NotebookLM의 강점은 "자료에 근거해서 답을 만든다"는 것이지만, 이 강점은 양날의 칼입니다. NotebookLM은 자료의 진위를 판단하지 않습니다. 위키피디아 한 문단도, 통계청 PDF도, 광고성 블로그도 똑같이 "소스"로 취급해서 똑같이 인용합니다. 자료의 신뢰도를 판단하는 일은 처음부터 끝까지 사람의 일이고, 이 강의는 그 일을 가장 빠르게 처리하는 절차를 다룹니다.

2. 자료를 세 등급으로 나눈다

복잡한 평가 기준을 만들 필요는 없습니다. 모든 소스를 세 등급으로만 분류하면 됩니다.

등급정의예시
A1차 출처 또는 공인된 기관통계청·KOSIS, 정부 부처 보고서, 상장사 분기보고서, 학술 논문, 회사 공식 홈페이지의 가격·채용·보도자료
B2차 가공이지만 책임 주체가 분명일간지·전문지 기사, 산업 리포트, 컨설팅 펌의 무료 리포트, 검증된 업계 매체
C출처가 흐리거나 가공도가 너무 높음익명 블로그, 위키피디아, 광고성 기사("협찬"·"AD" 표기), 출처가 적히지 않은 인포그래픽, 개인 SNS

A는 사업계획서·IR Deck에 그대로 인용해도 됩니다. B는 인용하되 가능하면 같은 사실을 A 자료로 한 번 더 받쳐줍니다. C는 인용하지 않습니다. 단, C가 쓸모없다는 뜻은 아닙니다. C는 "이 시장에 어떤 이야기가 떠돌고 있는가"라는 분위기를 보는 데는 유용합니다. 이런 자료는 노트북에서 삭제하기보다 메모해 두고, 다만 어떤 결정의 근거로는 쓰지 않는다는 원칙만 지키면 됩니다.

3. 인용 추적으로 출처를 한 번에 확인하기

NotebookLM의 모든 답변에는 문장 끝마다 작은 인용 번호가 붙습니다. 이 번호 하나가 신뢰도 검증의 출발점입니다. 번호를 클릭하면 그 문장이 어느 소스의 어느 단락에서 나왔는지 오른쪽 패널에 펼쳐집니다. 이 동작 하나만 익숙해져도 검증 시간이 절반으로 줄어듭니다.

습관으로 만들 동작은 단순합니다. 답변에 등장하는 모든 숫자와 모든 인용 번호를 한 번씩 클릭해본다. 숫자가 들어간 문장은 거의 다 사업계획서로 옮겨갈 후보이기 때문에, 이 한 번의 클릭이 나중의 사고를 막아줍니다. 익숙해지면 한 답변당 30초 안에 끝납니다.

4. 솎아내기 30분 루틴

자료가 30개 쌓인 시점에 한 번, 그리고 이후로는 노트북에 새 자료가 10개 추가될 때마다 한 번씩 다음 30분 루틴을 돌립니다.

4.1. 등급 묻기 (10분)

이 노트북에 들어 있는 모든 소스를 다음 세 등급으로 분류해줘. A: 1차 출처 또는 공인 기관(통계청, 정부 보고서, 상장사 보고서, 회사 공식 홈페이지). B: 2차 가공이지만 책임 주체가 분명한 매체(일간지, 전문지, 검증된 산업 매체). C: 익명 블로그, 위키피디아, 광고성 기사, 출처가 흐린 인포그래픽. 등급 옆에 소스 제목과 등급을 매긴 이유를 한 줄씩 적어줘.

NotebookLM은 자기가 가진 모든 소스를 훑어서 표로 돌려줍니다. 완벽하지는 않지만, 사람이 처음부터 분류하는 것보다 훨씬 빠릅니다.

4.2. C 등급 검수 (10분)

NotebookLM이 C로 분류한 소스만 한 번씩 직접 클릭해서 봅니다. 진짜 C인지, 아니면 NotebookLM이 잘못 본 B인지 사람이 최종 판단합니다. 광고성 기사는 페이지 어딘가에 "협찬", "AD", "PR"이라는 표기가 작게 들어 있는 경우가 많으니 그 표기를 먼저 찾습니다. 진짜 C로 확정된 소스는 둘 중 하나로 처리합니다.

  • 삭제: 노트북 안에서 다른 답변에 섞여 들어가지 않게 한다
  • 별도 노트북으로 이동: "분위기 참고용" 노트북을 따로 만들어 보관

4.3. A 등급 보강 (10분)

마지막 10분은 A 등급을 한 개라도 더 늘리는 데 씁니다. NotebookLM에 다시 묻습니다.

위 분류에서 A 등급이 부족한 주제를 알려줘. 그리고 그 주제에 대해 한국 통계청·정부 부처·상장사 분기보고서 중 어디를 찾아보면 좋을지 구체적인 출처 이름을 알려줘.

이 답을 손에 들고 딥리서치를 한 번 더 돌리거나, 통계청 KOSIS에 직접 들어가서 자료를 받아와 노트북에 추가합니다. A 한 개가 늘어나면 사업계획서 한 줄의 무게가 달라집니다.

Gemini를 통해 조사를 해보아도 좋습니다. 도구 중에 Deep Research를 선택하고 분석을 해봅니다. Gemini가 좀 더 많은 옵션으로 자료를 찾으니 NotebookLM과 비교해보면서 사용해보시는 것을 권합니다.

'한국 이러닝 시장 규모'를 알 수 있는 기관 보고서가 있는지 찾아줘.

이 자료를 기반으로 웹 페이지, 인포그래픽을 만들어보세요. 가장 신뢰할만한 링크도 여기 첨부합니다.

5. NotebookLM의 자료 검증

NotebookLM에 환각 증상이 전혀 없는 것이 아닙니다. 따라서 민감한 숫자 단위나 연도 등은 꼭 다시 한 번 원문에서 확인하는 습관이 필요합니다. 검증 과정에서 NotebookLM이 곧잘 흔들리는 두 자리는 미리 알고 있는 편이 안전합니다.

  • 숫자의 단위와 연도: "5천억 원"을 "5조 원"으로, "2022년 자료"를 "2024년 자료"로 옮겨 적는 사고가 종종 납니다. 숫자가 들어간 문장은 인용 원문에서 단위와 연도까지 한 번 더 확인합니다.
  • 추정과 사실의 혼동: 보고서가 "2030년에 X조 원에 이를 것으로 전망된다"고 적은 문장을 NotebookLM은 그냥 "X조 원이다"라고 옮기는 경우가 있습니다. 전망·추정·예측이라는 단어가 빠지면 사실이 됩니다. 미래 시점 숫자는 항상 원문의 시제를 확인합니다.