본문 바로가기
스터디 열기

쓰는 AI와 검토하는 AI

기준표에 맞춰 안내문을 고쳤습니다. 작성한 AI도 “모두 확인했다”고 답했습니다. 이제 같은 자료를 다른 대화에 주고 대조해 보겠습니다. 두 AI의 의견이 같다는 사실보다, 각각 무엇을 근거로 통과시켰는지를 보는 것이 이번 절의 핵심입니다.

1. 작성할 때의 설명을 잠시 떼어 놓습니다

안내문을 만드는 대화에는 여러 사정이 쌓입니다. 처음에는 장소를 넣으려 했다가 미정으로 바꾸고, 제목을 줄인 이유를 길게 설명했을 수 있습니다. 이 대화에 계속 확인을 부탁하는 것과, 결과만 받아 새로 대조하게 하는 것은 서로 다른 검토 방식입니다.

독립 검토: 결과를 만든 과정과 분리해서 원문·기준·결과를 대조하는 일입니다. 같은 서비스의 새 대화에서도 시작할 수 있고, 다른 AI를 사용해도 됩니다. 작성자가 스스로 고치는 작업을 먼저 한 뒤에 붙이면, 같은 오류를 함께 놓치고 있지 않은지 살펴볼 기회가 됩니다.

새 검토 대화에는 “이미 완벽하게 고쳤다”는 평가를 가져가지 않습니다. 초안을 좋게 봐 달라는 말도 필요 없습니다. 지금 결과가 어떤 기준을 충족하는지, 충족하지 못한다면 어디가 근거인지 요청합니다. 검토를 부탁하면서 결론까지 미리 알려 주지 않는 것입니다.

2. 검토자에게 건넬 자료를 꾸립니다

새 대화에 주는 것은 현재 승인된 원문, 적용할 기준표, 확인할 결과물입니다. 각 자료의 이름과 판본, 이번 검토의 용도도 붙입니다. 내부 초안 검사인지 게시 전 최종 검사인지가 달라지면 같은 미정 표시에도 판정이 달라질 수 있습니다.

원문은 작성 AI가 만든 요약으로 대신하지 않는 편이 좋습니다. 요약에서 빠진 조건을 검토자도 못 보게 될 수 있기 때문입니다. 원문이 길다면 필요한 범위를 담당자가 정해 주고, 제외한 자료 때문에 확인할 수 없는 내용은 따로 보고하게 합니다.

다른 대화라고 해서 이전 정보의 영향이 모두 사라진다고 가정하지는 않습니다. 함께 쓰는 자료함이나 공통 지시가 적용될 수 있습니다. 이번 검토에서 근거로 쓸 자료를 명시하고, 검토자는 그 자료 밖의 기억이나 추측으로 빈칸을 채우지 않게 합니다.

처음부터 새 안내문을 써 달라고 하면 검토 결과가 수정문 속에 묻힐 수 있습니다. 먼저 문제 목록과 근거를 받고, 그다음 받아들인 항목을 작성 대화에 넘기세요. 무엇을 왜 바꿨는지 남습니다.

3. 위니브도 집필과 독립 검토를 나눕니다

위니브는 교재를 개정할 때 사실을 조사하고 장별로 원고를 쓴 뒤, 개정에 참여하지 않은 AI에게 독립 검토를 맡깁니다. 독립 검토에서는 매번 실제 오류를 1~8건씩 발견했습니다. 이 책도 같은 방식으로 만들었습니다.

이 숫자는 위니브가 교재를 개정하며 겪은 결과입니다. 다른 문서에서도 반드시 같은 수의 오류를 찾는다는 뜻은 아닙니다. 검토자의 성과를 오류 개수로 정하면 멀쩡한 문장까지 고치려 할 수 있습니다. 필요한 것은 오류를 많이 적는 보고가 아니라, 실제 문제와 그 근거를 보여 주는 보고입니다.

이 방식에서 사람이 모든 절을 다시 집필할 필요는 없습니다. 검토 보고에 나온 문제를 근거로 받아들일지 판단하고, 필요한 수정을 맡긴 뒤 화면에서 결과를 확인할 수 있습니다. 작성 능력과 검토 능력을 함께 활용하되 발행 여부를 정하는 책임은 남습니다.

4. 사람은 제안을 근거별로 받아들입니다

검토 보고에는 문제 위치, 기준 번호, 대응 원문, 조치가 있어야 합니다. ‘문장이 어색하다’는 제안과 ‘정원이 원문과 다르다’는 오류는 구분해서 받습니다. 아직 확인하지 못한 항목도 오류라고 확정하지 말고 따로 남깁니다.

보고에 나온 것사람이 볼 질문이어서 할 일
필수 기준 불일치원문이 실제로 다른가수정 후 해당 기준 재검토
원문 미확인자료가 빠졌는가, 결정이 남았는가자료 보완 또는 사용 보류
표현 개선 제안읽는 사람에게 도움이 되는가채택 여부 결정
기준 밖 문제이번 용도에 영향을 주는가기준 보완 여부 결정

검토 AI도 잘못된 지적을 할 수 있습니다. 예를 들어 노트북과 충전기가 모두 적힌 문장에서 노트북이 빠졌다고 보고했다면, 결과의 해당 문장을 근거로 재검토를 요청합니다. 검토자의 자신감이나 서비스 이름 대신 자료를 기준으로 판단합니다.

두 검토자가 다르게 말할 때도 다수결을 할 필요는 없습니다. 같은 원문과 같은 기준을 봤는지 먼저 확인하세요. 한쪽은 초안 기준을, 다른 쪽은 게시 기준을 적용했을 수 있습니다. 기준이 같은데도 판단이 갈리면 쟁점 문장과 근거를 나란히 받아 사람이 남은 질문을 결정합니다.

5. 수정한 결과를 새 결과로 확인합니다

받아들인 문제 목록을 작성 대화에 보내고, 각 문제를 어떻게 고쳤는지 함께 보고받습니다. 채택하지 않은 제안에는 이유를 남겨 두면 같은 제안이 반복될 때 설명하기 쉽습니다. ‘모든 지적 반영’ 한마디로 보고를 끝내지 않습니다.

수정 범위는 4장 1절의 방법으로 찾고, 수정 안내문에는 새 판본 이름을 붙입니다. 검토 보고에는 새 판본과 영향을 받는 기준을 적어 이전 결과의 통과 표시와 구분합니다.

마지막 보고에는 쓸 결과물, 검토한 자료의 이름, 남은 필수 오류와 확인 필요 항목을 담습니다. 미정 사항이 남은 내부 초안은 그 상태로 다음 담당자에게 넘길 수 있습니다. 주민에게 내보낼 때에는 게시 조건을 충족했는지 별도로 판단합니다.

6. 따라 해 보기

새 대화를 열어 아래 묶음을 붙여 넣으세요. 앞 절 결과가 있다면 같은 세 종류의 자료로 바꿔도 됩니다. 검토를 먼저 받은 뒤, 채택할 수정만 작성 대화로 돌려보내 봅니다.

너는 이 안내문 작성에 참여하지 않은 검토자야.
바닷마을 작은도서관 「처음 만나는 AI」의 아래 연습 자료만 대조해 줘.
먼저 새 안내문을 쓰지 말고 검토 보고를 줘.

[원문 A]
S1. 시작 오후 2시, 종료 오후 4시
S2. 날짜와 장소 미정
S3. 정원 12명
S4. 준비물 노트북과 충전기

[기준표 1, 내부 초안용]
K1. 시작·종료 시각과 정원이 각각 일치한다. 필수.
K2. 날짜와 장소가 미정임을 드러낸다. 필수.
K3. 준비물을 모두 적는다. 필수.
K4. 근거 없는 혜택을 쓰지 않는다. 필수.
K5. 제목을 더 읽기 쉽게 바꿀 수 있다면 제안한다. 개선.

[안내문 2]
처음 만나는 AI 주민 강좌
오후 2시부터 5시까지, 정원 12명으로 진행합니다.
날짜와 장소는 확정 뒤 안내합니다. 노트북과 충전기를 가져오세요.

원문·기준표·결과의 이름과 검토 용도를 먼저 적어 줘.
기준마다 판정과 원문·결과의 위치를 보여 줘.
필수 오류, 표현 제안, 확인 필요 항목을 구분하고 없는 문제는 만들지 마.
끝에는 담당자가 결정할 내용과 수정 후 다시 볼 범위를 짧게 써 줘.
실제 게시나 발송은 하지 마.

종료 시각을 문제로 잡고 정원과 준비물은 통과시켰는지 살펴보세요. 제목 제안은 취향을 판단할 별도 항목입니다. 검토 보고가 안내문 전체를 다시 썼다면 “수정문보다 먼저 기준별 근거와 문제 위치를 보고해 줘”라고 요청하면 됩니다.

이 요청문을 새 대화에 붙여 넣었더니 이런 보고가 왔습니다. 판정 표는 일곱 줄 가운데 네 줄만 옮깁니다.

직접 돌려 본 답 (일부)

결론: 필수 오류가 1건(종료 시각 불일치) 있어 현재 상태로는 기준표 1을 통과하지 못합니다. 나머지 필수 기준은 모두 충족합니다.

기준구분판정원문 위치결과 위치근거
K1 종료 시각필수불일치S1 "오후 4시"2행 "5시까지"1시간 차이가 납니다.
K1 정원필수일치S3 "12명"2행 "정원 12명"같습니다.
K3 준비물필수충족S4 "노트북과 충전기"3행 둘째 문장두 가지 모두 적혀 있습니다.
K5 제목 가독성개선제안 1건 (선택)해당 없음1행아래 표현 제안을 참고해 주세요.

(중략)

확인 필요 (2건)

  • "주민" 표현: 원문 A에는 참가 대상 정보가 없습니다. 1행의 "주민"이 대상 제한으로 읽혀도 되는지 확인이 필요합니다. 기준표 1에는 해당 기준이 없어 판정에서는 제외했습니다.

(이하 생략)

필수 오류는 종료 시각 한 건뿐이고 정원과 준비물은 통과했으며, 제목 제안은 선택으로 따로 표시됐습니다. 새 안내문은 쓰지 않았습니다. “주민”이라는 표현은 기준표에 없어서 오류로 판정하지 않고 확인 필요로 남겼습니다. 기준 밖의 문제를 오류로 단정하지 않고 사람에게 넘기는 모습이 4절에서 말한 보고입니다.

내 일로 바꿔 보기: 내 문서 하나를 원문·기준·결과로 묶어 새 대화에 주고, 검토 제안 하나를 근거에 따라 받아들이거나 보류해 보세요.

7. 이 장을 정리하며

  • 사실은 자료의 존재, 내용, 적용 조건으로 나누어 대조합니다.
  • 기준표에는 결과의 용도와 필수 조건을 담고 확인할 위치를 남깁니다.
  • 작성과 검토를 나누고, 사람은 근거가 있는 보고를 읽어 받아들일지 판단합니다.
  • 다음 장에서는 안내문 밖으로 눈을 넓혀 한 달 치 일에서 더 맡길 과업을 찾습니다.

마지막 수정