본문 바로가기
스터디 열기

AI 소식과 숫자를 읽는 법

바닷마을 작은도서관의 강좌 안내문과 홍보물을 만드는 방법이 조금씩 갖춰졌습니다. 그런데 새 AI가 나왔다는 기사를 읽으니 지금 쓰는 도구를 바꿔야 할지 고민됩니다. 순위표에서 앞선 모델이라면 도서관 일도 더 잘할까요? 이제는 직접 해 본 일을 기준으로 소식을 읽을 수 있습니다.

1. 제목을 읽고 시험의 이름을 찾습니다

AI 기사에서 “사람을 넘었다”는 말을 만나면 무엇을 했는지부터 찾아보세요. 과학 문제에 답하기, 문서에서 정보를 찾기, 화면을 보며 행동하기는 서로 다른 일입니다. 한 분야의 결과를 도서관 업무 전체의 성적으로 받아들이면 선택의 근거가 흐려집니다.

벤치마크: AI의 능력을 비교하기 위해 정한 문제 묶음과 평가 방법입니다. 같은 시험을 치렀다는 말에도 조건이 붙습니다. 시험 이름은 같지만 문제 묶음이나 채점 방식이 달라졌다면 지난 점수와 바로 이어 비교하기 어렵습니다.

사람 기준을 넘은 시험은 6개 중 2개이고, 나머지 4개는 5점 안쪽 아래에 있다.

위 그림은 『그래프로 보는 AI의 속도』의 그림 AIC-203입니다(해당 절). 줄마다 시험 하나이고, 가로축은 점수입니다. 빈 마름모는 그 시험의 논문·보고서에 적힌 사람 점수, 찬 점은 지금까지 나온 모델의 최고 점수입니다. 모델이 사람보다 오른쪽에 있는 시험은 GPQA Diamond와 ARC-AGI-2 둘뿐입니다. 오른쪽 글을 보면 '사람'도 시험마다 다릅니다. GPQA Diamond는 해당 분야 전문가, ARC-AGI-2는 일반인의 시도 성공률, SimpleBench는 일반인 9명입니다. 같은 “사람을 넘었다”는 제목이라도 어느 시험에서 어떤 사람과 견줬는지에 따라 뜻이 전혀 달라집니다.

새 소식을 읽는 목적도 구체적으로 잡아 보세요. “가장 좋은 AI를 알아야겠다”보다 “지금 쓰는 AI가 놓친 신청 조건을 새 모델은 찾아낼까?”라는 질문이 실제 선택으로 이어집니다. 기사는 다시 시험해 볼 후보를 찾는 데 쓰고, 맡길 일은 내 자료로 확인합니다.

2. 숫자 옆에 조건표를 만듭니다

기사의 원문 링크를 열고 발표문, 결과표, 평가 방법을 함께 봅니다. AI에게 이 자료를 읽고 조건을 표로 정리하게 해도 됩니다. 이때 빈칸을 채우도록 요구하지 말고, 원문에 없는 조건은 확인하지 못했다고 남기게 하세요.

읽을 항목원문에서 찾을 내용
무엇을 쟀는가시험 이름과 판본, 문제 묶음, 점수의 뜻
어떻게 풀었는가모델 버전, 검색·계산 등 도구, 실행 방식, 추론 설정(답하기 전에 얼마나 오래 따지게 할지 고르는 설정, 7장 1절)
기회를 얼마나 줬는가시도 횟수, 제한 시간, 여러 답을 골랐는지 여부
무엇이 들었는가한 문제 또는 전체 평가의 비용, 계산에 포함한 범위
누가 언제 쟀는가개발사의 발표인지 별도 기관의 검증인지, 평가·조회 날짜
누구와 비교했는가사람 집단의 구성과 같은 조건으로 비교했는지 여부

“최고 기록”을 보여 주는 표라면 여러 실행 중 가장 높았던 결과인지도 봅니다. 평균 결과와 최고 결과는 답하는 질문이 다릅니다. 다시 실행했을 때 같은 수준이 나오는지는 별도로 살필 항목입니다.

원문에 시도 횟수가 없으면 한 번 만에 얻은 결과라고 적지 않습니다. 비용이 공개돼 있어도 사용자가 내는 월 구독료로 옮겨 읽지 않습니다. 총 평가 비용, 한 문제의 비용, 대화 서비스의 이용료는 계산하는 대상이 다릅니다.

조건을 찾기 어렵다면 그 상태로 기록해도 됩니다. “도구 사용 여부 확인 필요”라는 메모는 다음에 확인할 곳을 알려 줍니다. 출처가 없는 설명을 덧붙여 빈칸을 없애면 오히려 비교하기 어려워집니다.

3. ARC-AGI-3의 두 결과를 함께 읽어 봅니다

ARC-AGI-3는 낯선 게임 환경에서 행동하며 규칙과 목표를 알아내는 능력을 살피는 시험입니다. 이 시험을 운영하는 ARC Prize가 공개한 GPT-6 Astra 상세 결과에는 같은 모델의 점수가 실행 조건별로 나뉘어 있습니다. 점수를 잰 평가 묶음은 Semi-Private로, 문제를 공개하지 않고 ARC Prize가 모델을 직접 시험할 때 쓰는 문제 묶음입니다. 아래는 2026년 11월 10일 확인한 내용입니다.

실행 방식: 모델을 시험 환경에 연결해 돌리는 방법입니다. ARC Prize는 영어로 harness라고 부릅니다. 모델은 게임 하나를 푸는 동안 요청을 여러 번 주고받는데, 앞 요청에서 알아낸 것을 다음 요청으로 어떻게 넘기느냐가 실행 방식마다 다릅니다. 이 결과에는 두 가지가 나옵니다. Standard는 어느 회사의 모델에든 같게 쓰는 기본 방식으로, 모델이 스스로 남기기로 한 메모만 다음 요청으로 가져갑니다. 3장 2절의 인계 메모와 닮았습니다. Provider Adapter는 모델을 만든 회사가 마련한 기능을 씁니다. 모델이 따져 본 내용(추론 상태라고 하며, 바깥에서는 볼 수 없습니다)을 요청 사이에 그대로 이어 가고, 대화가 길어지면 압축해 앞서 한 작업을 다시 쓸 수 있게 합니다.

비교할 조건StandardProvider Adapter
평가 묶음ARC-AGI-3 Semi-PrivateARC-AGI-3 Semi-Private
각 실행 방식의 최고 관측 점수(그때의 추론 설정)62.7%(Max)99.9%(High)
같은 Max 설정에서의 점수62.7%98.6%
같은 High 설정에서의 점수54.8%99.9%
최고 점수를 낸 결과의 총 평가 비용26,098달러18,817달러

‘최고 관측 점수’ 줄만 보면 62.7%와 99.9%를 견주게 됩니다. 그런데 이 두 값은 추론 설정이 서로 다른 결과(Max와 High)입니다. 그래서 그 아래 두 줄에 설정을 같게 맞춘 점수를 놓았습니다. Max끼리는 62.7%와 98.6%, High끼리는 54.8%와 99.9%로, 설정을 맞춰도 차이는 그대로 남습니다. 추론 설정이 달라서 생긴 차이가 아니라는 뜻입니다. 다만 두 방식은 이어 가는 것이 여러 가지로 다르므로, 그중 무엇이 차이를 만들었는지까지는 이 표로 알 수 없습니다.

같은 추론 설정에서 비교해도 GPT-6 Astra의 ARC-AGI-3 점수는 Provider Adapter가 96.7~99.9%, Standard가 17.5~62.7%로 크게 다르다.

그림은 ARC Prize 결과 페이지의 점수표를 추론 설정마다 옮긴 것입니다. 파란 막대(Standard)와 주황 막대(Provider Adapter)가 짝으로 서 있고, 한 짝의 두 막대는 설정이 같습니다. 주황 막대는 설정을 어디에 두어도 96.7%에서 99.9% 사이에 있지만, 파란 막대는 17.5%에서 62.7%까지 설정에 따라 움직입니다. 파란 막대는 설정이 높을수록 오르는 경향이 있어도 한 칸씩 늘 오르지는 않습니다. 가장 낮은 None이 35.2%로 그다음 칸인 Low의 17.5%보다 높습니다. 검은 테두리는 각 방식의 최고 점수로, 표의 ‘최고 관측 점수’ 줄에 적힌 62.7%와 99.9%입니다.

같은 모델이 같은 시험을 치러도 어떻게 실행했느냐에 따라 점수가 이만큼 달라질 수 있습니다. 숫자를 읽을 때 모델 이름만 보지 말고 실행 방식과 설정을 함께 읽어야 하는 이유입니다. ARC Prize도 두 방식은 서로 다른 질문에 답한다고 밝힙니다. Standard는 어느 회사의 모델이든 같은 조건에 놓았을 때 서로 어떻게 견줘지는지를 묻고, Provider Adapter는 만든 회사가 마련한 기능까지 쓰게 했을 때 그 모델이 얼마나 해내는지를 묻습니다. 어느 쪽이 낫다는 순위로 읽지 말고 점수마다 붙은 조건을 같이 적어 두세요.

99.9%라는 숫자는 해당 시험 묶음과 실행 조건에서 나온 결과입니다. 도서관 안내문을 정확하게 쓸 확률로 바꿔 읽을 수는 없습니다. ARC Prize는 이 시험에서 100%를 모든 게임을 사람만큼 효율적으로 깬 경우라고 설명합니다. 게임을 푸는 행동의 효율까지 재는 점수라서, 안내문의 날짜를 원문대로 옮겼는지를 재는 점수와는 뜻이 다릅니다.

또한 여기서 확인한 것은 공개된 상세 결과입니다. 모든 서비스에서 같은 실행 방식을 쓸 수 있는지, 내 계정의 대화창이 그 설정으로 작동하는지는 별도 질문입니다. 발표에 등장한 모델 이름과 지금 내가 사용할 수 있는 기능을 연결해서 살펴야 합니다.

이 사례를 한 문장으로 메모한다면 “GPT-6 Astra는 ARC-AGI-3 Semi-Private 평가에서 Provider Adapter·High 조건으로 최고 관측 점수 99.9%를 기록했다”가 됩니다. 같은 High 설정의 Standard 점수 54.8%까지 옆에 적어 두면, 이 숫자가 실행 방식에 따라 달라진다는 점도 함께 남습니다.

4. 신입 채용 자료에서는 무엇을 읽을까요

AI 소식에는 성능 발표 외에 일자리의 변화를 다룬 보도도 있습니다. MBC 「PD수첩」의 2026년 10월 20일 방송 「AI 딜레마」 2부 ‘신입사원 실종사건’은 데이터 분석 연구팀 언더스코어와 함께 채용공고를 분석했습니다. MBC의 공식 보도자료는 2019년 7월부터 2025년 1월까지 약 43만 4천 개 기업의 공고 1,041만여 건을 분석했다고 설명합니다. 발표한 해와 분석한 기간을 구분해서 읽으세요.

아래는 그 자료에서 개발자 공고에 관해 소개한 수치입니다. 전체 취업자의 변화나 앞으로의 전망을 나타내는 표는 아닙니다.

살펴본 것자료에 제시된 변화읽을 때 구분할 것
신입이 지원할 수 있는 공고의 비중챗GPT 등장 이후 2년 사이 37.1%에서 26.8%로 하락공고 중 신입 지원 가능 비중이며, 실제 신입 채용 인원은 아님
공고의 평균 요구 경력2022년 3.71년에서 2024년 4.82년으로 상승기업이 공고에 적은 조건이며, 실제 입사자의 경력은 아님

37.1%에서 26.8%가 되면 차이는 10.3%포인트(%p)입니다. 이를 ‘채용 인원이 10.3% 줄었다’고 바꾸면 단위와 측정 대상이 모두 달라집니다. 신입 지원 가능 공고의 건수가 줄어드는 것과 전체 공고에서 차지하는 비중이 줄어드는 것도 구분합니다. 전체 공고 수가 달라지면 두 지표의 움직임도 달라질 수 있습니다.

37.1%에서 26.8%는 10.3% 감소가 아니라 10.3%포인트 하락이다.

왼쪽 막대의 세로축은 소프트웨어 개발자 공고 가운데 신입이 지원할 수 있는 공고의 비중(%)입니다. 37.1%에서 26.8%로 내려간 차이 10.3은 퍼센트끼리 뺀 값이라 단위가 %p입니다. 같은 변화를 처음 비중에 대한 비율로 계산하면 10.3 ÷ 37.1, 약 28% 줄어든 셈이 됩니다. 어느 쪽으로 쓰든 줄어든 것은 ‘공고의 비중’이지 채용된 사람 수가 아닙니다.

오른쪽 선은 같은 보도자료가 소개한 개발자 공고의 평균 요구 경력입니다. 표의 2022년·2024년 값에 더해, 보도자료는 2025년 1월 5.18년(회색 점선)까지 늘었다고 적었습니다. 이 역시 공고에 적힌 조건입니다.

보도자료는 생성형 AI 노출도가 높은 직무에서 요구 경력의 증가가 더 컸다는 분석도 소개합니다. AI 노출도는 직무의 과업이 AI의 영향을 받을 가능성을 살피는 지표입니다. 그 일을 하는 사람의 AI 실력이나 실제 해고 확률을 뜻하지 않습니다. 요구 경력이 늘었다고 그만큼의 연차를 개인 프로젝트로 대신할 수 있다는 뜻도 아닙니다.

여기까지는 자료에 무엇이 적혀 있는지 읽었습니다. 다음은 설명의 범위를 살필 차례입니다. 자료가 챗GPT 등장 시점을 기준으로 전후를 나누어 보여 주어도 그 차이 전부가 AI 때문에 생겼다고 단정할 수는 없습니다. 금리·경기·산업별 채용 조정과 같은 요인을 어떻게 다뤘는지, 어떤 집단을 비교했는지 확인해야 합니다. 보도자료는 같은 기업이 같은 달에 낸 공고끼리 비교한 분석도 소개합니다. 다만 이 절은 보도자료를 읽은 것이며, 연구 원문과 원자료를 다시 분석하지는 않았습니다. 자료가 보여 주는 추세, 추가 분석의 설명, 원인에 대한 주장을 나눠 읽습니다.

이 사례에서 이 책이 이어 갈 질문은 ‘초보자가 경험을 쌓을 기회도 줄어드는가’입니다. 초안 작성이나 자료 정리는 결과물을 만드는 일인 동시에 업무를 배우는 기회일 수 있습니다. 이 과업을 AI에게 맡길 때 어떤 연습과 피드백을 남길지 생각해야 합니다. 고용 변화의 크기를 모든 직업에 일반화하거나 취업난을 개인의 활용 능력 탓으로 돌리지 않으면서도, 배움의 기회가 어떻게 바뀌는지 물을 수 있습니다. 9장 3절에서 도서관 업무로 이 질문을 이어 가겠습니다.

5. 도서관의 작은 시험으로 돌아옵니다

도서관에 필요한 시험 재료는 이미 있습니다. 확정되지 않은 장소가 든 강좌 메모, 준비물이 빠진 안내문, 개인정보를 덜어 낸 신청 명단을 활용할 수 있습니다. 4장에서 만든 통과 기준표도 가져옵니다.

새 도구와 지금 도구에 같은 자료와 같은 지시를 주세요. 검색을 쓰는지, 파일로 주는지처럼 결과를 바꿀 조건도 기록합니다. 한쪽에만 긴 설명을 더했다면 모델만의 차이를 비교한 것은 아닙니다. 실제로 그 기능까지 포함한 서비스가 편한지 보려는 시험이라면 그 목적을 적으면 됩니다.

답 하나가 마음에 든 것으로 끝내지 말고 같은 조건에서 다시 맡겨 보세요. 시도 횟수는 비교 전에 정해 두고, 잘된 답과 실패한 답을 모두 남깁니다. 날짜 누락이 반복되는지, 추가로 설명해야 하는 부분이 무엇인지 볼 수 있습니다. 이 작은 기록은 도구를 고르는 다음 절에서 쓰게 됩니다.

검토는 4장 3절의 방식으로 별도 대화에 맡길 수 있습니다. 결과와 검토 보고를 받은 뒤, 바꿀 가치가 있는지 사람이 정합니다. 새로운 발표를 읽을 때마다 업무 전체를 바꾸기보다, 지금 막히는 항목을 시험할 이유가 생겼는지 살펴보세요.

최고 기록은 대개 두 달 안에 다음 모델에 깨진다.

위 그림은 『그래프로 보는 AI의 속도』의 그림 AIC-306입니다(해당 절). 막대 하나가 여러 시험을 묶은 능력 지수(ECI)의 최고 기록 하나이고, 막대 길이는 다음 모델에 깨지기까지 걸린 기간입니다. 2023년의 GPT-4가 10.4개월을 지킨 뒤로는 3.4개월을 넘긴 기록이 없고, 중앙값은 두 달이 안 됩니다. ‘가장 좋은 AI’는 두 달이면 바뀔 수 있다는 뜻입니다. 1위 소식이 나올 때마다 도구를 옮기면 매번 처음부터 다시 익혀야 합니다. 내 일에서 막히는 항목을 정해 두고, 새 소식이 그 항목을 다시 시험할 이유가 될 때만 비교해 보는 편이 실용적입니다.

6. 따라 해 보기

먼저 숫자가 빠진 소식 메모에서 확인할 질문을 뽑아 봅니다. 아래는 이 연습을 위한 메모이며, 실제 발표의 요약이 아닙니다.

바닷마을 작은도서관은 매달 주민 강좌 「처음 만나는 AI」를 준비해.
아래 연습용 소식 메모를 읽고 도구를 바꾸기 전에 확인할 내용을 정리해 줘.
외부 검색은 하지 말고, 메모에 없는 사실은 '확인 필요'로 남겨 줘.

[소식 메모]
새 AI가 어떤 시험에서 사람보다 높은 점수를 받았다고 한다.
시험 이름, 문제 묶음, 비교한 사람 집단은 적혀 있지 않다.
도구 사용, 시도 횟수, 시간과 비용, 평가 기관과 날짜도 알 수 없다.
도서관에서는 안내문 작성에 이 AI를 쓸지 검토 중이다.

[도서관에서 확인할 일]
자료에 없는 날짜와 장소를 만들지 않는다.
강좌명과 확정된 준비물을 빠뜨리지 않는다.
부족한 정보는 따로 보고한다.

[두 도구에 똑같이 줄 강좌 자료]
주최: 바닷마을 작은도서관
강좌명: 처음 만나는 AI
대상과 활동: AI를 처음 써 보는 성인 주민이 웹 대화창에서 생활 메모를 정리한다.
시간: 오후 2시부터 4시까지
준비물: 노트북과 충전기
날짜·장소: 미정
신청 방법, 참가비, 주차 안내: 아직 확인하지 못함

메모에서 알 수 있는 것과 확인할 것을 표로 나눠 줘.
원문을 받으면 어느 조건부터 찾아야 할지 설명해 줘.
이어서 위 강좌 자료로 두 도구에 줄 같은 시험 지시를 만들어 줘.
자료의 사실과 미정 상태를 유지하고, 검토표는 기준·판정(통과·불통과·확인 필요)·원문 위치·결과 위치·조치 열로 정해 줘.
실제로 도구를 실행했다고 쓰거나 우승 도구를 골라 주지는 마.

이 요청문을 보냈더니 메모에 없는 조건이 모두 ‘확인 필요’로 남은 표가 먼저 왔고, 이어서 원문을 받았을 때 찾을 순서, 두 도구에 똑같이 줄 시험 지시, 검토표가 붙어 왔습니다. 앞의 표는 그대로, 검토표는 아홉 줄 가운데 두 줄만 옮깁니다.

직접 돌려 본 답 (일부)

1. 메모에서 알 수 있는 것과 확인할 것

항목메모에서 알 수 있는 것확인할 것
성과 주장새 AI가 어떤 시험에서 사람보다 높은 점수를 받았다고 함 (전해 들은 표현)실제 점수와 점수 차이: 확인 필요
시험 이름적혀 있지 않음어떤 시험인지: 확인 필요
문제 묶음적혀 있지 않음어떤 종류의 문제인지, 글쓰기와 관련이 있는지: 확인 필요
비교한 사람 집단적혀 있지 않음누구와 비교했는지(전문가인지 일반인인지, 인원수): 확인 필요
도구 사용알 수 없음검색 등 보조 도구를 썼는지: 확인 필요
시도 횟수알 수 없음한 번에 낸 결과인지, 여러 번 중 좋은 결과인지: 확인 필요
시간과 비용알 수 없음사람과 같은 조건이었는지: 확인 필요
평가 기관과 날짜알 수 없음누가 언제 평가했는지: 확인 필요
도서관 상황안내문 작성에 이 AI를 쓸지 검토 중그 시험 점수가 안내문 작성 품질과 관련이 있는지: 확인 필요

지금 메모만으로는 도구를 바꿀 근거가 부족합니다.

(중략)

4. 검토표

도구마다 한 장씩 씁니다. 판정과 결과 위치는 실행한 뒤 사람이 직접 채우는 칸이라 비워 두었습니다.

기준판정 (통과·불통과·확인 필요)원문 위치결과 위치조치
날짜와 장소를 만들지 않고 미정으로 두었다"날짜·장소" 줄지어낸 날짜나 장소가 있으면 불통과로 적고 문구를 기록
자료에 없는 사실을 덧붙이지 않았다강좌 자료 전체덧붙인 내용이 있으면 불통과, 자료에 있는지 애매하면 확인 필요로 두고 담당자가 대조

표의 ‘적혀 있지 않음’과 ‘알 수 없음’ 칸을 보세요. 메모에 없는 조건을 짐작해 채우지 않고 확인할 것으로 돌려놓았는지가 이 연습의 첫 확인 지점입니다. 검토표의 판정 칸은 4장 2절에서 정한 세 값 가운데 하나로 채웁니다. 받은 답은 이 칸을 사람이 직접 채운다고 했지만, 두 도구의 결과를 이 표와 대조하는 일도 5절에서 말한 대로 별도 대화에 맡길 수 있습니다. 사람은 그 보고를 읽고 도구를 바꿀지 정합니다.

이런 답이 오면 잘된 것: 기사에 없는 조건이 확인 필요로 남고, 두 도구에 같은 입력을 줄 시험안이 나옵니다.

이렇게 오면 이렇게 다시 말하기: 이름이나 비용을 추측했다면 “그 정보는 메모에 없습니다. 추측한 내용을 지우고 원문에서 확인할 질문으로 바꿔 주세요”라고 합니다.

내 일로 바꿔 보기: 1장에서 골랐던 자기 일에서 아직 잘되지 않는 항목 하나를 찾아, 새 소식이 그 항목을 다시 시험할 이유가 되는지 적어 보세요.

고용 소식으로 한 번 더: 위 채용공고 표를 보고, 자료에 직접 적힌 관찰 한 문장과 그 자료만으로 단정할 수 없는 주장 한 문장을 직접 써 보세요. 앞 문장에는 기간·측정 대상·단위를 넣고, 뒤 문장에는 무엇을 더 확인해야 하는지 붙입니다. ‘개발자 신입 지원 가능 공고 비중이 하락했다’와 ‘AI 때문에 모든 신입의 일자리가 사라진다’는 주장 사이에 어떤 근거가 더 필요한지 살펴보는 연습입니다.

참고 자료

마지막 수정