6장에서 우리는 보안 실무자가 부딪히는 기존 법(개인정보보호법, 정보통신망법)과 모의해킹의 법적 경계를 봤습니다. 7장은 자리를 옮깁니다. AI를 도구로 쓰는 보안 실무자가 새로 마주하는 법과 윤리, 그 첫 번째 회차의 주제는 한국 AI 기본법입니다.

1. AI 기본법 제정 배경

정식 명칭은 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」, 줄여서 AI 기본법입니다. 2024년 12월 26일 국회 본회의를 통과해 2025년 1월 21일 공포되었고, 2026년 1월 22일부터 시행되고 있습니다. 우리가 이 책을 쓰는 2026년 5월은 시행된 지 4개월이 지난 시점입니다.

• 링크: AI 기본법 전문

1.1 왜 만들어졌나

법 제정 직전인 2023~2024년의 환경은 다음과 같았습니다.

이런 흐름 속에서 한국은 EU처럼 강한 규제도, 미국처럼 자율 규제 중심도 아닌 중간 모델을 채택했습니다. AI 기본법의 핵심 메시지는 "고위험 영역은 규제하되, 그 외에는 진흥"입니다.

1.2 EU AI Act와의 비교

AI 기본법을 이해하려면 EU AI Act와 비교해 보는 것이 빠릅니다.

EU AI Act가 "위험을 막는 데 무게"를 둔다면, 한국 AI 기본법은 "신뢰 기반 조성으로 진흥"에 무게를 둡니다. 법 이름에 "기본법"이 들어가는 데서 알 수 있듯, 세부 규제보다 원칙과 거버넌스를 정하는 데 집중합니다.

참고 자료: South Korea's AI Basic Act puts another AI governance regulation on the map (IAPP) · South Korea's New AI Framework Act: A Balancing Act Between Innovation and Regulation (Future of Privacy Forum)

2. AI 기본법의 전체 구조

7개 장, 약 40개 조항으로 구성됩니다. 보안 실무에서 자주 보는 자리만 추려 봅니다.

굵게 표시된 조항이 보안 업무에서 가장 자주 부딪히는 자리입니다. 이번 회차에서 이 조항들을 풀어 봅니다.

3. 제2조: 핵심 정의

법 제2조는 핵심 용어 7개를 정의합니다. 가장 중요한 네 가지를 봅니다.

3.1 인공지능(AI)

법 제2조 1호의 정의를 평이하게 풀면 다음과 같습니다.

인공지능: 학습, 추론, 지각, 판단, 언어이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것

이 정의는 매우 넓습니다. 머신러닝뿐 아니라 규칙 기반 시스템, 통계 모델까지 포함될 수 있는 정의입니다. 법은 이 넓은 정의를 바탕으로 그 위에서 위험도 따라 차등 규제하는 구조를 택했습니다.

3.2 고위험 영역 인공지능

가장 중요한 정의입니다. 제2조 4호는 고위험 영역 AI를 다음과 같은 영역에서 활용되는 AI로 정의합니다.

마지막 세 항목이 보안 업무와 직접 연결됩니다. 생체정보 판별 AI, 범죄 예측 AI, 사기 탐지(FDS) 같은 자동 의사결정 AI가 모두 고위험 영역 AI에 해당할 수 있습니다.

3.3 생성형 인공지능

제2조 6호는 생성형 AI를 다음과 같이 정의합니다.

생성형 인공지능: 입력한 데이터의 구조와 특성을 모방하여 글, 소리, 그림, 영상, 그 밖의 다양한 결과물을 생성하는 인공지능

ChatGPT, Claude, Gemini, Midjourney 같은 도구가 모두 여기에 해당합니다. 이 정의가 중요한 이유는, 다음에 보는 표시 의무(제31조)의 적용 대상이 바로 이 "생성형 AI 결과물"이기 때문입니다.

3.4 인공지능사업자

제2조 7호는 사업자를 세 부류로 나눕니다.

법은 이 세 부류에 각기 다른 의무를 부과합니다. 우리는 동시에 여러 부류에 해당할 수 있습니다. 예컨대 보안 도구 개발자가 자체 AI 모델을 만들어 서비스에 넣고, 또 다른 LLM을 활용해 자기 업무를 보조한다면 세 부류 모두에 해당합니다.

4. 제3조: AI 기본 원칙

법 제3조는 6개의 기본 원칙을 제시합니다.

이 6개 원칙은 9장에서 다룰 AI 윤리 원칙(공정성·투명성·책임성·프라이버시)과 거의 일치합니다. 한국 AI 기본법이 글로벌 윤리 원칙을 법적 의무로 끌어올린 자리라고 보면 됩니다.

5. 제27조: 고위험 영역 AI 사업자의 의무

이 조항이 AI 기본법에서 가장 무거운 의무 조항입니다. 고위험 영역 AI를 개발·이용하는 사업자는 다음을 해야 합니다.

법이 명시적으로 요구하는 항목입니다.

5.1 보안 도구 개발자에게의 영향

만약 회사가 AI 기반 사기 탐지 시스템을 만든다면, 이는 거의 확실히 고위험 영역 AI에 해당합니다. 그러면 다음을 모두 갖춰야 합니다.

이 의무들이 EU AI Act의 고위험 AI 의무와 거의 일치합니다. 글로벌 서비스를 운영한다면 두 법의 의무를 동시에 만족시키는 설계를 해야 합니다.

6. 제31조: 생성형 AI 표시 의무

이 조항이 일상 업무에 가장 자주 등장합니다. 생성형 AI가 만든 결과물에는 그 사실을 표시해야 합니다.

생성형 인공지능을 이용하여 제품 또는 서비스를 제공하는 인공지능사업자는 해당 결과물이 생성형 인공지능에 의하여 생성되었다는 사실을 이용자가 명확하게 인식할 수 있도록 표시하여야 한다.

6.1 표시 대상

특히 딥페이크처럼 실제와 구별이 어려운 콘텐츠는 더 강한 표시 의무가 부과됩니다. 사용자가 평범하게 봐도 AI 생성물임을 알 수 있어야 합니다.

6.2 보안 업무에서의 적용

보안 분야에서 이 조항이 적용되는 자리는 다음과 같습니다.

모의해킹 보고서를 AI로 작성한 경우, 표시 의무 자체는 모호하지만 6장에서 본 직업 윤리상 명시하는 것이 표준입니다. AI 도입 사실을 숨기면 책임이 본인에게 모두 오기 때문입니다.

7. 제33조: 영향력이 큰 AI

법 제2조 5호와 제33조는 영향력 있는 인공지능(Foundation Model 또는 그에 준하는 대규모 모델)을 별도로 규정합니다. 학습에 일정 규모 이상의 연산을 사용한 모델이 대상이 되며, 시행령에서 구체적 기준이 정해집니다.

영향력이 큰 AI를 개발한 사업자는 추가로 다음을 해야 합니다.

이 조항이 OpenAI·Anthropic·구글 같은 글로벌 LLM 사업자에게 그대로 적용되는 자리입니다. 한국 시장에서 이들의 모델을 쓰는 우리는 이용사업자·사용자의 위치에서 그 책임의 일부를 받습니다.

8. 사업자 분류별 의무

법은 개발-이용-사용의 세 단계에 각기 다른 의무를 부과합니다.

보안 도구를 만드는 회사는 보통 이용사업자의 위치입니다. 자체 모델이 있다면 개발사업자까지 겸합니다. 보안 실무자 본인은 사용자입니다.

9. 제43조: 위반 시 제재

EU AI Act가 매출의 7%까지 과징금을 부과하는 데 비해, 한국 AI 기본법의 제재는 상대적으로 약합니다.

다만 이 처벌이 약하다는 이유로 가볍게 볼 수는 없습니다. 위반 사실 자체가 민사 분쟁의 근거가 되고, 개인정보보호법·정보통신망법 위반과 함께 적용되면 처벌이 누적됩니다. 또한 시정명령 미이행이 반복되면 사실상 영업이 어려워지는 행정 효과가 발생합니다.

10. 보안 분야 AI의 AI 기본법 적용 사례

이론을 한 바퀴 돌았으니, 실제 보안 도구에서 어떻게 적용되는지를 봅니다.

10.1 사례 1: AI 기반 사기 탐지(FDS)

상황: 은행이 거래 데이터를 학습한 AI로 사기 거래를 자동 차단한다.

이 사례는 PIPA 제37조의2(자동화된 결정에 관한 권리)와도 결합됩니다. 사용자는 AI 판단에 대해 거부·재검토를 요구할 수 있습니다.

10.2 사례 2: AI 기반 침입탐지(IDS)

상황: SOC가 AI 모델로 비정상 트래픽을 탐지하고 1차 분석.

자동화 정도가 핵심입니다. 사람이 검토하는 1차 분석 도구는 통상 고위험 미해당, 사람 개입 없이 차단까지 자동화된 시스템은 고위험 해당으로 갈립니다.

10.3 사례 3: AI 기반 모의해킹 보조 도구

상황: 외부 위탁 모의해킹 회사가 자체 LLM 기반 도구로 PoC 코드 자동 생성.

이 사례에서 두 법이 동시에 작동합니다. AI 기본법은 표시·안전성을 요구하고, 망법은 PoC의 사용 범위를 규율합니다. AI가 만들었다고 망법 책임이 가벼워지지는 않습니다.

10.4 사례 4: AI 기반 위협 인텔리전스

상황: 다크웹·OSINT를 LLM이 요약해 위협 인텔리전스 보고서 생성.

여기서 가장 자주 발생하는 사고는 LLM 환각입니다. AI가 "X 회사가 침해 데이터 거래 중"이라는 허위를 만들어 보고서에 들어가면, 그대로 출고됐을 때 명예훼손이 됩니다. 사람의 검증 단계가 보고서 출고 전에 반드시 들어가야 합니다.

10.5 사례 5: AI 챗봇 형태의 보안 상담

상황: 회사가 보안 정책 안내용 챗봇을 사내에 배포.

제31조의 표시 의무는 "이용자가 명확하게 인식할 수 있도록"입니다. 작은 글씨로 한 번 적어두는 것으로는 부족하고, 대화의 맥락에서 사용자가 자연스럽게 인식할 수 있는 형태여야 합니다.

다음 회차는 AI 윤리 원칙과 책임 있는 AI 활용입니다. 법으로 정해진 의무를 넘어, 글로벌 윤리 표준(OECD·UNESCO·IEEE·EU AI HLEG)이 어떤 원칙을 정하고 있는지, 보안 도구에서 그 원칙들이 어떻게 작동해야 하는지를 다룹니다.