법은 "여기서부터는 처벌한다"는 최저선입니다. AI 윤리는 그 위에서 "여기까지는 가지 말자"의 합의입니다. 이번 회차의 주제는 그 합의가 어떤 모양인지, 그리고 보안 도구에서 그 원칙이 어떻게 작동해야 하는지입니다.

1. AI 윤리의 국제 기준

AI 윤리 원칙은 여러 기관이 발표했지만, 핵심은 거의 같습니다. 자주 인용되는 다섯 개의 표준만 봅니다.

이 다섯 표준을 가로질러 보면 5개의 공통 기둥이 보입니다.

이 다섯 기둥이 우리가 이번 회차에서 풀어볼 핵심 개념들입니다.

2. OECD AI 원칙 (2019, 2024 개정)

OECD 원칙은 가장 자주 인용되고, 한국 AI 기본법의 6개 원칙과도 가장 가까운 모습입니다. 5개 원칙입니다.

2024년 개정에서는 생성형 AI와 기반 모델(Foundation Model)이 명시적으로 추가되었습니다. 이는 한국 AI 기본법 제33조의 "영향력이 큰 AI"와 직접 대응됩니다.

3. EU AI HLEG의 7개 요건

EU AI 고위전문가그룹(High-Level Expert Group on AI)이 2019년 발표한 「신뢰가능한 AI 가이드라인」은 가장 구체적인 항목으로 구성됩니다.

이 7개 요건이 EU AI Act의 의무 조항으로 그대로 들어갔습니다. 윤리에서 시작해 법으로 정착하는 흐름의 모범 사례입니다.

4. 다섯 기둥 깊이 보기

다섯 기둥을 보안 도구에서 어떻게 구현하는지 하나씩 살펴봅니다.

4.1 공정성 (Fairness)

공정성은 AI가 특정 집단을 부당하게 차별하지 않는 것입니다. "모든 사용자에게 같은 출력을 내는 것"이 아니라, 사회적으로 수용 가능한 차이만 두는 것이 공정성입니다.

차별이 일어나는 자리

보안 도구에서의 공정성 위험

공정성 점검 절차

1. 보호 속성 정의 (성별, 연령, 지역, 언어 등)
2. 각 보호 속성 그룹별 모델 성능 측정 (정확도, 정밀도, 재현율)
3. 그룹 간 성능 격차 측정 (Disparate Impact, Equal Opportunity Difference)
4. 격차가 임계값 초과 시 데이터 보강 또는 모델 조정
5. 운영 후 정기적 재측정 (분기 단위 권장)

5. 투명성 (Transparency)

투명성은 AI 시스템이 무엇을 하고 있는지 외부에서 이해할 수 있는 정도입니다. 세 단계로 나눠 봅니다.

5.1 투명성의 세 층위

이 셋은 깊이가 다릅니다. AI 기본법 제31조의 표시 의무는 1번 층위, 제27조의 설명 가능성은 3번 층위에 해당합니다.

5.2 설명 가능 AI (Explainable AI, XAI)

설명 가능성은 모델 종류에 따라 난이도가 다릅니다.

보안 도구에서 LLM을 쓴다면, 그 자체로 설명 가능성이 약합니다. 이를 보완하기 위해 별도 분류기 + LLM 조합을 쓰는 패턴이 자주 사용됩니다. 분류기가 "이 거래가 사기일 확률 X%"를 계산하고, LLM은 그 결과의 자연어 설명을 만드는 방식입니다.

5.3 모델 카드(Model Card)와 데이터 시트

투명성을 문서로 보여주는 표준 형식입니다.

OpenAI, Google, Meta 같은 대형 모델 사업자는 모두 모델 카드를 발행합니다. 이용사업자도 자체 모델·시스템에 대해 같은 문서를 만들어 두는 것이 표준입니다.

6. 책임성 (Accountability)

책임성은 AI가 잘못된 결과를 냈을 때 누가 책임지는가의 문제입니다.

6.1 책임의 분배 모델

AI 사고는 보통 한 명의 책임이 아닙니다. 모델, 데이터, 운영, 사용자 입력이 결합되어 일어나기 때문입니다. 그래서 책임성은 다음 두 측면을 같이 관리해야 합니다.

6.2 책임 추적성 (Traceability)

사고가 났을 때 책임을 추적하려면 다음 기록이 필요합니다.

이 기록을 합쳐 부르는 것이 AI 감사 추적(AI Audit Trail)입니다. 보안 도구의 경우 일반 시스템 로그에 더해 모델 단위 로그를 별도로 관리해야 합니다.

7. 프라이버시와 데이터 거버넌스

AI 윤리의 프라이버시 원칙은 6장의 개인정보보호법 의무와 직접 연결됩니다. 차이는 AI 학습·운영의 특수성을 반영한다는 점입니다.

7.1 학습 데이터의 프라이버시

특히 모델이 학습 데이터를 기억(Memorization)하는 문제가 LLM에서 두드러집니다. ChatGPT 초기에 학습 데이터에 포함된 특정 인물의 연락처를 그대로 재현한 사례들이 보고되었습니다.

7.2 운영 데이터의 프라이버시

LLM 기반 서비스는 사용자 입력이 그대로 모델에 들어갑니다. 이때 두 가지 위험이 있습니다.

OpenAI·Anthropic·구글 모두 API에서 입력된 데이터는 학습에 사용하지 않는다고 명시합니다(설정에 따라). 다만 무료 웹 인터페이스는 다를 수 있어, 회사에서 LLM을 쓸 때는 API 또는 엔터프라이즈 플랜으로 통일하는 것이 표준입니다.

7.3 차분 프라이버시 (Differential Privacy)

수학적으로 정의된 프라이버시 보장입니다. 한 개인의 데이터가 학습에 들어가는지 여부를 통계적으로 구별할 수 없게 만드는 기법입니다.

ε-차분 프라이버시:
어떤 두 데이터셋 D1, D2가 단 한 개의 레코드만 다를 때,
그 두 데이터셋에서 학습한 모델의 출력 분포 차이가 e^ε 이내여야 함.

ε(엡실론)이 작을수록 프라이버시 강함, 정확도는 일반적으로 떨어짐.

Apple, Google이 일부 통계 수집에 적용하고 있고, 학술적으로는 이미 표준이 된 개념입니다. 보안 도구에서 사용자 행동 패턴을 학습할 때 차분 프라이버시를 도입하는 방향이 점점 표준이 되어 가고 있습니다.

8. 안전성과 견고성

AI의 안전성은 두 가지 자리에서 이야기됩니다.

8.1 적대적 공격에 대한 견고성

LLM 시대에 들어서 프롬프트 인젝션이 가장 자주 보고되는 공격이 되었습니다. 외부 문서를 LLM에 입력하는 모든 시스템(RAG, 에이전트, 자동화)에서 위험이 발생합니다.

8.2 견고성 확보 절차

이 절차는 4장에서 본 "안전한 비밀번호 저장"의 절차와 본질적으로 같습니다. 모델도 시스템이고, 시스템 보안 절차가 그대로 적용됩니다.

9. AI 편향이 보안 도구에 끼치는 영향

5개 기둥 중 공정성을 다시 한 번 깊이 봅니다. 보안 도구에서의 편향은 단순한 차별 문제를 넘어 보안 효과 자체를 무너뜨립니다.

9.1 편향이 보안을 무너뜨리는 자리

마지막 시나리오가 가장 위험합니다. 데이터 편향이라기보다 시간 편향(Temporal Bias)이라 불리는 자리로, AI 보안 도구의 가장 큰 약점이기도 합니다.

9.2 편향 점검 도구

오픈소스 도구만으로도 기본적인 점검이 가능합니다.

# 가장 간단한 그룹별 성능 비교 (Fairlearn 예시)
# pip install fairlearn
from fairlearn.metrics import MetricFrame, selection_rate
from sklearn.metrics import accuracy_score

mf = MetricFrame(
    metrics={
        "accuracy": accuracy_score,
        "selection_rate": selection_rate,
    },
    y_true=y_test,
    y_pred=y_pred,
    sensitive_features=group_test,  # 보호 속성 (예: 지역, 연령대)
)
print(mf.by_group)
print("Disparity:", mf.difference())

이 출력에서 그룹 간 격차가 일정 임계값(예: 정확도 격차 5% 이상)을 넘으면 데이터 보강이나 모델 조정을 검토합니다.

10. 책임 있는 AI 사용 가이드라인 작성하기

이번 회차의 마무리는 본인이 속한 조직의 AI 사용 가이드라인을 직접 작성하는 활동입니다.

10.1 가이드라인 양식

# [회사명] 책임 있는 AI 사용 가이드라인 v1.0

## 1. 적용 범위
- 대상 시스템:
- 대상 인원:
- 적용 시점:

## 2. 기본 원칙
1. 공정성: ...
2. 투명성: ...
3. 책임성: ...
4. 프라이버시: ...
5. 안전성: ...

## 3. AI 도구 사용 규칙
### 3.1 허용된 AI 도구
- (예: Anthropic Claude API, OpenAI API, ...)

### 3.2 입력 금지 데이터
- 개인정보 (이름, 연락처, 주민번호, 계좌번호 등)
- 영업비밀, 고객 비공개 자료
- 법적 분쟁 관련 자료

### 3.3 결과물 사용 시 의무
- AI 사용 사실 명시
- 사람의 검토 필수
- 환각 가능성 점검

## 4. 자체 AI 시스템 개발 시 의무
- 모델 카드 작성
- 학습 데이터 시트 작성
- 편향 점검 (분기별)
- 보안 평가 (적대적 테스트)
- 운영 모니터링

## 5. 사고 대응
- AI 결정 분쟁 발생 시 절차
- 잘못된 결과 발견 시 보고 라인
- 사용자 이의제기 처리 절차

## 6. 교육·훈련
- 신규 입사자 AI 윤리 교육
- 정기 업데이트 교육
- 사고 사례 학습

## 7. 책임 소재
- AI 거버넌스 책임자: ...
- 모델 카드 작성 책임자: ...
- 사고 대응 책임자: ...

10.2 Claude를 활용한 초안 작성

다음 정보를 바탕으로 우리 회사의 책임 있는 AI 사용 가이드라인 초안을 작성해 주세요.
한국 AI 기본법(2026), 개인정보보호법, OECD AI 원칙을 준수하는 형태여야 합니다.

[회사 정보]
- 업종: (예: 보안 컨설팅)
- 규모: (예: 50명)
- 주요 AI 활용: (예: 보고서 작성 보조, 코드 분석, 위협 인텔리전스)
- 처리 데이터: (예: 고객 시스템 정보, 모의해킹 결과)

[가이드라인에 반드시 포함되어야 할 항목]
- AI 도구 사용 시 입력 금지 데이터 목록
- 결과물 사용 시 사람 검토 절차
- AI 사용 사실 명시 의무
- 사고 발생 시 보고 라인
- 분기별 검토 절차

10.3 검토 체크리스트

LLM이 만든 초안은 반드시 다음 항목을 검증합니다.

11. 글로벌 윤리 사례 학습

이론을 마지막으로 한 번 더 굳히기 위해, 글로벌 사례 세 가지를 봅니다.

11.1 Microsoft Tay (2016)

마이크로소프트가 트위터에 공개한 AI 챗봇 Tay는, 출시 16시간 만에 인종차별·반사회적 발언을 학습해 서비스가 중단되었습니다.

이 사고 이후 글로벌 AI 사업자들은 Red Team(의도적 적대 테스트팀)을 운영하는 것이 표준이 되었습니다.

11.2 COMPAS 양형 보조 시스템 (2016 ProPublica 보도)

미국 일부 주에서 사용된 재범 예측 AI인 COMPAS는, 흑인 피고에게 더 높은 재범률을 부여하는 편향이 ProPublica 분석으로 드러났습니다.

이 사례는 고위험 영역 AI에 대한 외부 감사가 필요하다는 논의의 기폭제가 되었습니다. 한국 AI 기본법 제27조의 설명 가능성 의무도 이 흐름의 영향을 받았습니다.

11.3 Apple Card 신용한도 차별 (2019)

Apple Card가 같은 가구의 부부에게 남편에게 더 높은 신용한도를 부여한 사례가 SNS에서 화제가 되었습니다. 골드만삭스의 알고리즘이 성별 편향을 가졌다는 의심이 제기되었고, 뉴욕주 금융감독국 조사로 이어졌습니다.

조사 결과 직접적인 차별은 없었지만, 설명할 수 없는 시스템은 차별 의심을 해명할 수도 없다는 교훈을 남겼습니다.