자료 교차 검증 방법

왜 교차 검증이 필요한가

AI는 그럴듯한 문장과 구체적인 수치를 빠르게 만들어 주지만, 그 수치가 실제와 다르거나(환각), 오래된 통계이거나, 출처가 없는 경우가 많다. 정책 보고서·보도자료·발표 자료에 잘못된 숫자나 법령 내용이 들어가면 되돌리기 어렵다. 그래서 AI 결과물은 '초안'으로 두고, 핵심 사실은 반드시 사람이 원문과 대조해 확인한 뒤 사용해야 한다.

• 확인 대상 1순위: 수치·비율·금액, 날짜, 법령·계약 조항, 고유명사(기관·인물·프로젝트명)
• 한 출처만 믿지 말고 성격이 다른 최소 2~3개 출처로 대조
• AI가 붙인 각주 번호나 링크가 실제로 그 내용을 담고 있는지까지 확인

교차 검증 5단계 절차

아래 순서로 진행하면 빠뜨리는 부분 없이 검증할 수 있다. RAW에 실린 'MASGA 프로젝트 리포트 사실 검증'이 이 절차를 따른 대표 사례다.

• 1) 검증할 주장(claim)을 문장 단위로 분리한다 — 예: '한국산 선박 관세를 25%에서 15%로 인하'
• 2) 각 주장에서 확인할 핵심값을 표시한다(숫자·날짜·기관·조항)
• 3) 1차 자료를 찾는다 — 정부 통계, 법령 원문, 공식 IR/보도자료, 국제기구 데이터
• 4) 성격이 다른 출처끼리 값을 대조한다(언론 vs 통계 vs 원문)
• 5) 판정한다 — 일치 / 근접(오차 범위) / 상이 / 확인 불가로 표기하고, 상이하면 최신·1차 출처를 기준으로 정정

출처의 신뢰 우선순위

같은 사실이라도 어떤 출처에서 왔는지에 따라 무게가 다르다. 원문에 가까울수록, 이해관계가 적을수록 신뢰도가 높다. 아래 위쪽일수록 우선한다.

• 법령·계약·의회 문서 원문(예: SHIPS for America Act 법안 본문, 상원 공식 요약본)
• 정부·공공기관 공식 통계 및 보도자료(예: 산업부 수출 통계, 기업 공식 뉴스룸)
• 국제기구·전문 리서치의 원자료(시장점유율·CGT 통계 등)
• 복수의 주요 언론 보도(단, 서로 같은 원출처를 인용한 것은 '독립 출처'가 아님에 주의)
• 블로그·요약 콘텐츠·AI 생성물은 단서로만, 사실 근거로는 부적합

검증 사례로 읽는 MASGA 리포트

RAW의 검증 리포트는 AI가 정리한 '한미 조선업 협력' 주장들을 언론·통계·법령과 대조한 결과다. 대부분의 핵심값은 공식 자료와 일치했고, 일부 세부 수치는 최신 통계에서 하향 조정되어 있었다. 이렇게 '어디는 맞고, 어디는 정정이 필요한지'를 값 단위로 남기는 것이 교차 검증의 결과물이다.

• 일치 확인: 한화의 필라델피아 조선소 인수(2024년 12월, 약 1억 달러) — 기업 공식 발표·연합뉴스 등으로 교차 확인
• 일치 확인: 2024년 한국 조선 수출 256억 달러(역대 최대) — 언론·통계 근접
• 정정 필요 사례: LNG 운반선 점유율을 '90%'로 쓴 초안 → 최신 통계로는 약 60~62%로 하향. 질적 우위는 유지되나 수치는 반드시 최신값으로 교정
• 주의: '1,500억 달러 협력'과 '3,500억 달러 총 투자 패키지'처럼 비슷하지만 다른 숫자는 대상이 무엇인지(펀드 규모 vs 전체 패키지) 구분해 확인

실무에서 바로 쓰는 검증 팁

현장에서 시간을 아끼면서도 빠뜨리지 않는 요령이다.

• '25%→15%'처럼 변화·비교가 담긴 수치는 '이전 값'과 '이후 값'을 각각 따로 확인
• AI가 제시한 링크는 반드시 직접 열어 해당 문장이 실제로 있는지 확인(각주만 믿지 않기)
• 출처가 서로 같은 원문을 재인용한 것이면 '검증 2건'이 아니라 사실상 1건으로 취급
• 찾지 못하거나 출처가 엇갈리면 지어내지 말고 '확인 필요'로 남기고 담당자에게 확인 요청
• 검증 결과는 '일치/근접/상이/확인 불가' 태그와 근거 링크를 함께 문서에 기록

AI에게 검증을 돕게 하는 프롬프트 예시

AI는 최종 판단자가 아니라 '검증 보조'로 쓴다. 출처를 강제하고, 불확실할 때는 모른다고 답하도록 지시하는 것이 핵심이다.

다음 리포트의 사실 관계를 검증해 줘.

[검증 방법]
1. 수치·날짜·법령·기관명 등 '확인이 필요한 주장'을 문장 단위로 뽑아 목록화
2. 각 주장마다: 근거가 되는 1차/공식 출처의 실제 URL과 해당 대목을 함께 제시
3. 리포트 값과 출처 값을 비교해 [일치 / 근접 / 상이 / 확인 불가]로 판정
4. 상이하면 최신·공식 출처 기준의 정정값을 제시
5. 출처를 찾지 못하면 지어내지 말고 반드시 '확인 필요'라고 표기

[리포트 원문]
<여기에 검증할 내용 붙여넣기>