← AI 엔지니어링 심화

🗂 기존 보고서 학습→신규 생성

Report Generation from Existing Corpus
프로젝트 실무 과정대상 · 보고서·계획서·현황자료 등 정형 문서를 다수 생산하는 부서(기획·감사·정책·민원총괄 등) 실무자와 문서 표준을 관리하는 서무·주무단계 6
📦 산출물

우리 조직의 문체·양식을 그대로 따른 신규 보고서 1건 + 부서가 계속 재사용할 '보고서 생성 템플릿(양식 규칙서 + few-shot 컨텍스트 팩 + 검증 체크리스트)'

✔ 완성 기준(DoD)

(1) 신규 보고서가 우리 부서 표준 양식(제목-개요-현황-분석-조치계획-붙임)과 존칭·개조식 등 문체 규칙을 100% 준수하고, (2) 본문의 모든 수치·법령·인용이 원문 대조로 검증되어 출처가 명시되며(지어낸 통계·법조문 0건), (3) 과거 보고서에서 유입될 수 있는 PII·대외비가 제거되고, (4) 다음 사람이 입력만 바꿔 재생산할 수 있는 재사용 템플릿과 검증 체크리스트가 함께 산출된 상태.

사용하는 스택 스킬

준비물

  • 같은 종류의 과거 보고서 8~15건(결재 완료본, 가급적 우수 사례 포함)
  • 부서 문서 서식 규정·공문 작성 지침·개조식 작성 규칙
  • 이번에 만들 신규 보고서의 '사실 재료'(합성 데이터로 만든 실습용 원자료: 통계표·회의록·현황 수치)
  • 법령·조례 원문 링크 또는 PDF(국가법령정보센터·자치법규정보시스템)
  • PII/대외비 비식별 치환표(이름→A과장, 주민번호→[주민번호] 등)
  • 양식 규칙 추출용 워크시트(구조·문체·금칙어 항목)
⚠ 안전 · 비식별 · AI 한계

실습 입력은 반드시 '합성(가짜) 데이터'로 한다. 실제 민원인·직원의 개인정보(이름·주민번호·연락처·주소), 미공개 예산·인사·감사 내용 등 대외비를 외부 LLM에 붙여넣지 않는다. [코퍼스 처리 — 과거 보고서가 가장 위험] 과거 문서에는 실명·전화번호·대외비 수치가 그대로 박혀 있으므로, 코퍼스에 넣기 전에 반드시 비식별 치환(1단계)을 거친다. 이 플랫폼의 입력단 PII 스캐너와 서버 재검증 게이트를 신뢰하되, 통과했다고 방심하지 말고 사람이 최종 눈검을 한다. 외부 LLM 전송 시 입력은 사업자 서버에 남아 학습·로그에 쓰일 수 있음을 전제한다(민감 건은 원내/온프렘 모델 또는 창구 검토). [AI 한계 정직 고지] 이 파이프라인이 학습하는 것은 '양식과 문체'뿐이며 '사실'은 아니다. AI는 과거 보고서의 오래된 수치를 현재 수치처럼 재사용하거나, 존재하지 않는 법조문·판례·통계·참고문헌을 매우 그럴듯하게 지어낸다(치명적 오류). [검증 절차] 조례·행정소송·통계·인용은 AI 초안을 '보조'로만 쓰고, 모든 근거는 국가법령정보센터/자치법규시스템/통계청 원문과 1:1 대조하고 소관부서·법무(감사)부서 검토를 거친 뒤에만 결재에 올린다. 과거 수치의 무비판적 재사용을 금지하고, 모든 숫자에는 '기준시점·출처'를 병기한다. AI 산출물은 초안이며 문서의 책임은 작성 공무원과 결재권자에게 있다.

제작 파이프라인

1
코퍼스 수집·비식별·양식 태깅

학습에 쓸 과거 보고서를 모으고, 코퍼스로 쓰기 전에 PII·대외비를 제거하며, 각 문서를 유형·품질로 태깅한다

🔧 파일 수집(사내 문서함) · PII/대외비 비식별 치환표 · 플랫폼 입력단 PII 스캐너 · 텍스트 추출(pdftotext) [data-rag·ai-security]

다음은 과거 보고서 원문이다. 개인정보·대외비만 비식별하고 나머지 표현·양식은 절대 바꾸지 마라. 치환 규칙: 사람 이름→[성명], 주민번호·생년월일→[주민번호], 전화·주소→[연락처][주소], 기관 내부 미공개 금액→[금액]. 치환한 항목을 표로 함께 출력하라. 원문 문장 구조·어미·조사는 그대로 둔다.
산출 비식별된 과거 보고서 8~15건 + 문서별 태그표(유형/작성연도/품질등급) + 치환 로그검증 비식별 후 코퍼스를 이름·숫자 패턴(주민번호 6-7, 010-, 특정 성씨)으로 grep해 잔존 PII 0건 확인. 플랫폼 서버 재검증 게이트 통과 로그 확인. 사람이 무작위 2건 육안 재확인.
2
구조·문체 규칙 추출(양식 SSOT 만들기)

코퍼스에서 우리 조직의 '양식 규칙'을 명시적 규칙서로 뽑아낸다. 이 규칙서가 이후 모든 생성의 단일 기준(SSOT)이 된다

🔧 Claude(규칙 추출) · 양식 규칙 워크시트 · 부서 서식 규정 대조 [context-eng·meta-eng]

첨부한 우리 부서 보고서 5건을 분석해, 새 보고서를 쓸 때 지켜야 할 '양식·문체 규칙서'를 만들어라. 다음을 항목화하라: (1) 문서 골격 — 반복되는 목차 구조와 각 절의 역할·평균 분량, (2) 문체 — 개조식/서술식 여부, 문장 종결 어미, 존칭·피동 사용, 표/붙임 표기 관습, (3) 어휘 — 자주 쓰는 행정 용어와 피해야 할 표현(금칙어), (4) 수치·근거 표기 관습(단위·기준시점·출처 각주 형식). 각 규칙에는 코퍼스에서 뽑은 실제 예문 1개를 근거로 붙여라. 추측이면 '추정'이라고 표기하라.
산출 양식·문체 규칙서(구조·문체·어휘·근거표기 4영역) + 표준 목차 골격 + 금칙어 리스트검증 추출된 규칙을 부서 서식 규정 원문과 대조해 상충 여부 확인. 규칙서의 각 예문이 실제 코퍼스에 존재하는지 grep. 서무/주무가 '우리 부서가 실제로 이렇게 쓴다'를 확인 서명.
3
few-shot 템플릿·컨텍스트 팩 구성

규칙서 + 대표 예시 2~3건 + 빈 골격을 하나의 '컨텍스트 팩'으로 조립해, 생성 단계가 항상 같은 기준을 받도록 한다

🔧 프롬프트 조립(시스템 프리픽스 고정) · few-shot 예시 선별 [prompt-eng·context-eng]

[시스템] 너는 우리 부서 문서 표준을 따르는 보고서 작성 보조자다. 아래 <규칙서>와 <예시>의 양식·문체만 학습하고, 사실은 <신규입력>에 있는 것만 쓴다. 규칙서에 없는 양식을 임의로 만들지 마라. <규칙서>{2단계 산출}</규칙서> <예시1>{우수 사례 전문}</예시1> <예시2>{다른 유형 1건}</예시2> <빈골격>{표준 목차}</빈골격>
산출 재사용 가능한 컨텍스트 팩(고정 시스템 프롬프트 + 규칙서 + few-shot 2~3 + 빈 골격) — 이후 입력만 바꿔 재사용검증 예시로 넣은 보고서에 PII·대외비 잔존 없는지 재확인(예시가 그대로 프롬프트에 나감). 팩 총 길이가 모델 컨텍스트 한도 내인지 확인. 예시 2건이 서로 다른 하위유형을 대표하는지 점검.
4
신규 입력으로 초안 생성

이번에 작성할 보고서의 '사실 재료(합성 데이터)'를 컨텍스트 팩에 넣어 신규 보고서 초안을 뽑는다

🔧 Claude(생성) · 합성 데이터 원자료 [prompt-eng·data-rag]

<신규입력>{합성 통계표·회의결과·현황 수치}</신규입력> 위 컨텍스트 팩의 양식·문체를 그대로 따라 신규 보고서 초안을 작성하라. 규칙: (1) <신규입력>에 없는 수치·법령·인용은 절대 지어내지 말고, 필요하면 본문에 '⟨확인필요: 근거 없음⟩'으로 표시하라. (2) 모든 숫자 옆에 (기준시점, 출처)를 병기하라. (3) 표준 목차 골격을 그대로 채워라. 초안 끝에 '검증필요 항목'을 별도 리스트로 뽑아라.
산출 신규 보고서 초안 + 자체 표시한 '검증필요 항목' 리스트(⟨확인필요⟩ 지점 모음)검증 ⟨확인필요⟩·근거 없는 수치가 본문에 표시되어 있는지 확인. 목차가 규칙서 골격과 일치하는지 대조. 이 단계 산출은 '초안'일 뿐임을 문서 상단에 워터마크로 명기.
5
양식 준수·사실 검증(이중 게이트)

양식 준수는 자동 채점하고, 사실(수치·법령·인용)은 반드시 원문 대조와 소관/법무 검토로 확정한다 — 이 단계가 결재 가능 여부를 가른다

🔧 Claude(양식 자동 채점) · 국가법령정보센터·자치법규시스템·통계청 원문 · pdftotext+grep 대조 · 소관/법무 검토 [eval-eng·ai-security]

[양식 채점] 아래 초안을 <규칙서> 기준으로 항목별 채점하라(구조 준수/문체/금칙어/근거표기 각 0~5점). 위반 지점을 인용해 지적하고 수정안을 제시하라. 단, 사실 여부는 판단하지 말고 '사실검증은 사람 담당'이라고 표기하라. [사실검증은 사람이] 모든 수치·법조문·판례·인용을 원문과 1:1 대조.
산출 양식 채점표(위반 지점·수정안) + 사실검증 대장(항목·주장값·원문값·출처URL·판정·검토자) + 소관/법무 검토 확인검증 모든 수치·법령·인용이 검증대장에서 '원문 일치'로 판정되고 출처 URL이 달렸는지 확인(미검증 항목 0건이어야 결재 진행). 법률·통계 항목은 소관/법무 서명 없으면 반려. 자동 채점 점수 각 영역 4점 이상.
6
재사용 템플릿화·부서 표준화(메타)

이번 1회성 작업을 부서가 계속 쓰는 자산으로 승격한다 — 컨텍스트 팩·검증 체크리스트·SOP를 표준으로 등록

🔧 문서화 · 버전관리 · 부서 회람/교육 [meta-eng·eval-eng]

이번 작업의 컨텍스트 팩과 검증 절차를 다음 사람이 바로 쓸 수 있게 '보고서 생성 SOP 1장'으로 정리하라: 입력으로 바꿔야 할 부분(빈칸), 고정해서 건드리면 안 되는 부분, 5단계 검증 체크리스트, 흔한 실패와 대응. 신규 담당자가 30분 안에 첫 초안을 낼 수 있는 분량으로.
산출 부서 표준 '보고서 생성 키트'(SOP 1장 + 컨텍스트 팩 + 검증 체크리스트 + 금칙어·비식별 치환표) + 버전 태그검증 다른 담당자가 SOP만 보고 다른 사실 재료로 초안 1건을 재생산해봄(재현성 테스트). 규칙서 갱신 주기·소유자 지정. 분기별로 코퍼스·법령 변경 반영 여부 점검 일정 등록.

핵심 프롬프트

과거 보고서 비식별 치환(코퍼스 반입 전)
다음은 과거 보고서 원문이다. 개인정보·대외비만 비식별하고 표현·양식은 절대 바꾸지 마라.
치환 규칙: 사람 이름→[성명], 주민번호·생년월일→[주민번호], 전화→[연락처], 주소→[주소], 기관 내부 미공개 금액→[금액], 특정 개인 식별 가능한 직위+부서 조합→[담당자].
치환한 항목을 (원문표현→치환값) 표로 함께 출력하라. 문장 구조·어미·조사는 그대로 둔다.
---원문---
{{과거_보고서_전문}}
양식·문체 규칙서 추출
첨부한 우리 부서 보고서 {{N}}건을 분석해 '양식·문체 규칙서'를 만들어라.
항목화: (1)문서 골격=반복 목차와 각 절 역할·평균 분량, (2)문체=개조식/서술식·종결어미·존칭·피동 습관·표/붙임 표기, (3)어휘=자주 쓰는 행정용어와 금칙어, (4)수치·근거 표기=단위·기준시점·출처 각주 형식.
각 규칙마다 코퍼스 실제 예문 1개를 근거로 첨부하라. 코퍼스에서 확인 안 되는 것은 '추정'으로 표기하라. 없는 규칙을 지어내지 마라.
신규 보고서 생성(사실 날조 금지 계약)
[시스템] 너는 우리 부서 문서 표준을 따르는 보고서 작성 보조자다. 아래 <규칙서>·<예시>의 양식·문체만 따르고, 사실은 <신규입력>에 있는 것만 쓴다.
<규칙서>{{규칙서}}</규칙서>
<예시>{{비식별_우수사례_1~2건}}</예시>
<빈골격>{{표준_목차}}</빈골격>
<신규입력>{{합성_사실재료}}</신규입력>
규칙: ① <신규입력>에 없는 수치·법령·판례·인용·참고문헌은 절대 생성하지 말고 필요 지점에 '⟨확인필요: 근거 없음⟩'을 넣어라. ② 모든 숫자 옆에 (기준시점, 출처)를 병기하라. ③ 표준 목차를 그대로 채워라. ④ 문서 끝에 '검증필요 항목' 리스트를 뽑아라.
양식 준수 자동 채점(사실판단 금지)
아래 초안을 <규칙서> 기준으로 항목별 채점하라. 영역: 구조 준수/문체 일치/금칙어 위반/근거 표기 (각 0~5점). 위반 문장을 인용하고 수정안을 제시하라.
중요: 사실·수치·법령의 진위는 판단하지 마라. 해당 부분은 '사실검증=사람 담당'으로 표기만 하라.
<규칙서>{{규칙서}}</규칙서>
<초안>{{생성_초안}}</초안>
사실검증 대장 생성(원문 대조용)
아래 보고서 초안에서 검증이 필요한 모든 항목(수치·비율·금액·날짜·법조문·조례·판례·인용·통계 출처)을 빠짐없이 추출해 표로 만들어라. 열: [항목ID | 본문 인용 | 주장값 | 근거유형(통계/법령/인용) | 대조할 원문(예상 출처) | 판정(공란) | 검토자(공란)].
너가 값을 채우거나 추측하지 마라. '주장값'만 본문에서 그대로 옮기고 나머지는 사람이 원문 대조로 채운다.
<초안>{{생성_초안}}</초안>

품질 점검 루브릭

기준점검 포인트
양식 준수신규 보고서의 목차 구조·절 순서가 규칙서 골격과 일치하는가(누락/추가 절 0)
문체 일치개조식/종결어미/존칭 등 문체 규칙과 금칙어 준수 여부를 코퍼스 대비 육안·자동 채점 각 4점 이상
사실 무결성본문 모든 수치·법령·인용이 사실검증 대장에서 '원문 일치'로 판정되고 출처 URL이 달렸는가(미검증·⟨확인필요⟩ 잔존 0)
날조 부재존재하지 않는 법조문·판례·참고문헌·통계가 없는가(무작위 표본 대조 및 법령/통계 항목 소관·법무 서명 확인)
수치 최신성과거 보고서에서 흘러온 오래된 수치를 그대로 재사용하지 않았는가. 모든 숫자에 기준시점이 병기되고 현재값으로 갱신되었는가
비식별 안전신규 산출물과 프롬프트에 넣은 예시에 실명·주민번호·연락처·대외비 잔존이 없는가(패턴 grep + 육안)
재현성다른 담당자가 SOP·컨텍스트 팩만으로 다른 사실 재료로 동급 초안을 재생산할 수 있는가
기록·책임AI 초안 표기, 검토자·결재선, 검증대장이 문서 이력으로 남아 사후 추적이 가능한가

변형 · 확장

  • 문서 유형별 팩 분화: 상황보고·정책보고·현황자료·계획서마다 별도 few-shot 팩을 만들어 부서 '보고서 키트 세트'로 확장
  • 품질 티어링: 초안은 값싼 모델, 최종 문체 다듬기는 최고품질 모델로 2패스 운용해 비용 절감
  • 온프렘/원내 모델 트랙: 대외비 비중이 큰 부서는 외부 LLM 대신 원내 모델로 동일 파이프라인 운용(안전 우선)
  • 역방향 활용: 신규 보고서 초안을 규칙서로 자동 채점해 '작성자 셀프 리뷰 도구'로만 쓰고 생성은 안 하는 보수적 도입
  • 다국어/알기 쉬운 공공언어 버전: 같은 사실로 주민 공개용 쉬운 요약본을 파생(별도 문체 규칙서 적용)
  • 감사 대응 트랙: 검증대장을 근거자료 색인으로 승격해 감사·정보공개 청구 대비 증빙 패키지로 재사용

흔한 실패

  • 과거 보고서를 비식별 없이 그대로 프롬프트에 붙여넣어 실명·대외비를 외부로 유출 — 반드시 1단계 치환 후 반입
  • AI가 지어낸 법조문·판례·통계를 검증 없이 결재에 올림 — 5단계 원문 대조·법무 검토를 건너뛰지 말 것(치명적)
  • 과거 수치를 현재 수치처럼 재사용 — 모든 숫자에 기준시점·출처 병기, 갱신 확인
  • '양식 학습'과 '사실 생성'을 뭉뚱그려 AI가 그럴듯한 가짜 사실을 양식에 실어 신뢰도만 높임 — 생성 프롬프트에서 사실=입력에만 한정 계약
  • 양식 자동 채점 통과를 '완성'으로 오인 — 채점은 형식만, 사실검증은 별도 사람 게이트
  • few-shot 예시를 우수 사례가 아닌 아무 문서로 넣어 나쁜 문체·낡은 양식을 학습 — 예시는 엄선
  • 1회성으로 끝내 다음 사람이 처음부터 다시 함 — 6단계 SOP·키트로 표준화(메타)
  • 규칙서를 방치해 서식 규정 개정·법령 변경을 반영 못 함 — 소유자·갱신주기 지정

🤖 AI 해설

AI 해설은 이 항목의 근거에 기반한 보조 자료입니다. 중요한 수치·사실은 원문 출처로 검증하세요.