▶ 데이터 준비·RAG 실무

🖐 실무 따라하기 — 복붙해서 따라 하면 됩니다

1. 1근거 서류철 만들기: 합성 편람 파일 준비

   작업 폴더를 하나 만들고, 그 안에 실습용 합성 민원편람을 '편람.txt'로 저장한다. 파일 맨 위 대괄호에 버전/발효일을 적어 두는 것이 핵심(나중에 최신성·출처 표기에 쓰임). 아래 블록을 터미널(맥: 터미널, 윈도우: PowerShell)에 그대로 붙여넣기. 맨 끝 ls는 파일이 실제로 만들어졌는지 눈으로 확인하려고 넣은 것.

   터미널 명령

   ⧉ 복사

   mkdir rag-민원 && cd rag-민원
   cat > 편람.txt <<'EOF'
   [민원편람 v2026.3 / 발효일 2026-07-01]
   
   ## 전입신고
   전입신고는 새로운 거주지에 전입한 날부터 14일 이내에 신고해야 합니다.
   신고는 세대주 또는 세대원이 할 수 있으며, 온라인(정부24) 또는 읍면동 주민센터 방문으로 가능합니다.
   방문 시 신분증을 지참해야 합니다. 정당한 사유 없이 기간 내 신고하지 않으면 5만원 이하의 과태료가 부과됩니다.
   
   ## 등본 발급 수수료
   주민등록등본을 주민센터 방문하여 발급받는 경우 수수료는 1통당 400원입니다.
   정부24를 통한 온라인 발급은 무료입니다.
   
   ## 인감증명서 발급
   인감증명서는 본인이 신분증을 지참하고 주민센터를 방문하여 발급받습니다.
   대리인이 발급받는 경우 위임장과 본인 및 대리인의 신분증이 필요합니다.
   발급 수수료는 1통당 600원입니다.
   EOF
   ls

   → 결과 cat > ... EOF까지는 화면에 아무것도 출력하지 않는다(파일만 조용히 만들어짐). 맨 끝 ls가 실행되면 화면에 '편람.txt'가 출력된다 — 이게 뜨면 저장 성공이고, 이 파일이 AI가 참고할 유일한 '근거 서류철'이다. (내용을 직접 확인하려면 cat 편람.txt 실행. 윈도우 PowerShell에서 cat<<EOF가 안 되면 메모장으로 EOF 사이 내용을 붙여넣어 UTF-8로 '편람.txt' 저장하고, 저장 위치가 rag-민원 폴더인지 확인)

2. 2청킹·색인·검색: 질문에 맞는 조항만 뽑아오기

   편람을 '## 소제목' 단위 조각(청크)으로 자르고, 각 청크를 단어 빈도로 색인한 뒤, 질문과 가장 비슷한 청크를 순위로 뽑는 미니 검색기를 만든다. 아래 전문을 'search.py'로 저장하고 실행. (임베딩 모델 설치 없이, 표준 라이브러리만으로 어휘 기반 검색을 구현 — 개념 체감용. 아래는 절단 없는 전문이며 그대로 붙여넣으면 실행된다.)

   코드

   ⧉ 복사

   cat > search.py <<'EOF'
   import re, math
   from collections import Counter
   
   raw = open('편람.txt', encoding='utf-8').read()
   version = re.search(r'\[(.*?)\]', raw).group(1)          # 버전/발효일
   sections = re.split(r'
   (?=## )', raw)                    # 청킹: 소제목 단위
   chunks = []
   for s in sections:
       s = s.strip()
       if s.startswith('## '):
           title = s.splitlines()[0][3:].strip()
           chunks.append({'id': f'chunk-{len(chunks)+1}', 'title': title,
                          'text': s, 'source': version})
   
   def toks(t):                                              # 한글 2글자쌍 + 숫자/영문
       t = t.lower()
       words = re.findall(r'[0-9]+|[a-z]+', t)
       grams = []
       for h in re.findall(r'[가-힣]+', t):
           grams += [h] if len(h)==1 else [h[i:i+2] for i in range(len(h)-1)]
       return words + grams
   
   docs = [Counter(toks(c['text'])) for c in chunks]         # 색인(단어빈도)
   def search(q, k=2):                                       # 검색(코사인 유사도)
       qv = Counter(toks(q))
       def cos(a, b):
           common = set(a) & set(b)
           num = sum(a[t]*b[t] for t in common)
           da = math.sqrt(sum(v*v for v in a.values()))
           db = math.sqrt(sum(v*v for v in b.values()))
           return num/(da*db) if da and db else 0
       ranked = sorted(((cos(qv, d), i) for i, d in enumerate(docs)), reverse=True)
       return [(round(s,3), chunks[i]) for s, i in ranked[:k]]
   
   if __name__ == '__main__':
       q = '전입신고 기한 지나면 과태료 얼마'
       print('질문:', q)
       for s, c in search(q):
           print(f'  score={s}  [{c["id"]}] {c["title"]}  출처={c["source"]}')
   EOF
   python3 search.py

   → 결과 score가 높은 순으로 청크 2개가 뜨고, 맨 위 줄이 정확히 'score=0.336 [chunk-1] 전입신고 출처=민원편람 v2026.3 / 발효일 2026-07-01'로 나온다(로컬 실행으로 검증한 실제 출력값). 즉 질문과 무관한 등본·인감 청크가 아니라 '전입신고' 조항이 1등으로 검색되고, 두 번째 줄은 score=0.0인 다른 청크다. 출처에 발효일이 함께 나와 근거를 되짚을 수 있다.

3. 3비식별 선처리: 문의자 개인정보 먼저 지우기

   AI에 문의 내용을 넣기 전, 문의자 개인정보(이름·휴대폰·주민번호)를 마스킹한다. 업무 식별자인 접수번호(MW-2026-0001)는 보존한다. 'mask.py'로 저장하고 실행. (전부 합성 데이터. 아래는 절단 없는 전문.)

   코드

   ⧉ 복사

   cat > mask.py <<'EOF'
   import re
   sample = '문의자 홍길동(010-0000-0000), 주민번호 900101-1234567 님, 접수번호 MW-2026-0001'
   m = sample
   m = re.sub(r'\d{6}-\d{7}', '******-*******', m)              # 주민등록번호
   m = re.sub(r'01[016789]-?\d{3,4}-?\d{4}', '010-****-****', m) # 휴대폰(합성 010-0000-0000도 마스킹됨)
   m = re.sub(r'[가-힣]{2,4}(?=\s*\()', '###', m)               # 괄호 앞 이름
   print('원본:', sample)
   print('처리:', m)
   EOF
   python3 mask.py

   → 결과 두 줄이 출력되고, '처리:' 줄이 정확히 '문의자 ###(010-****-****), 주민번호 ******-******* 님, 접수번호 MW-2026-0001'로 나온다(로컬 검증). 즉 홍길동→###, 합성 전화 010-0000-0000→010-****-****, 900101-1234567→******-*******로 바뀌고, 접수번호 MW-2026-0001은 그대로 남는다. 주의: 접수번호도 다른 정보와 결합하면 개인 특정이 가능하므로, 실무에서 외부 AI로 보낼 때는 접수번호까지 [접수번호]로 가리는 것을 권장한다. 이 마스킹된 텍스트만 다음 단계에서 AI에 전달한다(원본 개인정보는 AI로 보내지 않음).

4. 4그라운딩+인용: 검색된 근거로만 답변 초안 생성

   step2에서 뽑힌 청크 본문을 '근거'로 넣고, '근거에 없으면 지어내지 말 것 + 문장 끝에 출처 표기'를 강제하는 프롬프트로 답변 초안을 만든다. 아래 프롬프트 전문을 ChatGPT/Claude 웹 또는 이 플랫폼 /playground 입력창에 그대로 붙여넣기. (근거 블록은 step2 실행 결과의 chunk-1 본문을 그대로 넣었다. 무설치 대안이 바로 이 단계다.)

   프롬프트 (복사해서 AI에 입력)

   ⧉ 복사

   당신은 경북도청 민원 답변 보조자입니다. 반드시 아래 [근거]에 있는 내용만 사용해 답하세요.
   규칙:
   1) [근거]에 없는 수치·기한·금액·법조문은 절대 지어내지 마세요. 없으면 "편람에서 확인되지 않습니다"라고 답하세요.
   2) 답변의 각 문장 끝에 근거의 (출처/청크ID)를 괄호로 표기하세요.
   3) 답변 맨 끝에 '근거 버전:' 줄로 편람 버전과 발효일을 적으세요.
   
   [질문] 전입신고 기한을 넘기면 과태료가 얼마인가요? (접수번호 MW-2026-0001)
   
   [근거]
   (출처: 민원편람 v2026.3 / 발효일 2026-07-01, chunk-1 전입신고)
   전입신고는 새로운 거주지에 전입한 날부터 14일 이내에 신고해야 합니다. 정당한 사유 없이 기간 내 신고하지 않으면 5만원 이하의 과태료가 부과됩니다.

   → 결과 답변에 '전입한 날부터 14일 이내 신고', '정당한 사유 없이 넘기면 5만원 이하 과태료'가 나오고 문장 끝마다 (chunk-1 전입신고) 같은 출처가 붙는다. 맨 끝에 '근거 버전: 민원편람 v2026.3 / 발효일 2026-07-01'. 그라운딩이 되는지 반증 테스트: [질문]을 '전입신고 과태료 분할납부 되나요?'로 바꿔 다시 넣으면 근거에 없는 내용이라 '편람에서 확인되지 않습니다'가 나와야 성공(지어내면 실패).

5. 5정답셋 평가: 검색이 맞는 조항을 뽑는지 점검

   질문마다 '정답 청크'를 미리 적어둔 정답셋을 만들고, step2의 검색기가 1등으로 정답 청크를 뽑는지(Top-1 적중률) 자동 채점한다. 'eval.py'로 저장하고 실행. (from search import search로 step2 검색기를 그대로 재사용하므로 search.py와 같은 폴더에서 실행할 것. 아래는 절단 없는 전문.)

   코드

   ⧉ 복사

   cat > eval.py <<'EOF'
   from search import search
   gold = [
       ('전입신고 기한 지나면 과태료 얼마', 'chunk-1'),
       ('주민등록등본 방문 발급 수수료', 'chunk-2'),
       ('인감증명서 대리 발급 필요서류', 'chunk-3'),
   ]
   hit = 0
   for q, ans in gold:
       top = search(q, k=1)[0][1]['id']
       ok = (top == ans)
       hit += ok
       print(f'{"O" if ok else "X"}  질문:{q}  → top:{top} / 정답:{ans}')
   print(f'Top-1 적중률: {hit}/{len(gold)} = {hit/len(gold)*100:.0f}%')
   EOF
   python3 eval.py

   → 결과 세 질문 모두 'O'가 뜨고 마지막 줄에 정확히 'Top-1 적중률: 3/3 = 100%'가 출력된다(로컬 검증 완료). 만약 X가 나오면 편람.txt가 같은 폴더에 있는지, search.py가 정상 저장됐는지 먼저 확인하고, 그래도 X면 청킹 단위를 더 잘게 쪼개거나 질문 표현을 바꿔 재측정 — 이렇게 '정답셋으로 검색 품질을 수치로 관리'하는 것이 RAG 운영의 핵심 게이트.