⑤ 메타 엔지니어링

🖐 실무 따라하기 — 복붙해서 따라 하면 됩니다

1. 1실습 폴더 만들고 파이썬 확인

   터미널을 열고 아래를 통째로 붙여넣어 실행한다. 실습 폴더를 만들고 파이썬 버전을 확인한다(3.10 이상이면 OK). 외부 설치·인터넷 불필요, 표준 라이브러리만 쓴다.

   터미널 명령

   ⧉ 복사

   mkdir -p /home/gdi-s2/dev/aiedu/meta-eng-lab && cd /home/gdi-s2/dev/aiedu/meta-eng-lab && python3 --version && echo 'OK: 폴더 준비됨'

   → 결과 'Python 3.12.3' 같은 버전 문자열(3.10 이상이면 정상)과 'OK: 폴더 준비됨'이 출력된다. 'command not found'가 나오면 python3 대신 python 으로 바꿔 재실행.

2. 2골든 데이터셋 20건 작성(무엇이 정답인가를 못박기)

   아래 명령을 통째로(맨 끝 wc -l 줄까지) 붙여넣어 golden.jsonl을 만든다. 한 줄=한 민원=정답 한 세트다. 모두 합성 데이터. 이 파일이 '좋은 결과의 정의'이자 이후 모든 심사의 기준선(회귀 테스트의 진실)이 된다. 함정으로 MW-2026-0012('수도관 파열'인데 문장에 '도로' 단어가 섞임 → 정답은 상하수도)와 MW-2026-0018(폭언 포함, 정답은 복지/중)을 일부러 넣었다. 맨 끝의 wc -l 명령이 저장 결과를 화면에 출력해준다.

   터미널 명령

   ⧉ 복사

   cat > /home/gdi-s2/dev/aiedu/meta-eng-lab/golden.jsonl << 'EOF'
   {"id":"MW-2026-0001","text":"우리 동네 도로에 포트홀이 생겨서 차 바퀴가 빠질 뻔했어요","dept":"도로","urgency":"상"}
   {"id":"MW-2026-0002","text":"수도꼭지에서 녹물이 나옵니다 마셔도 되나요","dept":"상하수도","urgency":"중"}
   {"id":"MW-2026-0003","text":"공원 벤치 옆에 쓰레기 무단투기가 심해요","dept":"환경","urgency":"하"}
   {"id":"MW-2026-0004","text":"기초생활수급 신청 서류가 어떤 게 필요한지 알려주세요","dept":"복지","urgency":"하"}
   {"id":"MW-2026-0005","text":"횡단보도 신호등이 꺼져서 사고 날 뻔했습니다 빨리 조치해주세요","dept":"도로","urgency":"상"}
   {"id":"MW-2026-0006","text":"하수구가 막혀서 물이 역류하고 악취가 납니다","dept":"상하수도","urgency":"상"}
   {"id":"MW-2026-0007","text":"야산에 폐기물을 태우는 연기가 자욱해요","dept":"환경","urgency":"중"}
   {"id":"MW-2026-0008","text":"독거 어르신 안부확인 서비스 신청하고 싶어요","dept":"복지","urgency":"중"}
   {"id":"MW-2026-0009","text":"인도 보도블럭이 깨져서 어르신이 넘어졌어요","dept":"도로","urgency":"상"}
   {"id":"MW-2026-0010","text":"단수 안내 문자를 못 받았는데 언제 물이 나오나요","dept":"상하수도","urgency":"중"}
   {"id":"MW-2026-0011","text":"길고양이 급식소 위생 관리가 안 돼요","dept":"환경","urgency":"하"}
   {"id":"MW-2026-0012","text":"수도관이 터져서 도로가 물바다가 됐고 차가 못 지나가요","dept":"상하수도","urgency":"상"}
   {"id":"MW-2026-0013","text":"장애인 콜택시 예약이 계속 안 됩니다","dept":"복지","urgency":"중"}
   {"id":"MW-2026-0014","text":"가로등이 며칠째 꺼져 있어 밤에 위험합니다","dept":"도로","urgency":"중"}
   {"id":"MW-2026-0015","text":"음식점 기름냄새와 매연으로 창문을 못 엽니다","dept":"환경","urgency":"중"}
   {"id":"MW-2026-0016","text":"상수도 요금이 갑자기 두 배로 나왔어요 확인 부탁해요","dept":"상하수도","urgency":"하"}
   {"id":"MW-2026-0017","text":"아동수당 지급일이 지났는데 입금이 안 됐어요","dept":"복지","urgency":"중"}
   {"id":"MW-2026-0018","text":"담당 공무원이 불친절했다 당장 바꿔라 이 무능한 것들아","dept":"복지","urgency":"중"}
   {"id":"MW-2026-0019","text":"산사태 위험지역에 균열이 커지고 있어요 위급합니다","dept":"환경","urgency":"상"}
   {"id":"MW-2026-0020","text":"도로 표지판이 넘어져서 방향을 알 수 없어요","dept":"도로","urgency":"하"}
   EOF
   wc -l /home/gdi-s2/dev/aiedu/meta-eng-lab/golden.jsonl

   → 결과 맨 끝 wc -l 명령이 실행되어 '20 /home/gdi-s2/dev/aiedu/meta-eng-lab/golden.jsonl'이 출력되면 성공(정확히 20줄). 각 줄은 민원 원문(text)과 사람이 합의한 정답(dept 담당부서, urgency 긴급도)을 담는다. 함정 정답 확인: MW-2026-0012의 dept는 '상하수도'(문장에 '도로' 단어가 있어도 원인 시설이 수도관이므로), MW-2026-0018의 urgency는 '중'(폭언이지만 실제 처리 시급성은 중). 이 정답 세트가 앞으로 바뀌지 않는 '기준'이다.

3. 3예측기(predict.py) 만들기 — 프롬프트 v1/v2를 코드로 고정

   아래를 EOF 줄까지 통째로 붙여넣어 predict.py를 만들고 v1·v2를 실행한다. 실제 LLM 호출 대신 '프롬프트 규칙'을 파이썬 함수로 재현한 가짜 모델이다(외부 전송·API키 없이 회귀 파이프라인 전체를 체험하는 용도). 규칙은 위→아래 순서로 dept를 덮어쓴다(아래에 걸리는 규칙이 이긴다). v1은 현행 규칙으로, '도로' 규칙이 맨 아래라 누수(수도관) 민원에 '도로' 단어가 섞이면 상하수도→도로로 잘못 덮어써진다(MW-2026-0012 오분류). v2는 '수도관/역류는 도로 단어가 있어도 상하수도로 확정'하는 개선 규칙을 맨 마지막에 추가한 안이다. 실제 운영에선 predict() 내부만 OpenAI/Claude API 호출로 바꾸면 나머지 채점·판정 로직은 그대로 재사용된다.

   코드

   ⧉ 복사

   cat > /home/gdi-s2/dev/aiedu/meta-eng-lab/predict.py << 'EOF'
   import sys, json, os
   
   # 실제 운영에서는 이 predict() 내부를 LLM API 호출로 교체한다.
   # 여기서는 API키/외부전송 없이 '프롬프트 규칙'을 파이썬으로 재현한 가짜 모델.
   # 규칙은 위->아래 순서로 dept를 덮어쓴다(아래에 걸리는 규칙이 이긴다).
   def predict(text, version):
       t = text
       dept = "복지"  # 기본값
       if any(k in t for k in ["녹물","하수","단수","상수도","수도요금","수도관","수도꼭지"]):
           dept = "상하수도"
       if any(k in t for k in ["쓰레기","무단투기","폐기물","연기","매연","악취","고양이","산사태","균열"]):
           dept = "환경"
       if any(k in t for k in ["수급","안부","콜택시","아동수당","장애인"]):
           dept = "복지"
       # v1의 함정: '도로' 규칙이 맨 아래라, 누수(수도관) 민원에 '도로' 단어가 섞이면
       # 상하수도->도로로 덮어써져 MW-2026-0012가 '도로'로 오분류된다.
       if any(k in t for k in ["포트홀","도로","신호등","보도블럭","인도","가로등","표지판"]):
           dept = "도로"
       # v2 개선 규칙: 수도관 파열/역류는 '도로' 단어가 섞여도 상하수도로 확정(함정 MW-2026-0012 교정)
       if version == "v2" and ("수도관" in t or "역류" in t):
           dept = "상하수도"
       # --- 긴급도 ---
       urgency = "하"
       if any(k in t for k in ["위험","위급","사고","터져","역류","넘어졌","빠질 뻔"]):
           urgency = "상"
       elif any(k in t for k in ["악취","매연","안 됩니다","안 됐","못","꺼져"]):
           urgency = "중"
       return {"dept": dept, "urgency": urgency}
   
   if __name__ == "__main__":
       version = sys.argv[1] if len(sys.argv) > 1 else "v1"
       base = os.path.dirname(os.path.abspath(__file__))
       out = []
       for line in open(f"{base}/golden.jsonl", encoding="utf-8"):
           row = json.loads(line)
           p = predict(row["text"], version)
           out.append({"id": row["id"], "dept": p["dept"], "urgency": p["urgency"]})
       with open(f"{base}/pred_{version}.jsonl", "w", encoding="utf-8") as f:
           for r in out:
               f.write(json.dumps(r, ensure_ascii=False) + "
   ")
       print(f"{version}: {len(out)}건 예측 -> pred_{version}.jsonl")
   EOF
   cd /home/gdi-s2/dev/aiedu/meta-eng-lab && python3 predict.py v1 && python3 predict.py v2

   → 결과 'v1: 20건 예측 -> pred_v1.jsonl'과 'v2: 20건 예측 -> pred_v2.jsonl' 두 줄이 출력된다. 폴더에 pred_v1.jsonl, pred_v2.jsonl 두 파일이 생긴다. 무설치 대안: /playground나 ChatGPT·Claude 웹에 다음 프롬프트를 붙여넣어도 된다 — '아래 20개 민원을 각각 {"id":..., "dept":"도로|상하수도|환경|복지", "urgency":"상|중|하"} 형식 JSONL로 분류해줘. 설명 없이 20줄만 출력.' + golden.jsonl 내용 붙여넣기(합성 데이터라 안전). 그 결과를 pred_v1.jsonl로 저장하면 동일하게 진행 가능.

4. 4자동 채점·회귀 리포트(score.py) — 조용한 악화를 잡아낸다

   아래를 EOF 줄까지 통째로 붙여넣어 score.py를 만들고 실행한다. 골든셋 정답과 v1·v2 예측을 대조해 부서정확도·긴급도정확도를 계산하고, 핵심으로 '회귀 건수'(v1은 부서·긴급도 둘 다 맞혔는데 v2가 하나라도 틀린 건)를 센다. 회귀 0건이고 v2 성적이 v1 이상이면 PASS, 회귀 1건 이상이면 FAIL로 자동 판정한다. 이게 모델교체 거버넌스의 게이트다.

   코드

   ⧉ 복사

   cat > /home/gdi-s2/dev/aiedu/meta-eng-lab/score.py << 'EOF'
   import json, os
   base = os.path.dirname(os.path.abspath(__file__))
   
   def load(path):
       return {json.loads(l)["id"]: json.loads(l) for l in open(path, encoding="utf-8")}
   
   gold = load(f"{base}/golden.jsonl")
   v1 = load(f"{base}/pred_v1.jsonl")
   v2 = load(f"{base}/pred_v2.jsonl")
   
   def acc(pred, field):
       ok = sum(1 for i in gold if pred[i][field] == gold[i][field])
       return ok, len(gold)
   
   def report(pred, name):
       d_ok, n = acc(pred, "dept"); u_ok, _ = acc(pred, "urgency")
       both = sum(1 for i in gold if pred[i]["dept"]==gold[i]["dept"] and pred[i]["urgency"]==gold[i]["urgency"])
       print(f"[{name}] 부서정확도 {d_ok}/{n}({d_ok/n:.0%})  긴급도정확도 {u_ok}/{n}({u_ok/n:.0%})  둘다맞음 {both}/{n}")
       return both
   
   print("="*56)
   b1 = report(v1, "v1 현행"); b2 = report(v2, "v2 신규")
   
   # 회귀: v1은 (부서·긴급도 둘 다) 맞았는데 v2가 하나라도 틀린 건
   regress = []
   for i in gold:
       v1_ok = v1[i]["dept"]==gold[i]["dept"] and v1[i]["urgency"]==gold[i]["urgency"]
       v2_ok = v2[i]["dept"]==gold[i]["dept"] and v2[i]["urgency"]==gold[i]["urgency"]
       if v1_ok and not v2_ok:
           regress.append((i, gold[i]["text"][:24], v2[i]))
   print("-"*56)
   print(f"회귀(정답->오답 뒤집힘): {len(regress)}건")
   for i, t, p in regress:
       print(f"  X {i} '{t}...' -> v2예측 {p['dept']}/{p['urgency']} (정답 {gold[i]['dept']}/{gold[i]['urgency']})")
   verdict = "PASS" if len(regress)==0 and b2>=b1 else "FAIL"
   print("="*56)
   print(f"판정: {verdict}  (v1 둘다맞음 {b1} -> v2 {b2}, 회귀 {len(regress)})")
   EOF
   cd /home/gdi-s2/dev/aiedu/meta-eng-lab && python3 score.py

   → 결과 아래 표가 그대로 찍힌다: '[v1 현행] 부서정확도 18/20(90%) 긴급도정확도 15/20(75%) 둘다맞음 13/20' / '[v2 신규] 부서정확도 20/20(100%) 긴급도정확도 15/20(75%) 둘다맞음 15/20'. v1이 부서 18/20인 이유는 함정 MW-2026-0006('하수구...역류')·MW-2026-0012('수도관...도로')를 오분류하기 때문이고, v2가 20/20으로 둘 다 교정한다. 맨 아래 '회귀(정답->오답 뒤집힘): 0건'과 '판정: PASS (v1 둘다맞음 13 -> v2 15, 회귀 0)'가 뜨면 정상. 이 한 화면이 '교체해도 되는가'의 근거다.

5. 5교체 판정표(report.md) 남기고 회귀를 일부러 일으켜 게이트 검증

   먼저 판정 결과를 report.md로 저장한다(거버넌스 기록·버전관리 대상). 그다음 v2에 나쁜 규칙을 한 줄 심어 일부러 회귀를 만들고 재심사해서 게이트가 정말 FAIL을 잡는지 확인한 뒤, 원복한다. '테스트가 실패를 잡는지 테스트'하는 단계다. 아래를 통째로 붙여넣어 실행한다.

   터미널 명령

   ⧉ 복사

   cd /home/gdi-s2/dev/aiedu/meta-eng-lab
   # 1) 현재 판정을 기록으로 남김
   { echo "# 모델교체 심사 리포트 (2026-07-07)"; echo; echo '## 대상: 민원 분류 프롬프트 v1 -> v2'; echo '## 골든셋: golden.jsonl (합성 20건)'; echo; echo '```'; python3 score.py; echo '```'; } > report.md
   echo '--- report.md 저장 완료 ---'
   # 2) 일부러 회귀 유발: v2에서 '어르신' 언급을 무조건 복지로 끌어가는 나쁜 규칙 주입
   cp predict.py predict.py.bak
   python3 - << 'PY'
   s=open('predict.py',encoding='utf-8').read()
   bad='    if version == "v2" and "어르신" in t:
           dept = "복지"  # 나쁜규칙: 도로/환경의 어르신 언급까지 복지로 끌어감
       return {"dept": dept, "urgency": urgency}'
   s=s.replace('    return {"dept": dept, "urgency": urgency}
   
   if __name__',bad+'
   
   if __name__',1)
   open('predict.py','w',encoding='utf-8').write(s)
   print('나쁜 규칙 주입 완료')
   PY
   python3 predict.py v2 && echo '=== 회귀 유발 후 재심사 ===' && python3 score.py
   # 3) 원복
   cp predict.py.bak predict.py && python3 predict.py v2 >/dev/null && echo '--- 원복 완료: predict.py 정상 ---'

   → 결과 report.md가 PASS 근거와 함께 저장된다('report.md 저장 완료' 출력). 나쁜 규칙 주입 후 재심사에서는 정확히 'X MW-2026-0009 인도 보도블럭이 깨져서 어르신이 넘어졌어요... -> v2예측 복지/상 (정답 도로/상)'가 나열되고 '회귀(정답->오답 뒤집힘): 1건', '판정: FAIL (v1 둘다맞음 13 -> v2 14, 회귀 1)'이 뜬다 — 도로 민원(어르신이 넘어진)이 복지로 뒤집힌 걸 게이트가 실제로 잡아냄을 눈으로 확인. 마지막에 '원복 완료: predict.py 정상'이 출력되면 predict.py는 다시 PASS 상태(다시 python3 score.py 하면 회귀 0건/PASS).

6. 6실패 회고 -> 레시피 자산화(RECIPE-0001.md)

   방금 잡아낸 실패(함정 MW-2026-0012 오분류 + 나쁜 규칙으로 인한 MW-2026-0009 회귀)를 조직 자산으로 남긴다. 아래를 EOF 줄까지 통째로 붙여넣어 레시피 카드를 만든다. 다음 담당자가 같은 실수를 반복하지 않도록 '증상->원인->재발방지 규칙->회귀 테스트 추가' 형식으로 성문화한다. 이게 레시피 대장의 1번 항목이 된다.

   터미널 명령

   ⧉ 복사

   cat > /home/gdi-s2/dev/aiedu/meta-eng-lab/RECIPE-0001.md << 'EOF'
   # RECIPE-0001: 민원 분류 프롬프트 회귀 방지 카드
   작성일 2026-07-07 | 담당 도민안전실 | 대상 민원 분류 프롬프트 v1->v2
   
   ## 증상
   - 수도관 파열 민원(MW-2026-0012)이 '도로'로 오분류됨(문장에 '도로' 단어가 섞여 '도로' 규칙이 상하수도를 덮어씀). v1 부서정확도 18/20.
   - v2에서 부서 규칙을 무리하게 확장('어르신'->복지)하니, 어르신이 넘어진 도로 민원(MW-2026-0009)이 '복지'로 뒤집힘(회귀 1건 -> FAIL).
   
   ## 원인
   - 키워드가 여러 부서에 걸치는 복합 민원(누수+도로)의 우선순위 규칙 부재 -> 뒤에 걸린 규칙이 앞 정답을 덮어씀.
   - 개선 규칙을 '넓게' 넣어 다른 정답을 깨뜨림 -> 조용한 악화(회귀).
   
   ## 재발방지 규칙(레시피)
   1. 복합 민원은 '원인 시설' 기준으로 배정한다: 수도관/역류 언급 시 '도로' 단어가 있어도 상하수도(v2가 이 규칙을 맨 마지막에 두어 교정).
   2. 프롬프트/규칙 변경은 반드시 golden.jsonl 회귀 테스트를 통과(회귀 0건)해야 배포한다.
   3. 함정 케이스는 골든셋에 영구 보존한다(MW-2026-0012 복합 누수, MW-2026-0018 폭언).
   
   ## 회귀 테스트 추가
   - golden.jsonl에 MW-2026-0012, MW-2026-0018 유지. 새 실패 발견 시 골든셋에 1건씩 append 후 python3 score.py 재실행.
   
   ## 롤백 절차
   - FAIL 판정 시 predict.py(운영에선 프롬프트/모델 설정)를 직전 버전으로 cp 원복, score.py로 PASS 재확인 후에만 유지.
   
   ## 레시피 대장 등록
   - ID RECIPE-0001 | 상태 적용 | 다음 리뷰 모델 교체 시
   EOF
   cat /home/gdi-s2/dev/aiedu/meta-eng-lab/RECIPE-0001.md && echo && ls -1 /home/gdi-s2/dev/aiedu/meta-eng-lab

   → 결과 RECIPE-0001.md 내용이 그대로 출력되고, 이어서 폴더 목록에 golden.jsonl, predict.py, predict.py.bak, score.py, report.md, RECIPE-0001.md, pred_v1.jsonl, pred_v2.jsonl가 보인다. 이제 다음 모델 교체 때는 'predict() 내부만 새 모델 호출로 바꾸고 python3 score.py 한 줄'로 회귀를 재심사할 수 있다 — 측정·게이트·회고가 제도화된 상태.