블라인드 심판을 통과하는 '내 문체' 글쓰기 하네스

프롬프트 몇 줄로 내 문체를 흉내 내게 하면 결과는 항상 무난하고 정돈된 글이 됩니다. 검증자가 없으니 상투어, 균일한 리듬, 설계된 구조 같은 AI 흔적을 모델 스스로 찾지 못했고, 사람이 매번 검토하면 자동화의 의미가 사라졌습니다.

기준이 될 본인 글을 모으는 단계부터 어려웠습니다. 노트 보관함에는 AI가 생성한 노트가 대량으로 섞여 있었고, 보낸 메일에도 스크립트가 대신 발송한 메일이 섞여 있어 그대로 기준으로 쓸 수 없었습니다.

• 메신저·AI 입력 기록·보낸 메일·노트에서 본인 발화만 추출하고, 휴리스틱 점수와 LLM 정독을 잇는 2단 판별로 AI 생성 글을 걸러 골든 표본을 만들었습니다.
• 레지스터(채팅·업무 지시·메일·SNS 등)별 문체 프로필과 20개 정량 지표 기준치를 만들었습니다.
• 생성문을 G1 AI 표현 린터, G2 정량 지표 대조, G3 블라인드 판별 패널, G4 팩트체크의 4중 게이트에 통과시키고, 탈락 사유를 누적 피드백으로 재작성에 돌려보냈습니다.
• 판별 패널은 심판 5명이 심판별로 다르게 섞인 라인업에서 생성문을 지목하게 하고, 5명 중 1명 이하만 지목하면 통과로 정했습니다.
• 이후 일상 용도로는 상대별 문체 카드와 결정론 셀프체크만 쓰는 경량판으로 다시 설계하고, 무거운 하네스는 필요할 때만 쓰도록 분리했습니다.

• 게이트 가동 전 캘리브레이션에서 심판 5명 모두가 문체를 주입하지 않은 AI 글을 정확히 지목했습니다.
• 실전 케이스 6건 중 5건이 판별 1/5 이하로 통과했고, 그중 1건은 첫 초안이 0/5로 바로 통과했습니다.
• 내용이 거의 없는 의례성 메일 1건은 구체성을 요구하는 게이트와 날조를 막는 게이트가 맞물려 수렴하지 않았고, 시스템이 억지로 통과시키지 않고 사람에게 반환했습니다.
• 경량판은 본인 실제 글 골든 7건 통과, 오답 초안 8건 차단, 실제 발송 메일과 메신저 발화에서 오탐 0건을 포함한 회귀 23건을 모두 통과했습니다.

가장 중요한 발견은 사람처럼 보이라는 압박이 날조를 부른다는 점이었습니다. 심판이 구체성이 없다고 반복 지적하자 작성 모델이 가짜 이름과 배경을 지어냈고, 그 초안은 문체 게이트와 판별 패널을 모두 통과했습니다. 문체 검증과 사실 검증은 독립된 게이트여야 한다는 설계 원칙을 실측으로 얻었습니다.

경량판을 만들며 얻은 교훈은 분석 결과를 그대로 규칙으로 옮기지 말고 실제 발화로 오탐 검사를 돌려야 한다는 것이었습니다. 분석 단계에서 0건이라고 본 표현이 실제 메신저 발화에서는 249건 쓰이고 있었고, 검사기를 실제 글에 돌려 보고서야 그 차이가 드러났습니다.