한국어 시험 문항·음성 자동 생성·검수 파이프라인

한국어 교육 기업의 학습 앱에는 쓰기·듣기·읽기 모의고사 세트가 계속 필요했습니다. 문항 텍스트뿐 아니라 그림·도표, 듣기 음원, 모범답안·해설, 시험지 PDF까지 갖춰야 시험이 성립했고, 시스템 업로드 형식에 맞춰 묶는 일도 반복되었습니다.

AI가 만든 결과를 사람이 받아 다시 손보고 블록별로 올리는 방식이라 «보기 좋을 뿐 활용하기 어렵다»는 피드백이 있었고, 음성 합성은 오독·억양 오류가 잦아 자동화 전체가 이 단계에서 자주 막혔습니다.

• 문항 유형별 생성 에이전트, 스키마·분량·문체 검증 게이트, 이미지 생성과 비전 대조, PDF 빌드를 하나의 하네스로 묶어 세트 단위로 재실행할 수 있게 했습니다.
• 세트 전체 규모에서만 드러나는 실패를 찾기 위해 듣기 50문항 파일럿을 끝까지 돌리고, 발견한 결함을 생성 규칙·검증기·자가점검 세 곳에 규칙으로 승격했습니다.
• 정답 번호 편중은 사후 교정이 어렵다는 것을 확인하고, 생성 전에 분포·연속·유형 구간 제약을 만족하는 정답 배정표를 만들어 프롬프트에 주입하는 방식으로 바꿨습니다.
• 자동 검증이 사실상 불가능한 음성은 자동화 트랙에서 분리해, 사람이 문장별로 생성·미리듣기·재생성·확정하는 웹 도구로 넘기고 결과는 자동화가 그대로 소비하는 형식으로 맞췄습니다.
• 운영 중인 서비스 데이터는 건드리지 않도록 실행기를 별도 기계에 두고, 결과물은 새 작업 폴더에만 쓰는 구조로 작업판을 설계했습니다.

• 쓰기 모의고사 45세트를 시스템 업로드 형식으로 전달했고, 이후 듣기·읽기 묶음도 같은 구조를 따르도록 패키징 명세를 정리했습니다.
• 듣기 50문항 파일럿에서 검증 장치 자체의 결함 11건을 찾아 규칙으로 승격했고, 정답 사전 배정 적용 후 2차 생성의 분포가 배정표와 완전히 일치했습니다.
• TTS 스튜디오는 한국어·영어·우즈베크어를 독립된 작업 공간으로 구성하고 노출 언어를 설정으로 켜고 끄게 했으며, 언어 추가 절차 문서와 회귀 테스트 6종을 함께 남겼습니다.
• 작업판 v0의 7개 작업 항목을 무인 실행 체계로 약 1시간 40분 만에 완료하고, 시연 환경까지 진행했습니다.

가장 큰 수확은 문항이 아니라 검증 장치의 결함이었습니다. 자동 교정이 발문만 정본화하면서 정답 위치가 바뀌어야 하는 문항을 만들었고, 게이트는 그 문항을 통과시켰습니다. 자가점검이 «검사가 위반을 잡는가»만 보고 «교정이 문항을 망치지 않는가»는 보지 않았기 때문이었습니다. 검증 장치는 스스로 점검하지 않는 층에서 무너진다는 판단으로, 교정 단계에도 별도의 계약 시험을 두었습니다.

모든 것을 자동화하기보다, 자동 검증이 불가능한 단계(음성)를 사람 트랙으로 떼어 내고 그 결과를 자동화가 그대로 받는 형식으로 맞추는 편이 전체 흐름을 덜 막는다고 판단했습니다.