프런티어 모델 에이전트 실행 궤적 해부

에이전트 하네스를 설계하거나 강의할 때 «좋은 에이전트는 이렇게 일한다»는 주장은 많지만, 실제 실행 기록으로 뒷받침된 자료는 드뭅니다. 공개 3일 만에 접근이 중단된 프런티어 모델이 코딩 CLI에서 남긴 실행 궤적 데이터셋이 공개되면서, 단일 모델의 행동을 스텝 단위로 해부할 기회가 생겼습니다.

다만 이 데이터는 사고 과정(CoT) 필드가 다른 모델로 사후 생성된 합성값이고, 강한 카피레프트 라이선스이며, 규모가 작습니다. 이 한계를 빼고 수치를 인용하면 «모델의 실제 추론을 증류했다»는 과장이 되기 쉬웠습니다.

• 원본 JSONL을 세션 단위로 재조립해 모든 분석과 뷰어가 같은 입력을 쓰도록 했습니다.
• 도구 분포·전이행렬·n-gram·검증 루프 비율을 스크립트로 산출하고 결과를 CSV·JSON으로 남겨 재집계할 수 있게 했습니다.
• 합성 CoT·라이선스·규모라는 3대 한계를 README 한 곳에서 확정하고 문서·뷰어·덱에 같은 내용으로 표기했습니다.
• 측정 창(3·5·10스텝)에 따라 달라 보이던 검증 수치를 윈도우 병기 표준으로 통일했습니다.
• 관찰 결과를 하네스 설계 6원칙과 적용 체크리스트로 일반화했습니다.

• 문서 5편(메타·정량·종합·행동·하네스)과 재현용 스크립트·집계 CSV를 정리했습니다.
• 전체 4,665스텝 중 81.4%가 도구 실행, 18.6%가 텍스트 응답이라는 행동 구성을 수치로 확인했습니다.
• 14장 슬라이드덱과 인포그래픽을 만들어 강의·발표 자료로 쓸 수 있게 했습니다.
• 분석 결과·뷰어·덱을 정적 사이트로 묶었습니다.

가장 쓸모 있었던 결과는 수치 자체보다 «한계를 한 곳에서 확정하고 모든 산출물에 같은 내용으로 전파하는» 작업 방식이었습니다. 같은 현상도 측정 창에 따라 57%·63%·87%로 달라지므로, 수치는 정의와 함께 다녀야 오해 없이 인용됩니다.

에이전트를 코드 생성기와 가르는 것은 작성 직후의 실행·확인 루프라는 점이 데이터로 드러났고, 이를 하네스 설계 원칙의 첫 항목(Re-Act-Verify)으로 정리했습니다.