앞 장들에서 소개한 대책을 실제로 Claude Code를 돌려 측정했다. 결과부터 적는다.
| 대책 |
결과 |
판정 |
| CLAUDE.md를 짧게 줄인다 |
34% 감소 |
◎ 효과 있음 |
| 서브에이전트에 맡긴다 |
4% 증가 |
△ 쓸 자리에 따라 다름 |
| 사고량(effort)을 low로 |
9% 증가 |
× 역효과 |
| 관계없는 작업으로 넘어갈 때 /clear |
대화를 이어 간 쪽이 60% 쌌다 |
× 조건부 |
"효과 있다"고들 하는 것 중 절반은 적어도 이 조건에서는 효과가 없었다. 오히려 비싸지는 것도 있었다. 아래에서 측정 방법과 그렇게 된 이유를 설명한다.
측정 방법
검증용 프로젝트
TODO 관리를 하는 작은 Python 프로젝트(파일 4개, 테스트 7건)를 준비했다. 일부러 버그를 2개 넣어 둬서 처음에는 테스트 4건이 실패한다.
돌린 방법
Claude Code를 비대화형 모드(claude -p)로 돌리고 --output-format json으로 받은 결과에서 사용 토큰 수와 정가 환산 금액을 뽑아 기록했다.
claude -p "테스트가 실패하고 있습니다. 원인을 조사해서 고쳐 주세요…" \
--output-format json --model sonnet --permission-mode acceptEdits
원문 프롬프트: claude -p "テストが落ちています。原因を調べて直してください…"
- 모델: Claude Sonnet 5.5(서브에이전트는 Haiku 5.5)
- 횟수: 조건별 3회씩. 표의 숫자는 3회 평균이다
- 일시: 2026년 11월 7일
- 매번 프로젝트를 새로 복사한 다음 실행했다
무엇으로 비교했나
결과 JSON에는 모델별 입력·출력·캐시 읽기·캐시 쓰기 토큰 수와 정가로 계산한 금액(costUSD)이 들어 있다. 이 장에서는 그 정가 환산 금액을 잣대로 삼았다.
구독 사용자에게는 청구액이 아니다. 다만 토큰 종류별 가중치가 반영돼 있어서 "어느 쪽이 사용 한도를 더 많이 쓰는가"를 비교하는 기준이 된다.
품질도 확인했다
싸져도 작업에 실패하면 의미가 없으니 매번 다음 항목도 확인했다.
- 버그 수정·기능 추가: 테스트가 전부 통과하는가
- 로그 조사: 에러의 진짜 원인(디스크 용량 부족)을 맞혔는가
- README 추가: 지정한 1줄이 들어갔는가
모든 조건·모든 회차에서 작업은 성공했다. 아래 비교는 전부 같은 결과를 내는 데 얼마나 썼는지를 따진 것이다.
참고
--resume으로 대화를 이어 갔을 때 결과 JSON에는 그 대화 전체의 누적 숫자가 들어 있었다. 이어 간 부분만 비교하려면 이전 숫자를 빼야 한다. 나는 처음에 이걸 몰라서 "대책으로 52% 감소"라는 틀린 집계를 냈다. 직접 잴 때는 주의하자.
실험 1: CLAUDE.md 길이 → 34% 감소
| 조건 |
금액(평균) |
캐시 쓰기 |
| 긴 CLAUDE.md(426줄) |
$0.124 |
23,392 |
| 짧은 CLAUDE.md(4줄) |
$0.082 |
14,861 |
과제는 버그 수정이다. CLAUDE.md 말고는 조건이 완전히 같다.
짧은 쪽이 34% 쌌다. 3회 모두 거의 같은 숫자였고 편차는 아주 작았다.
긴 CLAUDE.md에는 코딩 규약, 리뷰 관점, 릴리스 절차, 함수별 사양, 트러블슈팅까지 실제로 자주 보는 내용을 꽉 채웠다. 캐시 쓰기 차이로 계산하면 이 CLAUDE.md는 요청 한 번당 약 8,500토큰을 쓸데없이 실어 나르고 있었다. 버그를 고치는 동안 Claude는 요청을 여러 번 보내는데 그때마다 이 8,500토큰이 함께 실린다.