클로드 코드 서브에이전트 폭주 - 에이전트 아흔일곱이 5시간치 토큰을 9분에 태웠다

5시간이 9분 만에 없어졌다

알다시피 클로드에는 5시간마다 쓸 수 있는 토큰이 정해져 있어. 다 차면 그 자리에서 손 놓고 기다리는 수밖에 없지.

그런데 그게 9분 만에 막혀버렸어. 원고 하나 놓고 녀석한테 읽기 편한지 봐 달라고 했을 뿐인데 말이야.

블로그에 올리려고 쓴 글 하나였고 이 녀석이 할 일은 맞춤법, 띄어쓰기 같은 간단한 마무리 작업이야. 그런데 5시간 분량의 토큰이 증발해버린 거지.

원고 하나에 에이전트 아흔일곱

클로드한테는 자기 밑에 에이전트를 붙여 여러 가지를 동시에 시키는 기능이 있어. 그 얘기는 예전에 한 번 정리한 적이 있지.

포스트를 작성하는 작업에 이런 저런 검사 도구를 만들어 사용하고 있는데 이 작업도 그 과정중 하나였어. 작업을 하다가 에이전트를 몇 기 붙일지까지 녀석이 스크립트로 만들었고 진행을 했어.

시키기 전에 녀석은 12만에서 20만 토큰쯤 들 거라고 말했지. 그런데 말이야. 실제로 나간 건 5,186,058토큰이었어. 9분 만에 5시간치 토큰이 날아간 거야.

녀석은 에이전트가 도는 동안 그냥 잠만 자고 있었어.

나중에 왜 그랬냐고 물어보니 답이 허탈해. 녀석이 짜놓은 게 이랬거든. 원고를 일곱 가지 방법으로 나눠 읽고 하나마다 고칠 곳을 여덟 개까지 낸다는 거야.. 고칠 곳 하나마다 「이게 진짜 문제냐」 따지는 에이전트를 둘씩 더 붙이고 말이야.

다시 말하지만 내가 원한건 맞춤법 같은 간단한 일이었어. 그런데 참 복잡하게도 일을 해버렸네.

계산해보면 7 곱하기 8 곱하기 2는 112야. 자기 손으로 적어놓고 바로 윗줄에 12만에서 20만이라고 적었어. 곱하기를 한 번도 안 한 거지.

그렇게 붙은 에이전트가 아흔일곱이었어. 고칠 곳이 여덟 개까지 안 나온 방법이 있어서 112가 아니라 아흔일곱이고.

그런데 건진 게 없었다

이 정도면 비싼 검토를 한 셈이라고 넘어갈 수도 있어. 그런데 진짜 문제는 그게 아니야.

고칠 곳은 마흔다섯 군데 나왔어. 그런데 나한테 올라온 건 하나도 없었어.

고칠 곳마다 에이전트가 둘씩 붙는다고 했잖아. 그 둘이 각각 다른 걸 물었거든. 하나는 「이게 진짜 문제냐」, 다른 하나는 「이렇게 고치자는 게 맞냐」. 둘 다 그렇다고 해야 나한테 올리게 짜놨어.

이러면 진짜 고쳐야 할 내용인데 고칠 방법이 시원찮으면 그 의견도 같이 버려져. 마흔다섯 군데가 그렇게 나한테 오기 전에 걸러진 거야.

한도가 소진 된것도 한 번에 그런 게 아니야. 녀석이 이어서 사실 확인용으로 하나의 일을 더 시켰고 그러다 소진 된 거지.

좀 복잡하게 얘기했는데 쉽게 말해 건진게 하나도 없다는 거야. 5시간 분량의 토큰을 소모하고 말이야.

짜증이 확 나서 녀석한테 한 마디 했어.

"5시간이 그냥 5시간인 줄 알아? 앞으로 5시간을 손가락 빨고 기다려야 한다는 뜻이야."

녀석이 못 알아 들을 걸 알고 있었지만 사람에게 하듯이 화를 내버렸지. 나만 더 답답해질뿐인데.

하필 지침을 줄인 다음 주였다

처음엔 황당했는데 시간이 좀 지나니까 짜증이 났지. 같은 실수가 계속 났거든. 그 주에만 사흘 연속이야.

토요일엔 할 일을 실제보다 크게 잡았어. 일요일엔 어느 AI를 쓸지 안 정해서 제일 비싼 모델로 일을 시켰어. 그리고 월요일에 이렇게 된 거야.

그리고 자꾸 걸리는 게 하나 있었어. 그 일이 벌어진 게 지침을 손본 직후란 말이야.

바로 며칠 전에 녀석한테 매번 실리는 지침 파일을 줄이자고 했었거든. 400줄 넘던 걸 295줄로 깎았어. 그 얘기는 따로 한 편 썼지.

그 전까지는 이런 일이 없었어. 하필 그 타이밍에 그래 버리니 답답한 거지. 내가 뭘 잘못 지운 건가 싶고.

짚이는 게 둘인데 둘 다 안 맞았어

그래서 이번에 기록을 다 뒤져보라고 시켰어. 에이전트가 하나 뜰 때마다 기록 파일에 한 줄씩 쌓이거든. 그걸 세면 언제 몇 기를 붙였는지가 나와.

세보니까 내 느낌이 틀리진 않았더라고. 기록이 남아 있는 건 8월 12일부터야.

시기	작업 횟수	한 번에 붙인 에이전트
8월 12일 ~ 28일 (지침 줄이기 전)	30회	평균 8기, 제일 많을 때 20기
8월 29일 ~ 31일 (줄인 직후 사흘)	7회	평균 27기, 제일 많을 때 97기
9월 1일 ~ 오늘	8회	평균 3기, 제일 많을 때 7기

지침을 깎은 게 8월 28일 오후야. 그다음 날부터 사흘이 저 모양이지.

그런데 파고들수록 둘 다 혼자서는 설명이 안 됐어.

첫째, 지운 줄 때문이 아니었어. 이번에 어긴 규칙 셋이 「쉬운 방법부터 써라」, 「일을 넘기기 전에 토큰이 얼마나 드는지 재봐라」, 「단순하게 가라」였는데 세 줄 다 안 지워지고 그대로 남아 있었어. 있는데 지키지 않은 거지.

둘째, 짚이는 게 하나 더 있었어. 클로드한테는 얼마나 힘줘서 일할지 정하는 눈금이 있어. 그 제일 윗칸 이름이 ultracode야. 눈금을 올리면 더 꼼꼼하게 봐준다고들 알잖아.

나도 그래서 좀 중요한 작업엔 항상 켜고 말이지. 그런데 기록을 뒤져보니 그 설정이 켜졌다는 알림이 8월 21일부터 28일까지 여드레 동안 한 줄도 안 남아 있다가 29일부터 다시 나왔어. 지침을 깎은 다음 날이야.

삭제해버린 지침이 문제가 된다는 결론이 나올 수 있는 거지.

지침을 더 적는 대신 세는 걸 시켰어

삭제해버린 지침을 되돌릴 수도 있었지만 일단은 그러지 않기로 했어. 조금 더 보고 싶었거든. 그래서 그날 네 가지를 정했어.

정한 것	어떻게 한다
한 번에 몇 기까지 붙이나	열두 기. 더 필요해 보이면 아예 안 시키고 직접 한다
토큰이 예상을 넘으면	도는 중이라도 세운다
검수 에이전트를 몇 기를 붙이나	고칠 곳마다 하나씩 붙이지 말고 여러 곳을 묶어서 하나만
「진짜 문제냐」와 「고치는 법이 맞냐」	묶지 않고 따로 본다

열두 기라는 숫자는 그냥 정한 게 아니야. 에이전트 하나가 쓰는 토큰이 일의 크기랑 거의 상관이 없다는 걸 이때 알았거든. 그동안 사용했던 에이전트 494기를 세보니 대개 87,000토큰쯤 쓰고 제일 적게 쓴 게 32,000, 제일 많이 쓴 게 150,000이었대.

그러니까 에이전트 수가 곧 토큰의 양이 되는 거지. 열두 기면 대충 백만 토큰이야.

도중에 세운다고 다 날아가지는 않아. 이미 끝낸 에이전트는 결과가 남고 그때 돌던 에이전트만 처음부터 다시 돌거든.

그래도 세우는 편이 나아. 안 세우고 끝까지 갔던 그날은 결국 아무것도 못 건졌잖아.

그런데 여기서 한 가지가 마음에 걸렸어. 이런 내용을 적어둔 게 처음이 아니거든. 「일을 넘기기 전에 토큰이 얼마나 드는지 재봐라」는 그 전부터 적혀 있었고 사흘 내내 안 지켜졌잖아. 적어두는 걸로는 세 번 다 먹히지 않은 거야.

그래서 이번엔 적는 대신 도구를 붙였어. 30초마다 그 기록 파일을 훑어서 여섯 기, 열두 기, 스물네 기가 되면 알려주는 스크립트야. 세는 건 스크립트가 하고 넘을 때만 녀석을 부르는 거지.

넘을 때만 부른다는 게 핵심이야. 에이전트를 붙이면 녀석은 결과가 올 때까지 잠만 자거든. 그래서 아흔일곱 기가 9분 만에 나가는 걸 몰랐던 거잖아.

열흘 지나서 다시 세봤어

그 일이 있고 열흘이 지났어. 위 표 맨 아랫줄이 그거야.

9월 1일 이후로 여덟 번 비슷한 작업을 더 시켰는데 다 합쳐서 스물다섯 기야. 제일 많을 때가 일곱 기였어. 열두 기를 한 번도 안 넘겼어.

미리 적어둔 토큰도 지켜졌어. 사흘 전에 원고 하나 검토하는 데 두 기를 붙이면서 18만 토큰이라고 적었는데 실제로 174,603토큰이 나갔거든.

그리고 세다가 기록이 틀린 걸 하나 찾았어. 그날 붙인 게 129기라고 적혀 있었는데 실제로는 144기였어. 세울 때 이미 내가 아는 숫자보다 더 떠 있었던 거지.

얻은 것과 잃은 것

정리하면 이래.

얻은 것	잃은 것
에이전트 수가 평균 여덟에서 셋으로 내려왔다	그날 하루
열두 기라는 숫자와 그걸 세는 도구가 생겼다	기계로 막던 장치 하나를 뺐다
미리 적어둔 토큰 안에서 끝난다	원고에서 내가 잡아내는 건 안 줄었다