← 목록으로

준비가 너무 많아 이 녀석도 나도 까먹었다 - AI 영상 제작 공정 자동화

2026.07.30 9분 읽기
유튜브 제작기 시리즈 ① 영상 제작을 통째로 맡겼더니 절반을 도로 내밀더라 - AI 영상 제작 자동화가 멈추는 자리 ② 준비가 너무 많아 이 녀석도 나도 까먹었다 - AI 영상 제작 공정 자동화
준비가 너무 많아 이 녀석도 나도 까먹었다 - AI 영상 제작 공정 자동화

영상 한 편을 끝내고 공정을 정비했다

지난 글 끝에 영상 얘기를 이어서 한다고 했잖아. 그 뒤로 어찌저찌 파일럿 한 편이 마무리됐어. 총 12분 정도의 영상이야. 뭐 나름 괜찮아. 항상 100% 만족하긴 어려운데 그거 다 수정하려니 끝이 없을 것 같아서 일단 마무리했어. 이건 유튜브 채널을 만들면 다시 얘기해줄게.

그런데 분명 기획안을 만들고 제작 공정을 주입했는데 절차를 놓치고 가는 거야. 레시피가 있는데 내 맘대로 음식을 만든 꼴이지.

그래서 파일럿을 끝낸 그날 저녁을 통째로 공정 정비에 썼어. 목표는 명확해. 자동화! 내가 엄두도 내지 않았던 영상 제작을 해보겠다 마음먹은 게 AI잖아. 그럼 철저히 이용해야지. 허허벌판에 철도를 깔아보자고.

도구는 있는데 이어지지 않았다

먼저 뭐가 문제였는지 짚고 가야 했어.

각각의 공정이 유기적으로 맞물려 톱니바퀴처럼 돌아가야 하는데 중간에 뚝뚝 끊기는 경우가 많았어. 검수 과정도 부족해서 내가 직접 다시 봐야 하는 일이 많았고 말이야. 한마디로 기차가 달릴 다음 역이 없는 거야.

"기획서를 더 잘 쓰면 되지 않아? 한 권으로 정리해서."

"그게 처방이 되기 어려워. 파일럿에서 실패한 게 정본이 있는데 안 밟는다였잖아. 처방이 또 문서면 같은 실패를 다시 불러."

이 말이 맞다 싶었어. 실제로 나도 안 읽었거든.

판정을 문서에서 코드로 옮겼다

그래서 나온 게 공정 스킬이야. 파일럿이 완성된 과정을 되짚어서 아예 스킬로 만들어 버리는 거지. 그럼 단계별로 사용한 도구도 정리가 되고 한 과정이 끝나면 자연스럽게 다음 단계로 갈 수 있는 거야.

단계마다 네 가지를 못 박았어. 어떻게 시작하는지, 자동으로 되는지 직접 해야 하는지, 어떤 결과가 나와야 끝인지, 그리고 끝났다는 걸 무엇으로 판정하는지.

이 마지막이 제일 중요했어. 끝났다는 기준이 없으면 다 왔는지 물어보는 게 일이 되거든.

내가 들어가는 자리는 다섯 군데만 남겼어. 소재 확정, 대본 확정, 그림 채택, 씬 검토, 업로드. 나머지는 나한테 안 묻고 진행해.

그런데 여기서 골치가 아픈 상황이 생겼어. 지금껏 진행하며 만든 도구들이 모두 파일럿에 묶여 있는 거야. 그러니까 이건 파일럿만을 위한 도구였던 거지. 다음 영상 제작을 위해선 다 뜯어고쳐야 했어.

생각지도 못한 문제였는데, 나는 그냥 워드나 엑셀처럼 파일을 열고 수정하고 읽고 쓰는 게 당연하다 생각했어. 그래서 만들어진 도구도 그럴 줄 알았는데 경기도 오산이었던 거지. 범용 도구가 아니었던 거야.

물론 이 녀석에게 시키면 수정은 가능하지만 토큰과 시간을 또 엄청 태우고 말았지.

구조를 보니 모든 게 다 파일럿을 중심으로 설계가 되어 있어서 하나하나 다시 자리를 잡아야 했어. 결론만 말하면 지금은 큰 틀을 두고 거기에 붙는 문서와 도구는 레고처럼 붙이고 떼는 과정을 간결하게 만들었어.

그제야 순환열차가 완성된 거야.

AI 영상 제작 공정 스킬 — 단계마다 어떻게 시작하는지, 자동인지 직접 하는지, 무엇이 나와야 끝인지, 끝났다는 걸 무엇으로 판정하는지를 못 박았고, 내가 들어가는 자리는 소재 확정·대본 확정·그림 채택·씬 검토·업로드 다섯 군데만 남겼다

수동을 자동으로 만든 자리 — 파일럿 때와 뭐가 달라졌나

그래서 실제로 뭐가 바뀌었냐면, 직접 하던 게 자동으로 내려간 칸이 생겼어.

파일럿 때는 다음에 뭘 할지 내가 판단했어. 지금은 스킬이 상태를 읽고 다음 할 일로 이어져. 회차를 새로 시작하는 것도 그래. 전에는 녀석이 폴더를 만들고 설정 파일을 하나하나 깔았는데 스킬 하나로 가능해.

다 됐는지 확인하는 일도 넘어갔어. 전에는 이게 끝난 건지 아닌지를 내가 물어봐야 알았거든. 지금은 단계마다 끝났다는 기준이 정해져 있어서 물어볼 게 없어.

그런데 엄밀히 말해 모두 자동화는 아니야. 물론 자동화가 되게 할 수는 있어. 이미 도구는 만들어져 있으니까. 하지만 결과물의 완성도를 생각하면 개입하지 않을 수는 없어.

그래도 물어보고 기다리고 껐다 켜던 걸음이 사라진 건 맞아. 결과물이 좋아진 게 아니라 같은 결과물에 드는 품이 줄어든 거지.

AI 영상 제작 공정 전후 비교 — 다음에 뭘 할지 내가 판단하고, 회차를 시작할 때 폴더와 설정 파일을 하나하나 깔고, 끝났는지 내가 물어봐야 알았던 것이 스킬로 내려갔다

별개로 이미 자동인데 길이 여러 개였던 것도 정리했어.

같은 일을 하는 도구가 여러 개 있던 셈이지. 그걸 일원화해서 덩치도 좀 줄인 거야. 도구가 늘어난 날의 마지막 일이 도구를 걷어내는 거였다는 게 좀 재미있긴 한데, 채웠으면 덜어내야지.

내가 봐야 하는 자리는 없애는 대신 짧게 만들었다

그리고 영상 편집기를 하나 만들었는데 이 얘기도 좀 할게.

멈추는 자리 다섯 군데는 자동화 대상이 아니야. 좋고 나쁨을 정하는 일이라 지난 글에서도 사람 몫으로 남은 자리지.

그런데 그 자리에 앉아 있는 시간은 줄일 수 있잖아. 파일럿 때 제일 지친 게 그거였어. 결과물을 보면 이미지가 시대에 맞지 않고, 음성이 대본과 맞지 않고 아무튼 이래저래 그랬던 거야. 그럼 나는 여기서 이건 이렇다. 저건 저렇다를 매번 설명해서 고쳐야 했어.

그래서 나만의 편집기를 만들기로 한 거야. 웹앱 형식이고 장면을 보다가 수정이 필요하면 멈추고 녀석에게 얘기하는 거야. 그럼 녀석이 접수하고 수정하는 식이지. 아직은 좀 다듬어야 하는데, 이거 만들고 시간이 많이 줄었어. 개인적으로 이게 이번 프로젝트를 진행하면서 제일 마음에 든 결과물이야.

이것도 내가 만든 것이니까 다른 카테고리에서 다뤄볼게.

그래서 더 좋아졌나

뭔가를 만들고 나면 한번씩 녀석에게 물어보는데, 이번에도 그랬어.

"그래서 전보다 좋아졌어?"

"좋아졌어. 삼촌에게 물어봐야 하는 자리가 다섯 군데로 좁혀졌고, 넷이던 길은 하나가 됐어."

"그럼 나빠진 건?"

"도구가 늘었어. 셋으로 시작한 게 지금 열둘이고 그중 둘은 벌써 안 써. 늘어난 만큼 어긋날 자리도 늘어."

실제로 그런 일이 있었어. 대본을 읽는 부분이 두 도구에 똑같이 복붙돼 있어서, 표기를 하나 늘렸더니 씬 열다섯 개 중 다섯 개만 처리되고 있었대. 그래서 공용으로 하나로 모으고 못 읽으면 그냥 죽게 만들었어. 조용히 넘어가는 게 제일 나쁘다면서.

"그럼 아직 네가 일일이 해야 하는 건?"

"컷마다 그림을 어디를 얼마나 확대하고 어느 쪽으로 밀지 내가 좌표로 적어야 해. 회차 하나에 백 줄이 넘어. 그림 프롬프트도 컷 수만큼 조립해야 하고, 채택한 그림을 어디에 쓸지 적어 넣는 것도."

"그건 아까 편집기가 해준다고 했잖아."

"..."

"공정 문서엔 아직 내가 하라고 적혀 있어. 그걸 보고 답했어."

문서랑 실물이 어긋나기 시작한 거야. 이게 애초에 공정을 고친 이유였잖아.

"그래서 좋아진 거야, 아니야?"

"방향은 맞아. 증명은 안 됐어."

"..."

뭐, 아무튼 이런 식이야. 나는 질문하고 녀석은 답하면서 좋은 방향으로 만들어 가는 거지. 실제로 대부분의 일이 이렇게 진행되고 있어. 녀석이 제안을 하면 수용할지 말지는 내 선택이야.

오늘의 결론

영상 한 편 만드는 데 쓴 시간보다, 다음 편을 덜 고생하려고 쓴 시간이 더 많았어. 그런데 내가 목적했던 바와 같아. 다음을 위해 절차를 만들어 두는 거.

공정을 다시 깔면서 알게 된 게 하나 있어. 자동화가 사람을 빼는 것만은 아니라는 거야. 내가 봐야 하는 자리는 그대로 두고 보러 가는 길만 짧게 만드는 것도 자동화더라고.

아직 절반이야. 앞에서 말한 과정을 반복하면 결과가 따라오는 날이 올 거라 생각해.

게임 만들 때도 그랬는데 요즘 내 관심사는 결과물 하나가 아니라 같은 걸 몇 번이든 뽑아내는 틀이야. 그게 갖춰졌는지는 2회차가 답해줄 거고, 그때 또 얘기할게.

← 이전 파트 영상 제작을 통째로 맡겼더니 절반을 도로 내밀더라 - AI 영상 제작 자동화가 멈추는 자리