유튜브 영상을 보는 게 취미가 됐어
요즘 취미가 생겼는데 바로 유튜브 영상 뒤져보기야. ai를 접하고 조금 만져 본 사람들은 아마 공감할거야. 뭔가 더 해보고 싶거든. 그러다 내 관심을 끌었던게 영상 제작이었어.
사실 코딩도 그렇지만 내 분야가 아니면 대부분은 사실 엄두가 잘 안 나잖아. 영상 제작도 그렇다고 볼 수 있지. 그래서 일단 해보기로 했어.
먼저 주제를 정해야 하는데 평소에 사극을 좋아하고 소설도 역사 관련 얘기만 찾아보는 편이거든. 그래서 고리타분하다는 말을 좀 듣는 편히긴 한데 좋은 걸 어쩌겠어.
아무튼 역사 소재로 짧은 이야기 영상을 한 편 만들어보기로 했어.
결론은, 어찌저찌 만들긴 했는데 사실 퀄리티가 내가 생각했었던 만큼 나오진 않았어. 당연하겠지. 나는 전혀 베이스가 없는 걸.
채널은 아직 안 열었고 공개 시점도 안 정했어. 그러니 오늘은 결과물 자랑이 아니라 만드는 과정 얘기야. 내가 궁금했던 건 하나였어. 어디까지 ai로 할 수 있을까.
영상 한 편이 나오기까지 여섯 단계
뭔가를 시작하기 전에 항상 조사를 시작하는 버릇이 있는데(당연한거 아니냐고? 안 그런 사람 생각보다 많아.) 이번에도 예외가 될 순 없었지.
여기서도 당연히 이 녀석이 힘을 발휘해. 에이전트를 통해서 리서치를 시키고 사실 확인을 하고 기획안을 만들어 다랄고 했지. 혼자 하면 얼마나 걸릴 지 모를 일을 이 녀석은 금방하거든.
이 표는 만들고 난 후 정리한 다이어그램이야. 단계가 조금 더 있긴 한데 얼추 이 정도로 볼 수 있어. 물론 각 분야는 조사를 시키고 학습을 시켜뒀지. '그냥 만들어 줘'가 아니라 이 녀석도 공부를 시킨 이후에 만들어 달라 하는거지.
여기까진 기가막혔어. 기획안을 멋드러지게 만들었거든. 그래서 기대를 가지고 시작했어. 그런데...
사람 손을 떠난 자리(자동화) — 음성, 자막, 편집
쉽지 않았어. 기준을 너무 높게 잡았을까? 왜 유튜브 보면 화려하잖아. 하지만 디테일한 연출로 들어가면 후... 아, 물론 내가 아직 잘 모르는 탓일 수도 있어. 그래서 기준을 좀 낮추고 완성품을 만들어 보는데 집중했지.
하나씩 얘기해보자면 대본을 음성으로 전환하는 건 처음에 브루를 사용했어. 그런데 실제로 써보니 두 가지가 걸렸어. 하나는 목소리 품질이 성에 차지 않았고, 다른 하나가 결정적이었어.
"삼촌, 이건 내가 못 돌려. 화면 보고 클릭해야 하는 프로그램이라서."
물론 playwright MCP를 사용하면 가능해. 그냥 가능만 해. 세세한 컨트롤은 힘들었어. 내 목표는 자동화에 중점이 맞춰져 있으니까 이건 탈락이야.
대신 고른 게 타입캐스트였어. 이 녀석은 api로 연결이 되거든. 같은 음성 편집기인데 한쪽은 내가 직접 조작해야 나오고, 한쪽은 녀석이 명령 한 줄로 뽑아. 당연히 내 선택은 후자였지.
브루에서 손을 떼니 자막이 걸렸는데 이것도 생각보다 금방 해결이 됐어.
"자막을 네가 알아서 넣을 수 있어?"
"가능해. 보니까 ffmpeg가 설치가 되어 있더라. 이걸로 할 수 있어."
'f..뭐? 뭐지? 내가 설치한 기억이 없는데?'
언제 설치했는지도 뭔지도 모르는 프로그램이 시스템에 있다고 하는거야. 찾아봤더니 꽤 유명한 편집기더라고(이걸 진짜 내가 언제 설치했지?). 덕분에 상당 부분 자동화가 가능해졌어.
조립도 마찬가지야. 처음에 캡컷이라는 편집 프로그램을 사용했는데 ffmpeg로 자동화를 만들었어. 사진을 천천히 확대하고 밀어주는 효과도, 자막을 화면에 굽는 것도, 열다섯 장면을 이어 붙이는 것도 전부.
이게 왜 좋냐면 한 장면만 고치고 싶을 때 그 장면만 다시 뽑으면 되거든. 편집 프로그램이었으면 내가 직접 붙들고 작업을 해야 됐을거야. 거기에 또 프로그램 사용법도 익혀야 하고 말이야.
사료 조사가 조금 힘들었는데, 리서치 자동화부터 검수까지 에이전트를 구분해 자동화를 했지만 결과물이 실제 기록과 달라서 애를 먹었는데 아무래도 역사물이다보니 신경을 안 쓸 수가 없었거든. 지금은 다시 조정을 해서 나아졌지만 아예 손을 떼기는 힘들것 같아.
마지막으로 삽질한 걸 그때그때 문서로 남기고 다음에 참고할 수 있는 문서를 꽤 많이 만들었어. 물론 내가 읽는 건 아니야. 이 녀석이 읽고 대처하는거지. 분야별로 스킬화 했고, 큰 줄기에서 조종을 하는 스킬도 만들었어. 그러니까 팀장과 부하 직원을 만들었다고 보면 될거야.
사람이 남은 자리 — 눈, 귀, 그리고 지갑
이제 내 품이 제일 많이 들어간 단계를 살펴볼게.
이미지나 영상을 뽑는 건 의외로 자동화 할 수 있는 길이 꽤 많았어. 구글 플로우는 playwright를 사용해서 해도 되고, 힉스필드는 MCP가 있어서 가능했고.
문제는 품질이야. 원하는 연출 컷을 얻기가 힘들다는거야. 시대극이다보니 소품이나 고증이 중요한데 이게 원하는 대로 컨트롤이 안 되는거지.
그렇다고 내가 미친듯이 고증을 적용하려 한것도 아니야. 나라풍이 다르거나 소품이 국산품(?)만 맞으면 됐거든. 여기서 크레딧이 꽤 녹았어(참고로 힉스필드를 이용하고 있어). 이건 공부가 더 필요해. 지금은 연출 컷을 바꾸는 형태로 타협하고 있어.
성우도 마찬가지야. 타입캐스트에는 600명 가까운 성우가 있는데, 딱 맞는 성우를 고르기가 여간 힘든게 아니야. 여기서도 꽤 시간이 걸려. 하지만 한번 후보를 정해두면 아마 다음에는 자동화가 될거라 생각해.
대본도 문제가 있었는데 씬이 진행될수록 캐릭터의 서사가 맞지 않고, 상황에 맞지 않는 이야기를 하는 경우가 꽤 있어. 그래서 이건 시놉시를 만들고 캐릭터의 관계도를 미리 만들어 두는 방향으로 조정하고 꽤 나아졌어. 하지만 그래도 사람 손이 꼭 필요한 사안이야.
마지막은 돈이야. 이미지나 영상, 성우 등 돈이 들어가는 곳이 꽤 있어. 그래서 몇 가지 제약을 두고 작업을 요청하긴 하는데 조금 더 알아보고 수정을 해야겠어.
그래서 자동화는 어디까지
다 만들고 나서 되짚어보니 100% 자동화는 말이 안 돼. 많은 걸 포기한다면 가능하지만 그래서야 결과물이 영 안 좋거든. 그래도 일부 자동화는 가능하니까 절반의 성공이랄까.
자동화가 가능한 곳은 정답이 숫자로 나오는 일이었어. 몇 초에 시작해서 몇 초에 끝나는지, 어느 파일을 어느 순서로 붙이는지. 맞았는지 틀렸는지를 ai가 스스로 확인할 수 있는 것들이지.
사람 손을 타는 쪽은 맞는지 틀린지를 정해야 하는 일이었어. 이 그림이 마음에 드는지, 이 목소리가 어울리는지, 이 문장이 귀에 걸리는지.
AI가 못 해서 남은 게 아니야. 애초에 정답이 없는 자리라 누군가는 정해줘야 하는 거지.
오늘의 결론
시작할 땐 다 시킬 수 있다였는데 정확히는 정답이 있는 건 다 시킬 수 있다였어. 판단이 필요한 곳은 아직도 사람 손이 필요해. 물론 처음이다보니 당연히 뭔가 더 있겠지만 영상 한 편을 만들어 본 소감으론 그래. 공부를 더 해서 또 만들어 봐야겠지.
요즘 내 관심사가 결과물 하나를 잘 뽑는 것보다 어떻게 잘 시키느냐로 옮겨간 참이거든. 게임 만들 때도 그랬고 이번에도 그랬어. 삽질한 걸 적어두면 다음번엔 그만큼 안 헤매니까.
그러다보니 뭔가를 만들기보다 뭔가를 만들기 위한 장치를 만드는데 시간이 노력이 더 들고 있는데, 나 스스로는 잘 가고 있다고 생각해. 결국 시스템이 갖춰지면 해낼 수 있는 요소가 많아지는거니까.
덕분에 포스트가 조금 뜸해지고 있는데 조금 더 자주 포스트를 남길 수 있는 방안도 연구를 해봐야겠어.
아, 영상 얘기를 아직 다 하진 못해서 다음 포스트에 이어서 할게.
