예상 읽기 시간: 약 7분
AI로 작업하면 결과가 빨리 나옵니다.
그래서 좋은 점도 많지만, 이번 Shortform Studio 작업에서는 그 속도 때문에 더 위험한 순간도 있었습니다.
결과가 빨리 나오면 검증도 빨리 끝난 것처럼 느껴집니다.
하지만 실제로는 아니었습니다.
이번 작업에서 가장 크게 남은 교훈은 AI가 만든 결과보다 그 결과를 어떻게 확인했는지가 더 중요하다는 점이었습니다.
특히 제가 직접 겪은 문제는 세 가지였습니다.
잘못된 비교본으로 판단한 것. 렌더까지 확인하지 않고 완료로 본 것. Preview와 Export가 같은 결과라고 착각한 것.
이 글은 AI 영상 제작 도구를 만들며 제가 어디서 잘못 판단했고, 다음부터 무엇을 확인해야겠다고 정리했는지에 대한 기록입니다.
비교본이 틀리면 판단도 틀어집니다
처음에는 제 목소리를 TTS로 학습시키는 작업을 했습니다.
OpenAI 음성, zero-shot, fine-tuned 모델.
이렇게 세 가지 비교본을 만들어 들어보고 선택하려고 했습니다.
그런데 나중에 확인해보니 비교본 자체에 문제가 있었습니다.
HANDOFF 문서에 기록된 핵심은 이렇습니다.
TTS_Config가 평평한 dict를 받으면 설정을 통째로 버리고, 사전학습 기본값으로 돌아가는 구조였다는 점입니다.
즉 제가 “학습된 모델”이라고 듣고 판단한 비교본이 실제로는 학습 결과가 제대로 적용된 것이 아니었습니다.
이건 단순한 버그라기보다 더 큰 문제였습니다.
사용자가 잘못된 데이터로 판단하게 된 상황이었으니까요.
디자인에서도 비슷한 일이 있습니다.
A안과 B안을 비교한다고 해놓고, 사실 B안에만 최신 로고가 안 들어갔다면 그 비교는 공정하지 않습니다.
AI 결과도 같았습니다.
비교할 데이터가 틀리면, 제가 아무리 신중하게 들어도 판단은 틀어질 수밖에 없습니다.
“된다”와 “최종 결과에 들어간다”는 다릅니다
또 하나 크게 남은 건 렌더 검증이었습니다.
TTS 생성까지는 확인했습니다.
음성이 만들어지고, 로컬 서버가 응답하고, mp3가 생성되는 것까지는 됐습니다.
그런데 실제 MP4 렌더 경로까지는 그 시점에 검증하지 않았습니다.
즉 “음성이 만들어진다”와 “최종 영상 파일에 정상적으로 들어간다”는 다른 문제였던 겁니다.
이 차이가 생각보다 중요했습니다.
디자인 파일에서도 비슷하잖아요.
피그마 화면에서는 정상인데, 실제 웹에 올리면 폰트가 다르게 보이거나, After Effects 프리뷰에서는 괜찮은데 렌더 파일에서 깨지는 경우.
AI 제작 도구도 마찬가지였습니다.
생성 단계가 성공했다고 해서 최종 산출물까지 성공했다고 말하면 안 됐습니다.
Preview와 Export가 다를 수 있다는 것도 배웠습니다
이번 작업에서 특히 불편했던 지점 중 하나는 Preview와 Export가 조용히 달라질 수 있다는 것이었습니다.
HANDOFF 문서에는 Remotion 번들 캐시 문제로 remotion/ 코드를 고쳤는데 Preview만 갱신되고 Export는 옛 코드로 나간 상황이 기록되어 있습니다.
겉으로는 화면이 바뀐 것처럼 보였는데, 최종 파일은 이전 상태를 기준으로 만들어질 수 있었던 겁니다.
이건 디자이너 입장에서 꽤 위험한 문제였습니다.
제가 보는 화면과 최종 파일이 다르면 피드백 기준이 무너집니다.
좋아 보이는 장면을 보고 “이제 됐다”고 했는데, 실제 export 파일에는 그 수정이 반영되지 않는다면 제작 흐름 전체가 흔들립니다.
그래서 앞으로는 Preview 확인과 Export 확인을 분리해서 봐야겠다고 생각했습니다.
AI 후임에게 피드백 주는 느낌이었습니다
이번 과정에서 묘하게 느꼈던 건 AI에게 일을 맡기는 게 약간 후임에게 피드백 주는 것 같았다는 점입니다.
저는 직장생활을 하면서 길게 후임을 둔 시기가 많지는 않았습니다.
그런데 이번에는 계속 이런 말을 하게 됐습니다.
이건 결과만 보면 안 되고 최종 렌더까지 봐야 한다. 이 비교본은 조건이 틀렸다. 이 버튼은 있는데 Replace가 빠졌다. 화면이 실제 프로그램처럼 보여야지, 구조만 있으면 미완성처럼 보인다.
물론 AI는 사람 후임이 아닙니다.
하지만 작업을 시키고, 나온 결과를 보고, 기준을 다시 설명하고, 누락된 단계를 되짚는 과정은 꽤 비슷하게 느껴졌습니다.
다만 차이가 있다면, AI는 정말 빠르게 수정해옵니다.
그래서 더더욱 기준이 필요했습니다.
빠르게 가져온 결과가 맞는지, 아니면 빠르게 그럴듯해진 것뿐인지 제가 확인해야 했습니다.
제가 앞으로 남기기로 한 검증 기준
이번 작업 이후, AI 제작 결과를 볼 때는 아래 기준을 남기려고 합니다.
- 비교본은 같은 조건에서 만들어졌는가
- 실제 설정이 적용됐는지 로그나 assert로 확인됐는가
- 생성 파일만 확인했는가, 최종 렌더 파일까지 확인했는가
- Preview와 Export가 같은 코드와 같은 캐시 상태를 쓰는가
- 사용자가 누를 수 있는 버튼이 실제로 필요한 행동을 모두 포함하는가
- 완료 보고 전에 누락된 화면이나 상태가 없는가
이건 개발자용 체크리스트처럼 보일 수 있지만, 저에게는 디자인 QA에 더 가까웠습니다.
결과물이 예뻐 보이는지뿐 아니라, 그 결과가 실제 전달물까지 일관되게 이어지는지 확인하는 것.
AI를 쓰면서 디자이너의 판단이 사라지는 게 아니라, 오히려 판단 기준이 더 선명해야 한다는 걸 다시 느꼈습니다.
빠른 결과보다 확인 가능한 결과가 좋았습니다
AI는 결과를 빠르게 보여줍니다.
그 점은 분명 좋습니다.
하지만 이번 작업을 지나고 나니, 저는 “빠른 결과”보다 “확인 가능한 결과”가 더 중요하게 느껴졌습니다.
어떤 설정으로 만들어졌는지, 어떤 파일이 최종인지, 어디까지 렌더됐는지, 어떤 버튼을 누르면 무엇이 새로 만들어지는지.
이런 것들이 보여야 계속 믿고 쓸 수 있습니다.
이번 Shortform Studio 작업은 AI가 만든 결과를 더 잘 믿기 위해 무엇을 의심해야 하는지 배운 과정이었습니다.
내부 링크
- 이전 글: [AI 제작 도구를 만들 때 제일 먼저 막아야 할 것: 조용히 새는 API 호출]
- 다음 글: [디자이너용 AI 영상 도구에서 화면을 실제처럼 보여주는 법]