예상 읽기 시간: 약 6분

내가 AI 작업실을 로컬에 두려는 이유

자료를 모으는 일은 꽤 오래 했다. 노트가 늘어나고, 참고할 만한 글이 쌓이고, 예전에 했던 작업의 기록도 남았다. 그런데 자료가 많아지는 것과 실제 작업이 편해지는 것은 별개의 일이었다.

어딘가에 저장되어 있다는 사실만으로는 다시 쓸 수 있는 지식이 되지 않는다. 내가 필요한 순간에 찾을 수 있어야 하고, 지금 만들고 있는 장면이나 기획에 연결되어야 한다. 그래서 AI 작업실을 내 컴퓨터 가까이에 두는 방식을 계속 실험하게 됐다.

저장소와 작업실은 다르다

이번에 확인한 작업 공간에는 기존 문서 34개와 발췌문 335개, 디렉팅 메모, 코믹 작업 프로필이 연결되어 있었다. 숫자만 보면 꽤 많은 자료다. 하지만 이것이 곧바로 ‘AI가 내 지식을 전부 이해한다’는 뜻은 아니다.

실제로 필요한 것은 자동으로 모든 내용을 읽는 시스템이 아니라, 이번 작업에 필요한 자료를 골라서 불러오고, 그 자료가 결과에 어떻게 반영됐는지 확인할 수 있는 흐름이다.

예를 들어 장면을 만들 때 C4D에서 익힌 움직임의 원리나 예전에 정리한 연출 메모를 참고할 수 있다. 그렇다고 노트 전체가 알아서 새로운 영상이 되는 것은 아니다. 어떤 내용을 선택할지는 여전히 작업의 목적과 디자이너의 판단에 달려 있다.

로컬에 둔다고 모두 해결되지는 않는다

로컬 AI라는 말을 들으면 인터넷 없이 무엇이든 할 수 있을 것처럼 느껴질 때가 있다. 하지만 실제로는 모델의 종류, 컴퓨터 성능, 설치된 도구, 연결 방식에 따라 할 수 있는 일이 달라진다.

내가 원한 것은 거창한 ‘완전 자동 시스템’이 아니다. 외부 서비스에 전부 의존하지 않고, 내 자료를 어떤 방식으로 넣고 꺼내는지 확인할 수 있는 작업실에 가깝다. 자료의 위치와 흐름을 내가 이해할 수 있으면 문제가 생겼을 때 어디를 다시 확인해야 하는지도 알 수 있다.

물론 로컬에서 작업한다고 해서 비용이 항상 0원이 되거나, 모든 처리가 오프라인으로 끝난다고 말할 수는 없다. 필요한 서비스와 모델에는 각자의 조건이 있고, 영상 생성이나 특정 기능은 외부 도구를 사용해야 할 수도 있다. 중요한 것은 무료라는 환상이 아니라, 어떤 단계가 내 컴퓨터에서 처리되고 어떤 단계가 외부 서비스에 의존하는지 구분하는 일이다.

AI가 말을 못 알아들은 줄 알았는데, 입력이 잘리고 있었다

이번 작업에서 가장 실용적인 발견은 입력 길이 문제였다. 긴 요청을 넣었는데 결과가 엉뚱하게 느껴지면, 보통은 AI가 내 의도를 이해하지 못했다고 생각하기 쉽다.

그런데 실제 기록을 확인해 보니 입력이 약 4,812토큰에서 2,050토큰으로 줄어든 흔적이 있었다. 긴 내용을 전달했다고 생각했지만, 모델이 받은 내용은 내가 기대한 것보다 훨씬 짧았던 것이다.

이후 해당 호출의 컨텍스트 길이를 8,192로 조정하고 다시 확인했다. 이 경험을 통해 프롬프트를 더 잘 쓰는 것만큼, 입력이 실제로 끝까지 전달되었는지를 확인하는 일이 중요하다는 것을 알게 됐다.

작업이 이상하게 흘러갈 때 확인할 순서는 생각보다 단순하다.

이 과정을 거치면 ‘AI가 멍청하다’는 결론을 조금 늦출 수 있다. 문제는 모델의 능력일 수도 있지만, 입력이 전달되지 않은 것일 수도 있기 때문이다.

자료를 연결하는 것과 활용하는 것은 다르다

34개의 문서와 335개의 발췌문이 있다는 것은 좋은 기반이다. 그러나 기반이 있다는 것만으로 작업이 자동으로 진행되지는 않는다. 지금 만들려는 결과에 어떤 문서가 필요한지, 그 문서에서 어떤 문장을 가져올지, 가져온 내용을 어떤 형식으로 바꿀지는 별도의 작업이다.

이 구분이 중요한 이유는 AI 작업실이 쉽게 ‘자료를 쌓아두는 또 다른 폴더’가 될 수 있기 때문이다. 연결을 많이 해두는 것보다, 한 번의 작업에서 실제로 어떤 자료가 사용됐는지 남기는 편이 더 유용할 때가 많다.

그래서 나는 작업 결과와 함께 근거도 보려고 한다. 어떤 노트가 장면 지시에 반영됐는지, 어떤 기록이 프롬프트의 기준이 됐는지, 결과가 기대와 달랐을 때 어디에서 방향이 틀어졌는지를 남기는 식이다.

반자동화의 작업실

내가 원하는 로컬 AI 작업실은 버튼을 누르면 모든 일이 끝나는 곳이 아니다. 자료를 모으고, 필요한 내용을 정리하고, 초안을 만들고, 반복 검사를 하는 일을 덜어주는 곳이다.

반대로 다음 일은 내가 맡아야 한다.

이렇게 역할을 나누면 AI의 한계가 오히려 선명해진다. AI가 부족해서 사람이 계속 개입하는 것이 아니라, 사람이 해야 하는 판단을 남겨두고 나머지를 정리하는 방식이다.

아직 남은 질문

이 작업실이 곧바로 수익을 만들어준 것은 아니다. 자료를 연결했다고 새 콘텐츠가 자동으로 생긴 것도 아니고, 로컬 도구를 준비했다고 제품이 완성된 것도 아니다.

다만 이전보다 분명해진 질문은 있다. 내가 모아 둔 자료가 이번 작업에 실제로 쓰였는가? 다음번에도 같은 준비를 반복해야 하는가? 입력이 잘렸을 때 그것을 확인할 방법이 있는가?

이 질문에 답할 수 있다면 로컬 AI 작업실은 조금씩 쓸모를 갖게 된다. 중요한 것은 ‘내 지식을 넣었다’가 아니라 ‘이번 결과에 무엇이 영향을 주었는지 설명할 수 있다’는 점이다.

다음 글

다음 글에서는 이 작업실이 3D와 모션 지식을 실제 장면 지시로 바꾸는 과정, 그리고 ComfyUI를 업데이트하거나 후처리할 때 설치보다 확인이 더 중요했던 이유를 이어서 정리한다.