제목 한 줄에서 11개 씬까지 — Story 모드 실제 제작기
무엇을 만들었나
📌 이 글의 화면은 실제 프로젝트 데이터와 앱의 CSS로 만든 UI 목업입니다. 표에 든 값(씬·세그먼트·프롬프트)은 실제 산출물 그대로입니다.
제목 한 줄 **「부자와 빈자」**만 넣고 Story 모드를 돌렸습니다. 결과는 11개 씬 · 20개 세그먼트 · 72.53초짜리 한 편이고, 이 글에는 그 과정에서 실제로 나온 산출물이 단계별로 들어 있습니다.
설정 탭에 넣은 값은 이게 전부입니다:
| 항목 | 값 |
|---|---|
| 제목 | 부자와 빈자 |
| 이야기 유형 | 맞춤형 (bespoke) |
| 생성 AI | Claude Opus 4.8 · 추론 수준 medium |
| 출력 언어 | 한국어 |
| 대본 분량 | 1분 |
| 씬 분리 단위 | 씬 기준 · 5~10초 |
| 검수 루프 | 끔 |
대본 칸은 비워 뒀습니다. 즉 소재도 줄거리도 인물도 없이 시작했습니다.
② 시놉시스 — 로그라인과 훅이 먼저 나옵니다
대본을 쓰기 전에 이야기의 뼈대가 먼저 확정됩니다. 실제로 나온 로그라인은 이렇습니다.
로그라인 — 한 부자의 저택에서 매달 봉투를 받아온 가난한 노인이, 부자가 죽은 뒤에야 그 봉투의 진짜 발신인이 자기 자신이었음을 알게 된다.
훅 — 30년 동안 매달 1일, 그 노인의 문 앞에는 이름 없는 봉투가 놓였다. 그런데 부자가 죽은 날, 봉투 안에서 나온 건 돈이 아니라 낡은 차용증 한 장이었다.
여기에 기·승·전·결이 각각 한 문단씩 붙습니다. 반전(부자가 갚고 있었다)이 전에 배치되고, 결에서 노인이 그 자리를 이어받는 구조가 시놉시스 단계에서 이미 잡혀 있습니다.
등장인물 — 성별·나이·역할·외모까지 확정
시놉시스에서 인물 4명이 함께 확정됐습니다. 이 값들이 뒤에서 성우 배정과 이미지 프롬프트에 그대로 쓰입니다.
| 인물 | 성별 | 나이 | 역할 |
|---|---|---|---|
| 박씨 | 남 | 70대 | 가난한 짐꾼 노인, 주인공 |
| 윤 회장 | 남 | 70대 | 언덕 위 저택의 부자, 은혜를 갚아온 인물 |
| 문지기 | 남 | 40대 | 저택 문지기, 박씨를 내치는 인물 |
| 변호사 | 남 | 50대 | 윤 회장의 유언을 전하는 변호사 |
각 인물에는 영문 외모 묘사도 함께 붙습니다. 예를 들어 박씨는 Korean man in his 70s, deeply weathered face, sparse white hair, thin frame, worn padded jacket and cloth cap, quiet dignified sorrow 입니다. 이 묘사가 이미지 프롬프트를 쓸 때 근거가 됩니다. 문장이 통째로 복사되진 않고 씬에 맞게 다듬어지지만, 핵심 특징이 씬마다 반복됩니다. 여기에 레퍼런스 이미지까지 생성해 두면 그 이미지가 씬마다 함께 첨부돼 같은 인물로 그려집니다.
③ 대본 — 화자 대사까지 붙어서 나옵니다
훅 → 기 → 승 → 전 → 결 구조로 본문이 나왔고, 대사에는 화자가 붙었습니다:
문지기: "회장님이 당신 같은 사람을 아실 리 없소."
윤 회장: "당신은 가진 게 없을 때 나눴고, 나는 다 가진 뒤에야 겨우 갚았소."
이 두 줄이 다음 단계에서 나레이션과 분리된 별도 화자 세그먼트가 됩니다.
④ 씬 분리 — 11개 씬, 20개 세그먼트
대본이 표가 됐습니다. 실제로 나온 분포는 이렇습니다:
- 화자 — narrator 16개, 문지기 1개, 윤 회장 1개, SFX 2개
- 감정(씬 데이터 기준) — 슬픔 8개, 평범 7개, 화남 2개, 기쁨 1개. 표에는 대사 두 줄의 감정만 보입니다 — 나레이션 감정은 표시하지 않습니다
- 길이 — 총 72.53초. 씬 기준 5
10초 설정에 맞춰 씬 하나가 4.49.2초 사이
효과음 2개는 이야기의 결정적 순간에 자동으로 배치됐습니다 — 문이 닫히는 heavy iron gate slamming shut(5번 씬), 차용증을 펴는 old paper being unfolded(7번 씬). 시키지 않았는데 긴장의 정점과 반전 지점에 들어갔습니다.
대본 완료에서 씬 분리 완료까지 걸린 시간은 37초였습니다.
⑤ 오디오 — 20개 세그먼트 전부 생성
- 나레이션·대사 18개 — Typecast로 생성. 감정이 실제로 실리는 건 화자 대사뿐입니다. 나레이션은 표에 슬픔·화남이 적혀 있어도 합성은
normal로 고정되기 때문에, 이 편에서 감정이 적용된 건 문지기(화남)과 윤 회장(슬픔)두 줄입니다. - 효과음 2개 — ElevenLabs로 생성.
- 결과물 — 세그먼트 오디오 20개 + 타임코드가 맞춰진 SRT 자막 1개. 각 세그먼트는 시작 시각(ms)과 길이(ms)를 갖고 있어 씬 위에 그대로 얹힙니다.
씬 분리 완료에서 오디오 완료까지 14분 23초. 파이프라인에서 가장 오래 걸리는 구간입니다.
⑥ 프롬프트 — 씬마다 이미지·비디오 한 쌍
11개 씬에 이미지·비디오 프롬프트가 한 쌍씩, 총 22개가 나왔습니다. 1번 씬 프롬프트를 그대로 옮기면:
이미지 — Cinematic still, 1970s-80s Korean alley at dawn. A plain unmarked white envelope rests on the worn wooden threshold of a humble shanty door, faint frost on the step, peeling paint, a rusted mailbox above. Cold blue-gray morning light, soft mist, shallow depth of field, 35mm film grain, muted desaturated palette, melancholic nostalgic mood.
비디오 — Slow push-in on the unmarked envelope resting at the doorstep as thin dawn mist drifts past and a faint breeze lifts one corner of the paper; distant alley sounds, static composition with a gentle dolly forward, cold nostalgic film-grain grade.
인물이 등장하는 씬에는 @박씨, @{윤 회장} 같은 멘션이 자동으로 들어갔습니다. 이름에 공백이 있으면 중괄호로 묶입니다. 인물 4명은 시놉시스 확정과 함께 레퍼런스 카드로 자동 등록됩니다. 카드 이미지를 생성해 두면 멘션이 붙은 씬마다 그 이미지가 함께 첨부돼, 11개 씬 내내 같은 얼굴이 유지됩니다.
오디오 완료에서 프롬프트 완료까지 53초. 대본이 나온 시점부터 프롬프트까지 전부 합쳐 15분 53초였습니다.
Ref 탭 — 인물 4명이 얼굴을 얻습니다
프롬프트가 나왔으면 다음은 그림입니다. 그런데 씬을 먼저 만들면 안 됩니다 — 인물 얼굴부터 고정해야 씬마다 같은 사람으로 나옵니다.
시놉시스에서 확정된 인물 4명은 Ref 탭에 레퍼런스 카드로 이미 등록돼 있습니다. 카드 프롬프트는 그 인물의 인종·나이·성별·외모 필드를 이어 붙여 만들어집니다 — 앞서 본 등장인물 표가 그대로 그림의 설계도가 되는 셈입니다. **[일괄 생성]**을 누르면 배치 창이 열리고, 확인하면 4명이 한꺼번에 생성됩니다. 넷 다 끝나면 그 버튼은 사라집니다 — 아래 화면이 바로 그 상태입니다.
카드 테두리가 초록색이 되고 ✅ 배지가 붙으면 그 인물은 씬 생성에 쓸 준비가 된 것입니다. 마음에 안 들면 그 카드만 다시 생성하면 됩니다 — 씬은 아직 만들지 않았으니 되돌릴 것도 없습니다.
씬 이미지 — 11개 씬이 그림이 됩니다
인물이 고정되면 씬을 일괄 생성합니다. 씬 목록에서 각 행의 매칭 태그를 보세요 — 박씨, 윤 회장, 박씨 처럼 그 씬에 나오는 인물이 들어가 있고, 태그가 레퍼런스와 맞으면 테두리가 초록색이 됩니다. 이 태그가 맞아야 그 인물의 레퍼런스 이미지가 생성에 첨부됩니다.
1·2번과 마지막 11번 씬은 태그가 비어 있습니다 — 봉투와 차용증이 중심인 컷이라 이름 붙은 인물의 레퍼런스를 붙일 필요가 없기 때문입니다(2번 씬에 손이 나오지만 특정 인물로 지정하지 않았습니다). 3번부터 인물이 배역으로 등장하면서 태그가 붙습니다.
결과 확인 — 표로도, 카드로도
생성 결과는 하단 패널의 ☰ 결과표와 ⊞ 그리드 두 탭에서 같은 데이터를 다르게 봅니다.
결과 표는 씬마다 어떤 프롬프트로, 어떤 모델로, 어떤 상태인지를 한 줄에 늘어놓습니다. 프롬프트가 실제로 어떻게 들어갔는지 확인하기 좋습니다 — @박씨, @{윤 회장} 멘션이 그대로 보입니다.
그리드는 같은 결과를 그림 위주의 카드로 보여줍니다. 카드에 남는 건 번호와 상태뿐 — 프롬프트도 모델도 빠집니다. 그래서 11장을 한눈에 훑으며 톤이 튀는 컷을 찾기 좋습니다.
타임라인 프리뷰 — 붙여 보기
이미지까지 나오면 하단 타임라인에서 재생해 볼 수 있습니다. 내보내기 전에 그림·자막·소리가 실제로 맞물리는지 여기서 확인합니다.
트랙 다섯 줄이 이 편의 구조를 그대로 보여줍니다:
- 자막 — 씬과 같은 구간에 대사가 얹힙니다.
- 이미지 — 11개 씬이 각자의 길이만큼 자리를 차지합니다. 짧은 씬(4.4초)과 긴 씬(9.2초)의 폭 차이가 보입니다.
- 나레이션 — 비어 있습니다. 이 트랙은 통짜 영상에서 가져온 오디오 전용이라, Story 모드가 만든 음성은 여기 오지 않습니다.
- Voice — 세그먼트 18개가 여기 들어갑니다. 화자마다 색이 달라서 나레이션·문지기·윤 회장이 한눈에 구분됩니다. 중간중간 빈 곳은 효과음이 들어간 자리입니다.
- 효과음 — 2개뿐이지만 위치가 정확합니다. 문이 닫히는 30.5초, 차용증을 펴는 43.4초.
여기서부터는 사람의 선택
여기까지가 Story 모드가 이어서 돌아가는 구간입니다. 다만 완전 무인은 아닙니다 — ② 시놉시스에서 등장인물을 확인해야 뒷단계가 풀리고, ⑤ 오디오는 자동 토글이 기본 꺼짐(TTS 비용)이라 켜 주거나 따로 실행해야 합니다. 남은 건 취향의 영역입니다:
- 마음에 안 드는 씬만 프롬프트를 고쳐 다시 생성합니다.
- 움직임이 필요한 씬만 T2V/I2V 비디오 생성.
- 원클릭으로 CapCut · Adobe Premiere · Vrew로 내보내기 — 오디오 트랙과 SRT가 이미 씬에 맞춰져 있어서, 편집기에서 열면 타임라인이 완성된 상태로 뜹니다.
정리
제목 한 줄에서 시작해 시놉시스 → 인물 4명 → 대본 → 11개 씬 → 오디오 20개 → 프롬프트 22개 → 레퍼런스 4장 → 씬 이미지 11장까지 나왔습니다. 사람이 한 일은 설정 몇 개를 고르고, 등장인물을 확인하고, 생성 버튼을 누른 것뿐입니다.
같은 흐름을 직접 해보려면 제목 한 줄로 시작하는 법을, 이미 대본이 있다면 대본 붙여넣기를, 소재부터 데이터로 잡고 싶다면 YouTube 벤치마킹을 보세요.