이번 글에서는 3D 프리비즈를 AI 영상 제작 과정에 활용하는 방식에 대해 이야기해보려고 합니다. 먼저 결론부터 말씀드리면, 2026년 현재 프레임 단위로 정확하게 굴러가는 경로는 오픈소스 쪽의 컨트롤 비디오 입력이고, 상용 모델들은 뎁스맵 대신 텍스처 없는 3D 블록아웃이나 키프레임을 받는 쪽으로 갈라지는 중입니다. 그러니까 "어떤 툴이 제일 좋은가"보다 "내 프리비즈에서 무슨 신호를 뽑아 어디로 보낼 것인가"가 실제 질문인데요. 대충 보면 헷갈리기 쉽습니다.
프리비즈는 원래 AI와 무관한 공정이었습니다
프리비즈(previsualization)는 "장면·시퀀스·환경을 실제 제작 이전에 시각화하는 과정"으로 정의됩니다. 각본이 나온 뒤, 촬영이나 애니메이션이 시작되기 전의 프리프로덕션 단계에 자리하는 공정이죠. 목적은 감독·촬영감독·VFX 슈퍼바이저가 조명, 카메라 위치와 움직임, 동선, 편집 같은 선택지를 실제 제작 비용을 쓰지 않고 미리 실험해 보는 데 있습니다.
역사도 꽤 깁니다. 용어의 뿌리는 사진 쪽에 있어서, 앤설 애덤스가 "노출 전에 완성된 이미지를 예상하는 능력"으로서의 visualization을 썼고 마이너 화이트가 previsualization이라는 말을 정식화했다고 알려져 있습니다. 영화에서 3D 컴퓨터 프리비즈의 시초로는 린다 와인먼이 Swivel 3D로 작업한 〈스타트렉 5〉(1989)가 꼽히고요. 생성형 AI가 나오기 한참 전부터 굴러가던 공정이네요.
유명한 국내 사례로는 <기생충>의 저택 세트와 100% CG로 구현한 <한산>의 해상전투 장면을 촬영 전 디테일을 강화한 사례로 들었는데요. 다만 이 두 작품의 프리비즈는 생성형 AI 이전의 전통적인 3D·언리얼 엔진 프리비즈이고, AI 연동 워크플로와는 무관합니다.
달라진 3D 프리비즈 제작 목적
전통 파이프라인에서 프리비즈는 최종 렌더링을 위한 설계도였습니다. 여기서 잡은 카메라와 블로킹을 들고 모델링·텍스처링·라이팅·룩뎁을 거쳐 최종 픽셀을 만드는 순서죠. 프리비즈 자체는 어디까지나 중간 산출물이었고, 완성되면 버려지는 게 자연스러웠습니다.
최근 붙은 흐름은 그 프리비즈 결과물을 밑그림이 아니라 AI 영상 생성 모델의 제어 입력으로 넣는 방식입니다. 조명과 머티리얼과 룩뎁을 3D에서 완성하지 않고 생성 모델에 맡기는 대신, 사람은 구도와 카메라와 동선만 3D로 확정해서 넘기는 것이죠. 같은 회색 덩어리 씬이 예전에는 설계도였다면, 지금은 결과물의 조건이 됩니다.
프리비즈가 최종 픽셀의 앞 공정이 아니라, 최종 픽셀의 조건이 되는 순간 프리비즈의 값어치는 완전히 달라집니다.
그동안 완성되면 버려도 그만이던 회색 씬을, 이제는 어디까지 정성 들여 만들어야 하는 걸까요?
원리는 이미지 쪽에서 이미 증명된 구조
이게 갑자기 튀어나온 발상은 아닌데요. 핵심 아이디어는 이미지 생성 쪽에서 먼저 정립됐습니다. ControlNet은 대규모 사전학습 디퓨전 모델에 공간적 조건(spatial conditioning)을 추가하는 신경망 구조로, 사전학습된 대형 모델의 인코딩 레이어를 고정해 백본으로 재사용하고 여기에 zero convolution으로 연결된 학습 가능한 복제본을 붙여 조건을 학습시킵니다. 논문이 실험한 조건에는 엣지, 뎁스, 세그멘테이션, 휴먼 포즈가 포함되어 있고요.
여기서 중요한 건 학습 규모입니다. 논문은 5만 장 미만의 소규모 데이터셋에서도, 100만 장 이상 대규모에서도 안정적이었다고 보고했습니다. 조건을 붙이는 일이 모델을 처음부터 다시 만드는 수준의 작업은 아니라는 뜻이죠.
그러니까 3D 소프트웨어에서 뽑은 뎁스맵·노멀맵·엣지가 생성 모델의 구도와 기하 제어에 쓰일 수 있다는 건, 원리 자체는 2023년에 이미 깔려 있던 이야기라고 보시면 될 것 같습니다.
3D 렌더러는 이미 이 신호를 뽑고 있었습니다
프리비즈-AI 연동이 성립하는 실무적 근거는 조금 싱겁습니다. 3D 렌더러가 이 제어 신호들을 원래부터 렌더 패스로 내보내고 있었기 때문입니다.
Blender 매뉴얼은 패스(Pass)를 "별도 이미지로 추출되는 중간 렌더링 정보"로 정의하고, 그 예로 오브젝트의 디퓨즈 컬러, 광 분포와 함께 뎁스맵과 노멀맵을 듭니다. 컴포지터의 Render Layers 노드로 접근하면 되고, 임의의 셰이더 성분을 커스텀 패스로 빼는 Shader AOV 기능도 있습니다.
여기서 실사 푸티지와 결정적으로 갈립니다. 프리비즈용 러프 3D 씬이 있으면 뎁스와 노멀은 추정이 아니라 정확한 값으로 얻을 수 있습니다. 실사 영상에서 단안 뎁스 추정으로 뽑아내는 것과는 출발점이 다르죠.
물론 함정도 있습니다. Blender 문서는 뎁스(Z) 패스가 샘플 하나만 사용하기 때문에, 모션 블러나 피사계심도로 뎁스 값을 블렌딩해야 하는 경우에는 대신 미스트(mist) 패스를 쓰라고 명시하고 있는데요. 프리비즈에 카메라 블러를 걸어둔 채로 Z 패스만 뽑아 놓고 왜 이상하게 나오나 갸웃거리기 딱 좋은 지점입니다.
연구는 2D 조건에서 3D 조건으로 넘어갔습니다
영상 쪽 연구 흐름을 보면 방향이 꽤 뚜렷합니다. Controllable Video Generation: A Survey 는 제어 가능 영상 생성을 제어 신호 기준으로 7개 범주로 분류하는데, 그중 Structure Control(포즈·뎁스·스케치·바운딩 박스), Image Control(레퍼런스 이미지), Temporal Control(플로우·궤적·카메라) 같은 범주가 프리비즈 연동과 직접 닿아 있습니다. 서베이는 제어 신호의 종류가 아키텍처 설계와 조건 부여 방식을 근본적으로 결정하기 때문에 이를 1차 분류축으로 삼았다고 밝히고 있고요.
2025년 이후의 흐름은 한 문장으로 요약됩니다. 2D 조건으로는 부족하니 3D 조건을 쓰자는 것이죠.
SIGGRAPH 2025에 발표된 Diffusion as Shader(DaS)의 주장이 대표적입니다.
영상은 근본적으로 동적 3D 콘텐츠의 2D 렌더링이므로, 다목적 영상 제어를 달성하려면 3D 제어 신호를 활용해야 한다.
이 논문은 3D 트래킹 비디오를 제어 신호로 채택하고, 지원 태스크로 메시 애니메이션의 영상화(mesh-to-video), 카메라 제어, 모션 전이, 오브젝트 조작 네 가지를 듭니다. 여기서 mesh-to-video가 곧 3D 프리비즈 → AI 영상의 학술적 원형이라고 보시면 될 것 같습니다. 애니메이션된 메시를 넣으면 영상이 나온다는 이야기니까요. 프리비즈로 만든 회색 씬을 그대로 재료로 쓰겠다는 발상과 딱 겹치죠. 학습 비용은 H800 GPU 8장으로 3일 파인튜닝, 데이터셋은 1만 개 미만 영상이었다고 보고했습니다.
프리비즈 씬이 있으면 건너뛰는 단계가 생깁니다
SIGGRAPH Asia 2025의 Uni3C는 여기서 한 발 더 갑니다. 플러그앤플레이 모듈인 PCDController가 "단안 뎁스로부터 역투영한 포인트클라우드"를 사용해 카메라 제어를 달성하고, 추론 단계에서 씬 포인트클라우드와 SMPL-X 캐릭터를 정렬해 카메라와 인체 모션 제어 신호를 통합합니다. 3D 공간을 먼저 만들고 카메라 궤적을 지정한 뒤 그 위에 픽셀을 생성하는 접근이죠. 프리비즈 씬이 있다면 뎁스 추정 단계를 건너뛸 수 있다는 함의가 있지만, 논문 자체가 3D 렌더 프리비즈를 입력으로 실험했다는 서술은 확인되지 않았습니다.
지금 확실히 손댈 수 있는 건 오픈소스입니다
이론은 그렇고, 실제로 오늘 돌릴 수 있는 건 어디까지인가가 궁금하실 텐데요. 확인된 범위에서는 알리바바 통이완샹 팀의 오픈소스 모델 VACE 계열이 가장 직접적인 경로입니다.
VACE는 "텍스트, 이미지, 비디오, 마스크, 제어 신호를 포함한 다중 입력 형태를 지원"하는 통합 영상 편집 모델입니다. ComfyUI 공식 문서 기준으로 VACE 워크플로가 받는 입력은 레퍼런스 이미지, 컨트롤 비디오(뎁스맵·포즈·캐니 엣지 전처리 옵션), 마스크, 텍스트 프롬프트고요. 원본 영상을 직접 전처리하려면 comfyui_controlnet_aux 노드를 쓰라고 안내합니다. 여기에 Wan2.2-VACE-Fun-A14B 모델 카드는 지원 제어 입력으로 캐니, 뎁스, 포즈, MLSD, 궤적, 카메라 컨트롤 여섯 가지를 명시하고 있습니다.
다만 마냥 가볍지는 않습니다. 이미지 치수가 16의 배수여야 오류가 나지 않고, 첫프레임·끝프레임 워크플로에서는 프레임 수가 특정 배수 조건을 만족해야 합니다. 해상도는 VACE-1.3B가 최대 480P, VACE-14B가 최대 720P고요. 공식 문서에 적힌 RTX 4090 기준 참고치는 720×1280 / 81프레임에 약 40분, 640×640 / 49프레임에 약 7분입니다(한 곳에서만 확인된 수치입니다). "빠른 프리비즈"를 기대하고 들어가면 체감이 꽤 다를 수 있는 숫자죠. 프리비즈 씬 하나 고쳐서 다시 돌리는 데 커피 한 잔이 아니라 점심시간이 필요한 셈이니까요. 빨리 확인하려고 붙인 워크플로인데 말이죠(?)
상용 모델은 뎁스맵 대신 블록아웃을 받습니다
상용 쪽에서 이 주제에 가장 가까운 사례는 ByteDance의 Seedance 2.5입니다. CineD 보도에 따르면 이 모델은 그린스크린 플레이트 또는 3D 화이트모델 블록아웃을 입력으로 받아 생성 과정 안에서 카메라를 제어하는데요. 기사는 블록아웃을 "조명이나 렌더링 이전에 카메라 위치, 스테이징, 블로킹을 확정하기 위해 레이아웃에서 쓰는 텍스처 없는 러프 지오메트리"라고 설명합니다. 프리비즈 산출물을 그대로 넣는 것을 전제한 기능인 셈이죠. 레퍼런스 입력은 생성당 최대 50개로, 이전 2.0의 12개에서 늘었다고 합니다.
공개 시점은 자료마다 엇갈립니다. CineD는 기사 시점에 이미 API가 공개 접근 상태라고 썼지만, 일부 2차 정리 페이지는 체험센터와 API가 2026년 8월 7일에 완전 공개될 예정이라고 적고 있습니다. 단계적 공개(API 선공개 후 일반 공개) 과정에서 생긴 시차가 아닐까 싶은데요, 어느 쪽인지는 확인되지 않았습니다.
Luma Ray3.2(2026년 6월 9일 발표)는 조금 다른 각도입니다. 발표문은 이렇게 씁니다.
단일 클립 안에 최대 16개의 키프레임을 배치할 수 있게 함으로써, Luma는 감독과 제작팀에게 페이싱과 모션에 대한 절대적 권한을 부여한다.
크리에이터가 "정확한 내러티브 비트, 카메라 패스, 시각적 진행을 안무할 수 있다"는 서술이 이어지고, "네이티브 HDR 생성과 16-bit EXR 익스포트를 갖춰 기존 포스트프로덕션 파이프라인에 깔끔하게 들어가도록 설계됐다"고도 적혀 있습니다. 출력은 1080p, 클립 길이는 최대 20초고요. 다만 여기서 말하는 16개 키프레임은 이미지 키프레임 지정이며, 3D 카메라 궤적 파일을 그대로 받는다는 내용은 확인되지 않았습니다.
여기까지가 자료로 확인한 범위인데요. 정작 실무에서 궁금한 것들은 대부분 자료 바깥에 남아 있습니다. 어느 정도로 러프한 프리비즈까지 통하는지(화이트박스만으로 되는지, 최소한의 라이팅이 필요한지), 뎁스 컨트롤을 걸었을 때 카메라 무브가 실제로 얼마나 정확히 따라오고 어디서 무너지는지, 제 작업 환경에서 프리비즈 렌더부터 결과물까지 실제로 몇 분이 걸리는지 같은 것들 말입니다. 논문들은 정량 지표를 제시하지만, 실무 감각으로 "여기서 깨진다"는 실패 사례는 어디에도 없었습니다.
그래서 다음 글에서는 3D 프리비즈 원본과 생성 결과의 프레임 대조해보는 테스트를 진행해 보려고 합니다.
다소 거칠지만 3D 프리비즈를 AI 영상 생성의 제어 입력으로 넘기는 흐름을 한 번 정리해 보았습니다. 원리는 ControlNet 시절에 이미 깔려 있었고, 3D 렌더러는 뎁스와 노멀을 원래부터 뽑고 있었고, 연구는 2D 조건에서 3D 조건으로 넘어가는 중이며, 도구 쪽은 오픈소스가 컨트롤 비디오로, 상용이 블록아웃과 키프레임으로 갈라지는 모양새라고 보시면 될 것 같습니다.
다만 이 글을 쓰면서 계속 걸렸던 건, 제가 확인한 게 대부분 "된다는 사실"이지 "얼마나 잘 되는가"는 아니라는 점이었습니다. 문서에 적힌 파라미터 목록과 실제로 손에 잡히는 결과물 사이의 거리는 늘 생각보다 멀더라고요. 그래서 이번 글은 지도를 그린 정도이고, 실제로 걸어본 기록은 아니라고 봐주시면 좋겠습니다. (물론 지금도 어디서 부터 손댈지 조금 막막합니다..)