短剧工作室功能指南
即梦短剧画布使用手册
一、画布是什么
『即梦短剧工作室』下的短剧画布是面向 AI 短剧创作的可视化工作台。
你可以在同一个空间里完成选角、角色与场景设计,以及图片、视频、音频和文本创作,逐步把剧本中的人物、环境和镜头变成可使用的素材。
画布由三个部分组成:
- 资产库:集中管理角色、场景、道具及创作素材,方便查找和重复使用。
- 节点:承载具体内容和创作任务。你可以在节点中上传素材、输入提示词、发起生成或继续编辑。
- 连线:建立节点之间的引用关系,把已有内容作为下一步创作的参考。
例如,将角色和场景连接到图片节点,生成分镜画面,再将图片连接到视频节点,生成动态镜头。
1.1 创建与进入画布
1.2 界面介绍
| 界面区域 | 功能说明 |
|---|---|
| 项目与资产 | 在资产与分镜之间切换,打开 AI 角色库、资产管理、工具箱和生成历史等功能。 |
| 中央画布区 | 添加节点,摆放节点、查看素材、建立连线、比较方案和整理内。 |
| 节点工具栏 | 支持添加节点、打开工具箱、查看教程、查看快捷键、调整指针。 |
| 全局设置 | 设置全局风格库、默认比例,支持分享、查看积分消耗。 |
| 视图控制区 | 调整缩放、适合屏幕、小地图、连线显示和画布排列等。 |
二、画布基础操作
2.1 基础节点
基础节点包括文本、图片、音频和视频,可以独立创作,也可以通过连线引用其他节点中的内容。
文本节点
图片节点
| 工具 | 组内工具 |
|---|---|
| 角色设定 | 角色三视图、角色特写图 |
| 表情与面部 | 人像质感、妆容调节、表情调节 |
| 视角与构图 | 720°全景图、镜头、打光 |
| 画面编辑 | 裁剪、标注、局部重绘、旋转、扩图 |
| 超分与提取 | 超分、图层分离、解析、抠图 |
| 九宫格 | 表情九宫格、多机位九宫格、剧情推演四宫格、角色脸部三视图、角色设定图、场景设定图、产品设定图、25 宫格连贯分镜、电影级光影校正、角色三视图、画面推演 - 3 秒后、画面推演 - 5 秒前 |
| 宫格切分 | 将已有宫格图按行列拆成独立图片 |
| 在多轨编辑器中打开 | 将图片送入多轨编辑器 |
音频节点
用于制作和处理对白、旁白、背景音乐及音效,支持上传素材或通过 AI 生成。
| 工具 | 功能说明 |
|---|---|
| 音频编辑(Beta) | 根据修改要求编辑已有音频。 |
| 音频翻译(Beta) | 选择目标语言,翻译音频内容。 |
| 存成音色 | 将当前音频保存为可复用的音色资源。 |
| 绑定角色 | 将符合要求的音频关联到指定角色。 |
| 截取音频 | 保留指定时间范围的声音片段。 |
| 分离人声与背景声 | 将人声和背景声音拆分使用。 |
视频节点
支持上传视频,以及图生视频、首尾帧生成视频、参考视频复刻。视频生成支持选择运镜、风格、模式、时间等。
| 工具分组 | 组内工具 |
|---|---|
| 素材拆解 | 抽帧、解析、拉片 |
| 画面优化 | 提升画质、智能抠像、光效、去字幕、智能识别字幕 |
| 音频编辑 | 音频分离 |
| 基础剪辑 | 截取、裁剪、旋转、倒放、倍速 |
| 片段创作 | 片段重拍、向后延长 |
| 专业剪辑 | 去剪映编辑、在多轨编辑器中打开 |
2.2 资产管理
画布主体:存在于当前项目中的主体节点,用于在画布内连接、引用和继续生成。
即梦资产库:跨项目保存人物、商品或道具等主体资产,方便在其他创作中重复使用。
搜索节点
- 点击画布右上角的搜索入口,输入节点名称或文本内容,并可按图片、视频、文本、音频、主体等类型筛选。
- 点击搜索结果,可快速定位到对应节点。
查看生成历史
生成历史会记录当前项目中用户发起的生成和编辑任务,并按时间倒序排列。可按图片、视频、音频和文本筛选:
- 点击结果,可定位到画布中的对应节点。
- 原节点已被删除时,支持从生成历史重新添加到画布。
标签
颜色标签用于归类和标记重要节点,方便在内容较多时快速筛选和定位。
2.3 工具箱
工具箱用于复用一组节点及其连接关系,例如角色换装、场景多机位或氛围切换。
- 使用工具箱:选择预设或个人工具箱,应用到画布,补充素材和提示词后生成。
- 保存工具箱:选中需要复用的节点,点击「添加到工具箱」,新建或更新个人工具箱。
应用工具箱会搭建创作结构,需要继续检查输入并提交生成。
2.4 视图控制区
从左至右依次为:
- 重置:回到全局视角
- 隐藏边:隐藏连线
- 整理画布:将按照节点类型进行整理排布
- 展示角色和场景:将隐藏基础节点及其相关连线,只清晰展示资产库结果
- 画布小地图:便于宏观把控视角
- 网格吸附:开启后节点排列将吸附网格
- 触控板模式:双指滑动移动画布
- 鼠标模式:滚轮缩放画布
- 调整画布缩放比例
2.5 画布快捷键
以下展示为Mac版本快捷键,Windows版本可将cmd替换为ctrl,整理画布为shift + option + F
三、角色
3.1 AI 角色库
在 AI 角色库中按分类、名称或人物特征筛选角色,查看立绘、特写、表情九宫格和三视图。
点击「添加到画布」后,创建角色节点,立绘作为主图,其余图片作为补充参考。
3.2 角色节点
添加角色时,可以选择「生成」或「上传」。同一人物的不同服装、妆造和剧情状态,可以作为不同形象管理。
生成角色形象时,支持进行人物特征选择,进行角色设计。
选中角色图片,可以使用以下工具:
| 功能 | 工具 |
|---|---|
| 人物设定 | 角色三视图、角色特写图 |
| 形象调整 | 人像质感、表情九宫格、妆容调节、表情调节 |
| 视角与光照 | 720°全景图、镜头、打光 |
| 图片处理 | 裁剪、标注、局部重绘、旋转、扩图、 |
| 超分与提取 | 超分、图层分离、解析、抠图 |
生成满意的结果后,可以「替换为角色主图」或「添加到角色素材集」,用于后续镜头创作。
3.3 角色档案
在角色节点中维护角色信息、素材和声音:
- 基础信息:角色名称、形象名称;支持分集管理的项目还可以设置出现集数。
- 形象素材:主图及特写、多视图等补充参考。
- 形象音色:填写声音描述,或上传、生成、绑定音频参考。
较长的人物背景、性格和剧情设定,可以写入文本节点,在生成时引用。
四、场景
4.1 创建与使用场景
添加场景节点,新建场景或关联已有场景,填写场景名称和视角名称,再上传、选择或生成场景图片。同一地点的不同视角可以关联到同一个场景。
将场景与角色一起连接到图片或视频节点,补充人物位置、动作和镜头要求,即可用于镜头创作。生成满意的场景图片后,通过「应用到场景」更新对应素材。
4.2 场景节点功能
| 功能 | 工具 |
|---|---|
| 视角与光照 | 720°全景图、镜头、打光,用于调整环境参考和拍摄视角。 |
| 空间与画面调整 | 裁剪、标注、局部重绘、旋转、扩图,用于调整构图和场景细节。 |
| 素材处理 | 超分、图层分离、解析、抠图,用于提升清晰度、拆分元素或提取描述。 |
五、3D导演台
3D 导演台是什么:一个面向短剧创作的3D构图/运镜参考工具。在 3D 空间中放置角色/道具模型,调整其站位、姿势,放置机位进行截图/录屏/渲染导出,发送回画布,作为分镜图或视频生成的构图参考。
适合解决的问题:多人站位难描述、镜头角度不稳定、同一场景不同分镜缺少一致参考(“前一句话还站着,后一句话又坐下了”)、人物动作和空间关系需要先排演。
详情请参考:即梦短剧导演台使用手册
六、多轨编辑器
多轨道编辑器支持将视频、音频和字幕组合编排,完成片段剪辑、配音和字幕处理。支持在剪辑过程中重新生成或局部重拍视频片段,边剪辑、边调整内容。
6.1 创建多轨道剪辑器
- 多选创建:多选画布上的素材节点,点击「编辑素材」,进入多轨道编辑器。
- 添加节点:在画布中添加「多轨道剪辑器」节点,进入编辑器。
- 拖拽创建:拖拽画布上的视频节点,新增多轨道编辑器。
6.2 页面介绍
多轨道编辑器主要由资产库、视频预览区、编辑面板和底部多轨道时间轴四个部分组成。编辑器同时提供片段重新生成、片段重拍、视频配音、字幕识别和视频去字幕等工具。
- 资产库:查看和选择资产,将素材添加到时间轴。
- 视频预览区:播放和查看当前画面效果。
- 编辑面板:调整所选片段的相关参数,支持编辑提示词并重新生成。选中字幕时,可设置文字样式。
- 多轨道时间轴:编排视频、音频和字幕,调整各段内容的位置与时长。
6.3 功能介绍
| 功能 | 功能说明 |
|---|---|
| 片段重新生成与重拍 | 对于不满意的视频片段,可以重新生成整个片段,也可以通过重拍对片段内容进行局部修改,在剪辑过程中继续调整视频,边剪边生成,提高创作效率 |
| 视频配音 | 为视频添加配音,配合画面完成旁白或对话内容。 |
| 字幕识别 | 一键识别视频中的语音,自动生成带有时间信息的字幕,减少手动听写和逐条对齐的操作。 |
| 字幕添加与编辑 |
|
| 视频去字幕 | :对于画面中已有字幕的视频,可使用「去字幕」工具进行处理,去除字幕对画面内容的遮挡。 |