跳到主要内容
项目详情

MagicEdit 是 ByteDance Inc. 提供的视频编辑研究项目,由 Jun Hao Liew、Hanshu Yan、Jianfeng Zhang、Zhongcong Xu 和 Jiashi Feng 等作者提出。它针对视频编辑中的外观变化与运动变化,明确将二者的学习过程解耦,以实现高保真且具有时间一致性的视频编辑。官网展示了从源视频出发,通过文字描述改变主体、背景、场景或局部内容的多种应用,包括视频风格化、局部编辑、Video-MagicMix 和视频外扩展。页面中的示例覆盖动物、物体、场景和人物等内容,并展示了源视频与编辑结果之间的对应关系。

核心功能

视频风格化

视频风格化可以将源视频转换为具有指定风格的新视频,例如写实或卡通风格。它也可以改变视频中的主体和背景,例如把狗变成猫,或将客厅场景转换为海滩场景。官网示例覆盖动物、物体、场景和人物:动物示例包括猴子、泰迪熊、猫、拉布拉多犬、哈士奇和海狮;物体示例包括汽车、饼干、砖块、凳子和纸杯蛋糕;场景示例包括海面、隧道、雪地、樱花和沿海别墅;人物示例则展示了不同服装、发型、动作和环境的变化。

局部编辑

MagicEdit 支持只修改视频中的局部区域,同时保留其他区域不变。官网以人物视频为例,展示了将人物修改为戴墨镜、将年长女性修改为年轻女性,以及将人物修改为漂亮女孩等局部内容变化。该功能的重点是对指定区域进行修改,而不是改变整个视频画面。

Video-MagicMix

Video-MagicMix 用于在视频领域混合两个不同概念,从而生成新的概念。官网举例说明,可以在源视频中加入 tiger、piglet 或 cat 等概念,也可以将 rabbit 和 tiger 混合为类似兔子的老虎这一新概念。页面展示了以源视频和附加概念组成的编辑示例。

视频外扩展

MagicEdit 支持视频 outpainting,也就是在原有视频画面之外扩展内容,并且官网明确说明该任务无需重新训练。示例将人物跑步、女孩、棕熊等源视频与花园、鲜花、海洋、森林等扩展结果对应展示;另一个示例说明,可以在原有“英俊男子在阳光下道路上慢跑、周围有树”的提示基础上加入“长裤”等提示内容。

使用方式

官网以源视频和文字提示的形式展示编辑过程及结果,页面中的示例通常同时列出 Source video、提示词以及编辑后的内容。用户可以通过文字描述指定主体、服装、背景、场景或需要混合的概念。正文没有说明是否需要注册、是否提供在线操作界面、是否需要自备模型 Key,也没有给出客户端、浏览器插件、命令行或 API 的使用方式;页面提供了名为 Code 的代码入口,但正文未进一步说明其调用方法。

适用人群与场景

视频创作者可以使用视频风格化改变作品的视觉风格、主体和背景,例如将现实场景转换为卡通效果,或替换动物与环境。需要精细修改画面的用户可以使用局部编辑,在不改变其他区域的情况下调整人物外观。进行概念设计或视觉实验的研究者可以使用 Video-MagicMix,将不同概念组合成新的视频内容。需要扩展视频画面范围的用户,则可以使用视频外扩展,在无需重新训练的情况下生成画面外区域。

注意事项

官网正文以研究项目介绍、论文信息和示例结果为主,没有提供定价、注册方式、可直接使用的产品界面说明或具体运行要求。页面也未说明各项任务支持的输入格式、输出格式、处理时长和使用限制。

视频风格化将源视频转换为指定风格,或改变视频中的主体与背景。
局部编辑修改视频中的局部区域,同时保留其他区域不变。
Video-MagicMix混合不同概念,在视频领域生成新的概念内容。
视频外扩展支持无需重新训练的视频 outpainting 任务,扩展原有视频画面。
外观与运动解耦显式解耦外观和运动的学习,以实现高保真且时间一致的视频编辑。

用户评论 (0)

还没有用户评论

成为第一个分享使用体验的人

查看更多

MagicEdit 截图

官网首页截图

写评论

分享你的使用体验,至少 10 个字。评论可以发多条,打分在右侧卡片单独进行。

还需 10 个字 · 0 / 500