4月21日,昆仑万维SkyReels团队正式发布并开源SkyReels-V2。据介绍,SkyReels-V2支持生成30秒和40秒的视频,且具备生成高运动质量、高一致性、高保真视频的能力,解决了当前AI视频技术在提示词、视觉质量、运动动态和视频时长上的痛点。
昆仑万维SkyReels团队表示,SkyReels-V2拥有多项创新技术,核心是全面影视级视频理解模型SkyCaptioner-V1,它能够高效地理解视频数据,生成符合原始结构信息的多样化描述。

图丨SkyReels-V2方法概述
同时,为提高提示词遵循能力,团队设计了结构化的视频表示方法,将多模态LLM的一般描述与子专家模型的详细镜头语言相结合。上述方法能够识别视频中的主体类型、外观、表情、动作和位置等信息,同时通过人工标注和模型训练,进一步提升对镜头语言的理解能力。
SkyReels-V2不仅在技术上实现了突破,还为多个实际应用场景提供了支持,包括故事生成、图像到视频合成、摄像导演功能、运镜专家和元素到视频生成。
基于SkyReels-V2基座模型,昆仑万维SkyReels团队还研发了SkyReels-A2方案,并提出新的多元素到视频(E2V)任务,能够将任意视觉元素,如人物、物体和背景等,组合成由文本提示引导的连贯视频,同时确保每个元素参考图像的高保真度。这一功能适合短剧、音乐视频和虚拟电商内容创作等应用。
SkyReels-V2的推出标志着视频生成技术迈入新阶段,为实现高质量、长时间的电影风格视频生成提供了全新的解决方案。它不仅为内容创作者提供了强大的工具,更开启了利用AI进行视频叙事和创意表达的无限可能。
昆仑万维SkyReels团队未来将继续优化SkyReels-V2的性能,探索更多应用场景,并进一步降低计算成本,使其能够更广泛地应用于创意内容制作和虚拟仿真领域。(cis)