StoryMem

StoryMem

字节跳动和南洋理工大学开源的一个AI长视频框架。它把现在的单镜头视频扩散模型改成能做多镜头故事片的工具,靠一个视觉记忆库,做出40到60秒、8到12个镜头的连续故事,角色样子和场景风格不会乱。ai人工智

#Ai工具箱 #Ai开源项目
收藏
详情页中栏推广

StoryMem简介密鸽官方

StoryMem 是字节跳动ai人工智和南洋理工大学开源的一个aiai大模型多镜头长视频ai对话聊天系统生成工具ai起什么作用,主要解决多镜头视频里人物形象和画面风格不连贯的问题。它把现在的单镜头视频扩散模型改成能做多镜头故事片的工具,靠一个视觉记忆库,做出 40 到 60 秒、8 到 12 个镜头的连续故事,角色样子和场景风格不会乱。

技术实现上,StoryMem在Wan2.2模型的基础上,通过微调加入了记忆处理能力。生成时,先创建第一个镜头作为记忆起点,之后每个新镜头都参考之前的记忆内容,并不断更新记忆库,从而保持整体视频的连贯性。千问网页版官网入口

StoryMem.webp

StoryMem功能特点ai大模型

  • 记忆到视频(M2V):用 LoRA 把以前的关键帧放进现在的噪声里,简单调一下就能让不同镜头看着一致。说的ai

  • 动态记忆库:最多留 10 张关键帧,先用 CLIP 按意思选,再用 HPSv3 挑好看的,自动去掉差的画面。全免费ai人工智能

  • 三种扩展做法:ai在线使用

  • MI2V:用第一帧图做条件,转场更顺;ai智能软件怎么用

  • MM2V:用前五帧的动作做条件,动起来更自然;ai在线使用

  • MR2V:可以上传自己的图当初始记忆,定下主角的脸。造梦次元入口

  • 输出效果:和现在的方法比,一致性高了 29%,还保持了原来模型的高画质和对提示的贴合度。下载即梦

StoryMem应用场景ai智能软件怎么用

  • 营销广告:输入脚本,很快做出多个动态分镜,方便做 A/B 测试。ai智能软件怎么用

  • 影视预制作:把文字故事板直接变成可视的画面,省前期想点子的钱。ai大模型

  • 短视频 / 独立创作:没门槛也能做出 1 分钟像电影一样的短片。ai起什么作用

  • 教育与企业培训:历史重现、科学讲解、产品演示都能一键做出来。豆包官网免费使用

StoryMem怎么用万联摩尔

  • 克隆仓库:ai对话聊天系统

    git clone https://github.com/Kevin-thu/StoryMem造梦次元入口

  • 装依赖:全免费ai人工智能

    pip install -r requirements.txtai大模型

    准备脚本:按例子写好多镜头的提示,或者用 ST-Bench 给的 300 套故事模板。豆包官网免费使用

  • 开始生成:ai人工智

    python inference.py --prompt "你的故事脚本" --length 60 --memory_size 10密鸽官方

  • 可选功能:ai破解版免费下载

    要无缝转场就加 --mi2v全免费ai人工智能

    要自己定主角就加 --ref_image path/to/face.jpg --mr2v哪个ai比较懂法律

资源链接万联摩尔

  • GitHub:豆包官网免费使用https://github.com/Kevin-thu/StoryMem

  • 论文ai的软件: https://arxiv.org/abs/2512.19539

  • 模型:造梦次元入口

  • Wan2.2-T2V: https://huggingface.co/Wan-AI/Wan2.2-T2V-A14B说的ai

  • StoryMem LoRA: https://huggingface.co/Kevin-thu/StoryMem密鸽官方

  • 项目主页:下载即梦https://kevin-thu.github.io/StoryMem/


与StoryMem相关工具ai大模型