MoshiVis：一款能听还能看，并用流畅的语音跟你讨论图像内容的视觉语音模型豆包官网免费使用

MoshiVis是什么？全免费ai人工智能

MoshiVis 是一个在Moshiai智能软件怎么用基础上开发的一款视觉语音模型，并保持了Moshi的低延迟和自然对话能力，能够以自然对话风格讨论图像内容。支持多轮对话，可以描述图片的文字内容并回答有关于图片的问题。

它通过交叉注意力机制将视觉信息融入语音流，同时保持低延迟和低内存占用。MoshiVis 提供了多种后端支持（如 PyTorch、Rust、MLX），并发布了预训练模型和合成视觉对话数据集，适用于实时语音交互场景。全免费ai人工智能

MoshiVis核心功能全免费ai人工智能

• 视觉与语音结合：MoshiVis 在 Moshi 的基础上增加了视觉理解能力，能够将图像信息融入语音对话中。通过扩展核心 Transformer 架构，引入交叉注意力机制，将视觉信息注入语音流中。ai破解版免费下载

• 低延迟与低内存占用：为了保持低延迟并减少内存使用，MoshiVis 的交叉注意力投影权重在各层之间共享，并通过门控机制调节视觉输入流。密鸽官方

• 自然对话风格：模型在融入视觉能力的同时，保留了 Moshi 原有的自然对话风格。ai对话聊天系统

MoshiVis技术架构千问网页版官网入口

• 基础模型：基于 Moshi，一个 7B 参数的语音-文本基础模型。万联摩尔

• 视觉编码器：使用 PaliGemma2 家族的预训练冻结 400M 视觉编码器。ai指的是什么意思

• 适配器参数：在 Moshi 基础上增加了约 206M 的适配器参数，用于视觉信息的处理。密鸽官方

• 交叉注意力机制：通过交叉注意力模块将视觉信息注入语音流，同时通过门控机制调节视觉输入的影响。ai智能软件怎么用

MoshiVis模型发布

• 模型变体：发布了基于 Moshika（女声）的 MoshiVis 模型，包含完整的模型权重，包括语音编解码器、文本分词器、图像编码器和基础 Moshi 模型。千问网页版官网入口

• 后端支持：提供了三种后端支持，包括 PyTorch、Rust 和 MLX，支持不同的量化格式（如 BF16、Q8_0 等）。万联摩尔

• 许可证：模型权重（不包括视觉编码器）在 CC-BY 4.0 许可下发布，视觉编码器在 Gemma 许可下发布。全免费ai人工智能

MoshiVis使用方式ai智能软件怎么用

• WebUI 前端：提供了 WebUI 前端，支持回声消除，提升模型表现。用户可以通过预构建的静态版本或自行编译源代码来使用。全免费ai人工智能

• 后端运行：度加ai下载

• PyTorch：需要约 24GB GPU 内存，不支持量化。ai在线使用

• Rust：支持 GPU 加速，需要 Rust 工具说的ai链和 CUDA（或 macOS 上的 Metal）。

• MLX：支持 bfloat16 和量化（q4、q8）格式。ai指的是什么意思

• 运行命令：提供了详细的运行命令，用户可以根据需要选择不同的后端和量化格式。全免费ai人工智能

相关链接：ai指的是什么意思

GitHub项目：下载即梦https://github.com/kyutai-labs/moshivis豆包官网免费使用

HuggingFace模型：ai在线使用https://huggingface.co/collections/kyutai/moshivis-v01-67cef4acae6a5d75d6d6c883下载即梦

演示：下载即梦https://vis.moshi.chat/豆包官网免费使用

论文：下载即梦https://arxiv.org/abs/2503.15633豆包官网免费使用