LTX 推出了 LTX-2.5,这是其开放权重世界模型的最新版本,引入了视频生成、实时应用和物理 AI 的新功能。
该公司表示,新模型在视觉质量、及时理解、生成速度和效率方面有所改进,同时允许开发人员和企业在自己的硬件上运行和定制模型。
LTX-2.5 可通过 Hugging Face 作为开放权重提供,并在 ComfyUI 中提供本机支持,并可通过 LTX API 进行访问以进行托管部署。
LTX 表示,其世界模型现已下载超过 3300万次,并被广泛应用于电影制作、机器人和实时渲染等领域。
该公司将 LTX-2.5 定位为基础模型,不仅用于生成视频,而且还用于需要对环境如何随时间变化进行建模的系统——这是机器人和物理人工智能领域日益重要的功能。
LTX 联合创始人兼首席执行官 Zeev Farbman 表示:“世界模型面临着大语言模型从未解决过的挑战,例如保持运动、空间和声音在时间上保持一致,这就是效率和控制如此重要的原因。
“通过保持 LTX 的开放性,我们让团队拥有自己的硬件、IP 和模型。LTX-2.5 是迄今为止功能最强大的模型,与 ComfyUI 等合作伙伴关系建立在对开放未来的共同信念之上,正是它能够满足需要行业领先质量和完全控制的团队的需求。”
新模型架构
LTX 表示,它已经重建了 LTX-2.5 的大部分生成流程,而不是在之前的架构中添加新功能。
其中主要的新增内容是原生多重镜头生成,它使模型能够生成完整的序列,同时保持角色、场景和声音之间的一致性。
提示理解也通过定制的 Gemma 4 语言主干和专用提示增强器进行了升级,旨在解释涉及多个主题的更复杂的提示。
对于视觉输出,LTX 引入了一种新的扩散视频解码器,旨在减少高运动序列期间的伪影,同时保留模型的高压缩比。
该公司还开发了所谓的扩散保真度渲染。该方法在 8 倍时间压缩的潜在空间中构建运动和结构,同时生成更高保真度的关键帧以保留重要的视觉细节。
关键帧的数量可以根据场景的复杂性和可用计算资源而变化,从而允许系统将处理集中在需要更多细节的序列部分。
LTX 表示,对其蒸馏模型的改进还可以实现接近完整的模型质量,同时降低计算要求并加快推理速度。
物理人工智能和机器人技术
LTX 新版本的目标领域之一是物理人工智能,其中世界模型可用于帮助机器人了解环境行为并预测行为如何影响周围环境。
LTX-2.5 包括一个专门针对物理 AI 和机器人技术进行调整的预训练检查点。开发人员可以使用检查点作为基础,并使用自己的特定领域数据微调模型。
Markov Robotics 是与 LTX 合作开发机器人应用的公司之一。
马可夫机器人公司联合创始人兼首席执行官 Atharva Gundawar 表示:“训练机器人意味着教它们物理世界的实际行为方式,而不仅仅是它看起来的样子。
“LTX-2.5 是最接近我们的开放模型,能够在我们自己的硬件上运行和微调它,使其可用于真正的机器人工作。我们还没有找到另一种开放模型可以像这个一样为我们做到这一点。”
世界模型引起了机器人领域越来越多的兴趣,因为它们可以为系统提供对象、环境和其他代理随着时间的推移可能如何表现的模型。
世界模型不像大型语言模型那样预测下一个单词,而是尝试预测环境中的下一个状态或“时刻”。
这使得该技术可用于模拟、机器人训练和规划,以及电影制作、广告和游戏等传统应用。
针对本地硬件进行了优化
LTX 还与 NVIDIA 合作,优化 LTX-2.5,以在 NVIDIA RTX GPU 和 DGX Spark 系统上进行本地推理。
两家公司表示,优化减少了内存需求,使更多开发人员和企业可以在本地运行模型,而不是完全依赖云基础设施。
NVIDIA 本地人工智能产品高级总监 Gerardo Delgado Cabrera 表示:“借助本地 GPU,本地模型使创作者和开发人员能够自由探索他们的想法。
“通过与 LTX 密切合作来优化 LTX-2.5 并在 ComfyUI 等流行框架中启用它,使用 NVIDIA RTX GPU 和 DGX Spark 的用户可以获得最佳性能,同时显着减少 VRAM 消耗。”
本地部署还允许组织将专有数据和知识产权保留在自己的基础设施上,并为特定应用程序定制模型。
LTX 表示,LTX-2.5 可以在从数据中心 GPU 到 Mac 的各种硬件上运行。
ComfyUI 集成
LTX 与 ComfyUI 合作,使新模型从发布起就可以在基于节点的开发环境中本地使用。
该集成旨在允许开发人员从实验转向生产工作流程,而无需将其工作转移到单独的专有平台。
ComfyUI 联合创始人兼首席执行官 Yoland Yan 表示:“ComfyUI 和 LTX 有一个简单的信念,即开放模型可以更快地构建更好的工具。
“通过在 ComfyUI 中本地运行 LTX-2.5,开发人员可以在一个下午将想法转变为可行的世界模型管道,而企业可以在自己的硬件上将相同的管道直接投入生产。开放让社区能够快速发展,并让企业能够在其证明的基础上进行构建。”
该公司还与Reactor合作,这是一个实时生成视频的开发平台。 Reactor 在其低延迟推理基础设施上运行 LTX-2.5,适用于交互式头像、实时生成的环境和Realtime Robotics工作负载等应用。
Reactor 联合创始人兼首席执行官 Alberto Taiuti 表示:“媒体的未来是实时的,只有当底层模型快速、可控且由您自行运行时,它才有效。与 LTX 合作意味着我们可以根据我们自己的基础设施调整模型,并为全球用户带来实时、响应式的化身。”
LTX 表示 Asteria 还将其技术用于电影和视频制作。
该公司预计世界模型最终将提供一个涵盖媒体、模拟、交互式应用程序和物理机器的基础设施层。
LTX-2.5 现已通过 Hugging Face 和 ComfyUI 以及 LTX API 提供。 LTX 表示,该模型可以免费用于年经常性收入低于 1000 万美元的组织。