首页 > 技术迭代 > 内容

腾讯开发混元文生图模型已经快一年了，说是开源就是开源吗？

发布于：2024-06-28 编辑：匿名来源：网络

文生图模型成熟后，有多少人努力练习中途咒语，却始终得不到可用的图像？设计界的专业术语、不准确的英文翻译、难以理解的中国古代建筑，都存在于当前的文生图工具中。

本质上，源于国内很多团队基于翻译+英文开源Stable Diffusion模型，或者基于少量中文数据，在一些特殊场景下做了finetune。

这两种方法都存在对中文理解不够的问题，不具有普适性。

针对这些痛点，腾讯带来了中国本土文生图的大模型。

5月14日，腾讯宣布开源混元文生地图模型。

它是中国第一个本土化的DiT架构模型。

具有中英文双语理解和生成能力。

它可以生成古诗词、俚语、传统建筑、中餐等中国元素。

杰出的。

例如，对于同时包含关键字“昆曲”和“狗不理包子”的提示，通过比较不同对的文生图模型，浑源生成了最匹配的图像对：为了进一步降低用户的门槛，解决了以下问题：几个提示。

对于一张图片的问题，相比之前大多数孔图模型77个??字符的输入，混元支持最多字符的输入，简直就是孔图界的“Kimi”。

我们简单尝试了腾讯混元文生图模型的长文本能力，发现当给用户足够的输入空间来描述图像细节时，生成结果的可控性变得更高。

例如，向混元模型抛出一个字符长的提示：一张详细的照片捕获了一个类似古代法老的雕像的图像，头上意外地戴着一副青铜蒸汽朋克护目镜。

雕像身着复古别致的服装，清爽的白色T恤和合身的黑色皮夹克，与传统的头饰形成鲜明对比。

背景是简单的纯色，突出了雕像非常规服装和蒸汽朋克眼镜的复杂细节。

生成的效果如下：此功能是一项重大进步，特别是对于专业用户而言，通过更丰富、更详细的描述来增强图像的相关性和准确性。

混元文生地图模型除了具备长文本输入的基本能力外，还根据用户的使用场景，支持用户文本重写和多轮（十轮以上）绘制，保证生成结果的可用性。

这也是腾讯首次开源大型模型，可能为后续主模型的开源做好铺垫。

文生像也需要DiT吗？混元文生大模型的差异源于底层技术架构。

架构方面，混元文生地图模型采用DiT架构，支持中英文双语输入和理解，拥有15亿个参数。

Sora推广的DiT架构结合了扩散模型和Transformer架构的优点，提供了强大的视觉生成能力。

该架构不仅可以用于文生图，还可以作为生成视频和其他多模态视觉内容的基础。

。

据Silicon Star报道，腾讯混元团队认为，基于Transformer架构的扩散模型（如DiT）具有更大的可扩展性，很可能成为下一代主流视觉生成架构。

很可能会变成文生图、视频生成、3D生成。

用于多模态视觉生成的统一架构。

“Transformer具有非常强大的扩展能力，目前我们还不知道它的天花板在哪里，这也是我们坚定地向Transformer迈进的原因。

”腾讯文生地图负责人卢庆林解释道。

混元文生图从今年7月份开始定义了基于Transformer架构的文生图模型，并开始了为期半年的研发、优化和打磨。

今年2月初，模型基础设施从U-Net升级为Transformer。

在这个过程中，腾讯混元主要从三个方面进行了改进和优化：模型算法是模型的灵魂。

Hunyuan 在模型中添加了 LLM 组件，使 DiT 架构具备了理解长文本的能力。

同时，它使用多模态大语言模型来增强简单/抽象的用户命令文本，并将其转录成更丰富/具体的图片。

文字描述最终提高了文生图片的生成效果；通过中文原生文本编码器的独立训练，增加了对原生中文的理解能力，并且还支持英文；另外，通过技术手段控制同一题材、同一主题下图片主题的一致性。