首页 > 科技未来 > 内容

使用 GPT-3.5 生成数据集！北大天工等团队针对图像编辑的新SOTA，可以精确模拟物理世界场景

发布于：2024-06-17 编辑：匿名来源：网络

在图像编辑领域取得了重要进展。

北京大学、Tiamat AI、天工AI和Mila实验室合作推出EditWorld，这是一种全新的世界引导的图像编辑模式。

该模型在独特的多模态数据集上进行训练，利用 GPT-3.5、Video-LLava 和 SDXL 等预训练模型来模拟图像编辑任务中的真实物理现象。

EditWorld 超越了现有方法，在创建准确反映物理世界动态的图像方面达到了最先进的水平。

这一发展对于那些对人工智能和真实感图像处理的交叉感兴趣的人来说非常重要。

研究成果已通过在GitHub上发表论文和发布代码的方式公开，为AI图像编辑领域的开发者和研究人员提供了宝贵的资源。

- 北京大学天工团队提出了一种名为EditWorld的图像编辑方法，可以模拟物理世界场景。

- EditWorld引入了世界命令图像编辑任务，以根据世界场景定义和分类命令。

- 使用预训练模型构建具有世界指令的多模式数据集。

使用 GPT-3.5 生成数据集！北大天工等团队针对图像编辑的新SOTA，可以精确模拟物理世界场景

- 基于扩散的图像编辑模型 EditWorld 在此数据集上进行了训练，结果优于现有的编辑方法。

- 现有的图像编辑方法难以处理真实物理世界和虚拟媒体中的世界动态。

- 团队定义并分类了各种世界动态指令，并创建了多模态训练数据集。

- 使用精心设计的数据集训练文本引导扩散模型，并提出零样本图像处理策略。

- 团队将世界指令图像编辑分为7类并提供数据样本。

- 团队设计了两个分支：文本转图片生成和视频故事板提取来获取数据集。

- 通过从视频中提取关键帧作为编辑数据，将真实数据添加到数据集中。

- 团队手动重新检查生成的数据以提高数据质量。

- 团队对InstructPix2Pix模型进行微调，提出了后期编辑策略，保护非编辑区域，以实现更精准的编辑。

- 该团队的方法非常适合世界命令图像编辑。

使用 GPT-3.5 生成数据集！北大天工等团队针对图像编辑的新SOTA，可以精确模拟物理世界场景

站长声明

标签：

上一篇：2023国际绿色零碳节正在有序筹备中，我们将一起加入零碳和ESG的约

下一篇：智城云：进军LPWAN智慧城市物联网市场

天全投资首支中资基金募资总额达2.5亿美元

据投资界9月1日消息，天全投资近期完成首支中资基金募资，募资总额2.5亿美元，占总募资额的71%来自家庭资金。其中，16%来自母基金和养老基金，13%来自公司和高净值个人。　　据天全投资介绍，该基金将主要关注清洁技术、医疗健康与医药、消费行业以及专业和商业服务。 2020

06-18
普洛斯日本、欧洲两只物流收益基金完成新一轮募资

据投资界1月15日消息，近日，普洛斯日本、欧洲两只物流收益基金完成新一轮募资，分别是” GLP 日本收入基金（GLP JIF）和 GLP 欧洲收入基金 II（GLP EIP II）。在过去 12 个月里，GLP 全球物流部门基金管理的资产增加了近 1 亿美元。 GLP JIF 是日本最大的开放式基金完成本

06-17
谷歌发布会摘要：真正的“儿子”Pixel 6系列发布，全新自研芯片到底有多强大？

谷歌的Pixel 6系列可能是今年最不神秘的“神秘新手机”。今年8月，谷歌公布了Pixel 6系列的最终照片，同时还发布了一系列宣传视频。 Pixel 6和Pixel 6 Pro的外观、自研芯片和相机模组在发布会前基本曝光。得到确认。与苹果等严格保密的新品发布会相比，谷歌的发布会节奏更

06-21
芯无双仿真完成数千万Pre-A轮融资，积极融入国内自主芯片制造生态圈

投资圈（ID：pedaily）据12月20日消息，上海芯无双仿真技术有限公司（ Monochip（以下简称“芯无双”）宣布成功完成数千万元Pre-A轮融资，本轮融资由航石探针创投合伙企业投资，本轮融资将主要用于核心业务芯无双成立于今年5月，专注于制造端集成电路电子设计自动化（EDA）工

06-17
「Datafuse Labs」完成数百万美元种子轮和天使轮融资，投资方包括高瓴创投、华创资本、九合创投等，

投资圈（ID：pedaily）8月6日消息，开元云数据仓库服务商Datafuse Labs完成数百万种子轮和天使轮融资。种子轮融资由华创资本领投，九合创投跟投；本轮天使轮融资由高瓴创投领投，老股东华创资本、九合创投跟投。融资资金将主要用于第一代产品的研发和国际化团队的组建。 “

06-18
募集资金概要 -一月总结【0128最新更新】

【动态】新疆亳州设立首支产业引导基金，总规模10亿元。总规模20亿元的海南凯旋数字子基金成立，规模2亿元，主要投资电子竞技等领域。济宁市高成长企业发展母基金正式成立，投资规模百亿【动态】各地百亿资金爆发【新闻动态】山东首支土壤污染防治基金成立，目标规模10亿

06-18
执掌两只新基金，曾之杰向自己“发动战争”

美国心理学大师马斯洛在研究了历史上伟人的许多常见性格特征后，详细描绘了一个“自我实现者”的肖像（a成长型人）：比如全面、准确地感知现实，具有创造性、自主性、保持相对独立性、具有永不褪色的鉴赏力等。　　世界上只有1%的人最终能够真正成长为“不惑”、“知命”、“

06-18
PETKIT小佩完成2000万美元C轮融资，启明创投领投

据投资界2月21日消息，宠物用品品牌“PETKIT小佩”已完成2000万美元C轮融资。本轮融资由启明创投领投。本次投资为领投，现有股东纪源资本跟投。泰合资本充当专属财务顾问。本轮融资完成后，团队重点将放在产品研发和海外市场。小佩成立于2011年，较早通过“智能饮水机”

06-18
新闻 -中宠控股拟参与设立3亿元产业并购基金

投资界（ID：pedaily）据7月5日消息，中宠控股与金鼎投资签署产业基金合作框架协议，拟联合发起成立“中宠控股金鼎宠物产业资产管理中心”，作为中宠产业产业投资并购平台，基金总规模3亿元。该基金专注于宠物行业中宠控股7月4日中午发布公告称，积极布局宠物消费产业链，增

06-17
湖北首支量子科技产业基金获批设立

投资界（ID：pedaily）据5月29日消息，湖北首支量子科技产业基金——武汉光谷核心光量子科技投资基金近日由武汉市发起设立高科集团合伙企业获准落户光谷，进一步推动“光谷”量化。武汉光谷核心光量子技术投资基金合伙企业（有限合伙）由武汉高新集团发起，初始规模1亿元，武

06-17
坚持创业创新，依靠大众创业、万众创新带动社会就业

三月春意盎然，鸟飞草长。伴随着春天的脚步，一年一度的两会如期举行。两场会议期间，有关创新创业、支持中小企业发展的相关信息层出不穷。与此同时，国家多部委本月也出台了一系列关于创业、就业、高新技术发展等方面的政策，着力为创业企业创造环境。政策健全、法治完备

06-17
昊铂 Hyper GT 试驾：从外到内的激进运动基因

很巧的是，在参加这次昊铂 Hyper GT 试驾活动的路上，我捡到了一辆同样是广汽埃安 Y 生产的 Aion。作为“猫人士”偶尔需要带猫出行的我（每次出行前我都会提前与司机进行友好协商），对Aion Y有着天然的好感。 Aion Y超大的后排空间可以轻松存放近10公斤重的猫箱。安置了

06-21