首页 > 网络技术迭代 > 内容

【重绘一切】Inpaint Anything

发布于：2024-10-24 编辑：匿名来源：网络

稳定扩散webui的背景近几个月来，Meta发布了一个名为SAM（Segment Anything Model）的基础图像分割模型。其强大的功能和简便的操作引起了广泛的关注。

SAM 模型只需点击对象即可实时准确地分割对象。它在 GitHub 上的受欢迎程度也可见一斑。

截至4月15日，其仓库星数已达2.6万颗。然而，如何将这种强大的“分割一切”模式应用到更多实际需求场景中并进一步拓展，成为了关键问题。

一个研究小组给出了令人惊讶的答案。基于SAM模型，他们提出了一个名为“Inpaint Anything”（IA）的模型。

与传统的图像修复模型不同，IA模型不需要复杂的掩模操作。只需一键标记所选对象，即可删除任意对象、填充任意内容、替换任意场景等典型图像修复应用场景。

。这一创新引起了人们的极大兴趣。

在过去的几个月里，研究人员通过不断优化和改进IA模型，取得了重大进展。他们首次尝试无掩模图像修复，并构建了一种新的图像修复范式，称为“点击和填充”，即“Inpainting Everything”（IA）。

IA的核心思想是结合不同模型的优点，构建一个功能强大且用户友好的图像修复系统。 IA 模型具有三个主要功能：删除任何内容、填充任何内容和替换任何内容。

用户只需点击想要删除的对象，IA就能将对象删除得不留痕迹，实现高效的“魔法消除”。同时，用户还可以通过文字提示告诉IA想要填充什么对象，IA会驱动内嵌的AIGC模型生成对应的内容填充对象，实现随心所欲的“内容创作”。

另外，用户还可以点击选择需要保留的对象，并通过文字提示告诉IA想要用什么来替换对象的背景，以便将对象的背景替换为指定的内容实现生动的“环境改造”。本文主要讲稳定扩散webui中扩展的Inpaint Anything（AI）方法，解决重绘一切的问题。

在Inpaint Anything扩展安装界面，进入sd-webui的扩展选项卡，选择可用选项卡，点击【加载到：】，在加载列表中选择【Inpaint Anything】，然后点击右侧【安装】行的。然后重新启动 sd-webui。

您也可以从 URL 的安装界面中选择该选项卡上的【从 URL 安装】。在【扩展git仓库URL】中输入：，点击【安装】按钮。

然后重新启动 sd-webui。您将看到第一张图片的[Inpaint Anything]选项卡。

该选项卡分为四个主要区域，Run Segment Anything 区域、遮罩创建区域 Create Mask 和遮罩修改区域（扩展遮罩区域、根据图纸修剪遮罩区域、按草图修剪遮罩、根据图纸添加遮罩区域）（通过草图添加蒙版），重画所有区域运行Inpainting这里的四个区域需要顺时针查看，我已经在图中标记了Inpaint Anything分区图SAM模型是在分段在一起的区域中下载的，选择不同的[ Segment Anything Model ID]，然后点击【下载模型】即可完成模型的下载，一般情况下，建议下载时间较长，请耐心等待。选中想要分割的图像，点击【Run Segment Anything】，在右侧的蒙版创建区域中就可以看到对应的分割图像。

蒙版生成与修改用鼠标控制笔触，选择需要蒙版的部分（。图中豹子身上的黑线），然后点击【创建蒙版】，可以在下面的蒙版修改区域中看到蒙版的部分。

如果要反转选择，请选择[反转蒙版]。上图中边缘较多的原因是我用鼠标笔画了一个额外的圆，然后点击了【通过草图添加蒙版】。

也可以点击【扩展遮罩区域】自动扩展区域（限制比较大，尝试一下就知道了）。我们也可以用鼠标再画一个圆，然后点击【通过草图修剪蒙版】，使蒙版区域变小。

这里Inpainting重画我想让图像中的豹子消失，所以Inpainting Prompt写草原，Negative Prompt写豹，豹子，动物，羊，马，鸟各种动物。在修复模型ID中选择[stabilityai/stable-diffusion-2-inpainting]模型，然后单击[运行修复]。

拍一张没有豹子的照片。需要注意的是，这里的效果并不是特别好。

我尝试了很多次才得到这样一张去掉豹子的图像。其中大多数都有各种动物出来。

因此，我在否定提示中写了豹、豹、动物、羊、马、鸟等各种动物。如果有什么特别有效的方法，请在评论区或者私信告诉我。

Cleaner Cleaner 如果我们想要去除豹子，我们还可以选择Cleaner选项卡，Cleaner Model ID选择lama，然后点击【运行Cleaner】。效果如下：比我想象的还要糟糕，就像很多潜行电影里的隐形生物一样。

我之所以给豹子延长面具就是为了解决这个问题，但是喇嘛这个Cleaner Model ID的效果不太好。 Mask only 仅生成掩模。

选择仅遮罩选项卡，然后单击[获取遮罩]以获取遮罩图像。如果您只想获取豹子，可以单击[获取蒙版作为 alpha 图像]。

站长声明

标签：

上一篇：购买培训认证环境：使用接口批量创建CVM

富森美身为LP，一周投三笔

短短一周，富森美又出手了。投资圈-解码LP消息，昨日（5月16日），上市公司Fusemi发布两份公告，公布其全资子公司海南Fusemi投资有限公司（简称“海南投资”）的最新投资状况。具体如下：海南投资与鼎立资本投资管理（徐州）有限公司（简称“鼎立资本”）等共同投资设立宁波

06-18
Imec 的 elPrep 软件显着加速基因组测序分析

美国旧金山，2019 年 10 月 18 日 - 在本周的 Imec 技术论坛 (ITF) 医疗保健会议上，全球领先的纳米电子和数字技术研究与创新中心imec 与 Together , Exascience Life Lab 展示了 elPrep 4.0，这是一款功能强大的软件工具，可加速人类 DNA 测序分析。 elPrep 将整个基因组和

06-06
九公司2020年净利润扭亏为盈，扣非净利润同比下降50%

全年九公司实现营业收入60亿元，增长1.416较去年同期增长30.88%；归属于母公司所有者净利润7.64万元，较上年同期增加5.28亿元，扭亏为盈。

06-18
亿智传媒将获得IDG第二轮投资，计划2009年赴美IPO

接连收购竞争对手，让分众传媒在楼宇和商店终端占据主导地位后，专业做展示架的亿智传媒广告，正在悄然出现在全国高端建筑市场中部。这家公司的创始人之一是副总裁蔡晓阳，他是分众传媒的资深成员，被分众传媒以巨资收购。 2020年9月，一知传媒正式成立。 2019年1月获得鼎辉

06-17
供应链服务平台“粉来”完成数亿元A轮融资

据投资界9月21日消息，据36氪报道，供应链服务平台“粉来”近日完成数亿元A轮融资完成人民币A轮融资，由龙百资本、高合资本联合领投。据悉，本轮募集资金将用于供应链整合、中台能力建设以及渠道进一步拓展。芬来成立于2017年，专注于为有私域流量变现需求的企业和个人提供

06-17
北京理工大学与珠海学院联合成立集成电路技术现代产业学院

7月4日，集成电路技术现代产业学院成立暨揭牌仪式在珠海高新区举行。这所产业学院由北京理工大学珠海学院（信息学院）、广东中兴电子股份有限公司、珠海英思科技有限公司联合创办。图片珠海高新区珠海高新专区新闻显示，北理工珠海学院院长赵显礼表示，集成电路发展关系产

06-06
美国室内农场公司“Bowery农场”获3亿美元C轮融资

据报道，美国室内农场初创公司Bowery农场已完成3亿美元C轮融资。本轮融资由富达投资集团领投，B 轮老股东 Google Ventures 和淡马锡，A 轮老股东 GGV Capital 和 General Catalyst 也参与投资。其他投资者包括阿特米斯集团（Groupe Artemis）和路易斯Hamilton（Lweis Hami

06-18
硬核防窃听！ Mac独有的功能来到iPad：业界最严格的保护机制，基于T2芯片

苹果在保护用户个人隐私方面真是不遗余力。这种不遗余力也体现在苹果最新的设备上。不久前发布的MacBook Air搭载了苹果自主研发的T2安全芯片。作为当前Mac设备的重要组成部分和独特的产品标志，T2安全芯片的核心功能之一就是实现麦克风的硬件屏蔽。（硬件断开）。现在，

06-18
诸暨人才基金投资普华资本

投资界-Decode LP获悉，近日，诸暨市人民政府发布公告，公布了诸暨市人才产业投资基金今年第二批拟投资项目。此次诸暨人才基金拟投资诸暨普华高层次人才发展基金（需工商注册），基金管理人为杭州普华天勤私募基金管理有限公司（简称：普华资本）。基金总规模1亿元，其中诸

06-18
音视频企业普亭电子获广发千禾

投资社区（ID：pedaily）11月30日消息，近日，广发证券旗下两家投资机构广发千禾、广发信德联合完成对广州普亭的投资保伦电子有限公司投资的公司（以下简称“保伦电子”或“公司”）成为这家中国音视频行业先驱者和领导者的唯一两家外部股东。保伦电子成立于2007年，是一家从

06-17
全球最具潜力AI企业100强出炉，中国成最强独角兽诞生地

来自：硅谷最具实力智库之一的DeepTech CB Insights近日发布了一份AI报告。在这份最有前途的AI初创公司名单上，有6家中国公司：商汤科技、依图科技、第四范式、旷视科技、Momenta、地平线。此外，估值达到10亿美元独角兽级别的公司数量也增长至11家，其中商汤科技以45亿美

06-06
河洛新图宣布完成数千万天使+轮融资，由芙蓉投资

投资界（ID：pedaily）领投 2月2日消息，近日，河洛新图生物科技（南京）有限公司（简称：河洛新图）宣布获得芙蓉投资领投的数万元天使+轮融资。本轮募集资金将用于进一步推进公司产品管线的研发和搭建新技术平台。此前，公司曾于今年7月获得凯辉资本、上升天使基金的天使轮

06-18