首页 > 科技未来 > 内容

编码为高清! AI一秒还原马赛克,杜克大学出品

发布于:2024-06-18 编辑:匿名 来源:网络

像素不够,后期修图怎么样?在知乎上搜索低像素照片修图,发现帮助帖子太多了,根本看不完,而且从PS技巧、插件神器到各种照片修图APP的教程也太多了,让我心疼不已。

我眼花缭乱。

关键是不知道效果如何。

不过,杜克大学的一个研究团队最近开发了一种可以解决所有低像素问题的黑色AI图像编辑技术PULSE。

据称,它可以将图像原始分辨率放大64倍,任何质量较差的图像都可以在几秒钟内转变为高清逼真的图像。

即使是马赛克的人脸图像,毛孔、皱纹、毛发也能清晰还原。

马赛克转高清人像PULSE是一种新的超分辨率算法,通过潜在的太空探索对照片进行采样,可以将16x16像素的低分辨率(Low Resolution,简称LR)放大到x像素的高分辨率(High Resolution) 。

,简称HR),在几秒钟内放大了64倍,而传统方法最多只能放大8倍。

我们先来看一组例子。

照片修图界最难处理的LR头像,通过PULSE可以秒变高清细腻的图像。

更重要的是,PULSE可以定位面部的关键特征,以更高分辨率生成一组类似的细节。

虽然画面中头像是马赛克的,但PULSE还可以“想象”眉毛、睫毛、头发、脸型等面部细节,形成高清、栩栩如生的肖像。

然而,过度模糊产生的肖像只是一张虚拟的新面孔,实际上并不存在。

因此,该技术无法用于身份识别。

例如,监控摄像头拍摄的失焦、无法识别的照片无法通过PULSE恢复为真实的肖像。

杜克大学研究团队的计算机科学家辛西娅·鲁丁 (Cynthia Rudin) 表示:“以前从未产生过如此超高分辨率的图像,可以生成尚不存在且看起来逼真的新面孔。

”同时她补充道,这项研究中使用的技术可广泛应用于医学、显微镜、天文学和卫星图像等领域。

此外,研究团队已将论文发表到预印本论文库arVix,并被IEEE国际计算机视觉与模式识别会议(CVPR)收录。

“减少损失”超越了传统的图像修饰方法。

对于LR图像,传统的通过将HR分辨率与LR图像进行部分匹配来获得超高分辨率(SR)的方法往往会导致HR图像的灵敏度较差且平滑度不均匀。

图像失真。

在这项研究中,杜克大学的研究团队提出了一种新的想法,提出了一种新的超分辨率算法——PULSE。

它并不是遍历LR图像来慢慢添加细节,而是找到HR对应的LR,并通过“reduce Loss”方法得到SR图像。

原始LR(第一行),PULSE输出HR(中间行),HR对应LR(最后一行) PULSE使用的是生成对抗网络(GAN),这是一种训练模型,顾名思义,是通过对抗性游戏进行的。

目标训练。

其主要结构包括生成器(Generator)和判别器(Discriminator)。

在同一组照片训练中,一个负责训练接收到的图像并输出,另一个负责接收输出并检查它是否足够真实。

以下是与原图对比后的测试结果:图中,第一行是原图,第二行是“减少损失”得到的HR对应的LR,第三行是得到的HRPULSE所著。

编码为高清! AI一秒还原马赛克,杜克大学出品

可以看到,虽然和原图还是有细微的差别,但是还原度已经非常高了。

论文显示,为了测试Confluence在SR方面的优势,杜克大学研究团队使用4种不同的图像缩放方法与其进行了对比研究。

本研究使用CelebA HQ数据集中的图像对LR面部图像进行实验,特别是眼睛、嘴唇和头发等细节,比例因子为x8和x64。

PULSE表现出明显的优势,尤其是在X64分辨率下,模糊的头像完全还原,尤其是眼睛、嘴唇等细节。

其他方法很难达到这样的效果。

另外,对于测试结果,研究人员采用感知超分辨率常见的MOS测试方法,邀请五位评分者对图像结果进行从1到5的打分,结果显示HR源高清图像分辨率得分为3.74 ,而PULSE则达到了3.60,仅相差0.14,可以说几乎达到了真实高画质图像的水平。

然而,研究人员也承认PULSE还不够完美。

它产生的高分辨率图像与专业原始图像有些不同。

但随着技术和工具的进步,这项技术会一点一点的完善。

现在研究团队已经将PULSE发布到Github开源平台并收获了stars。

编码为高清! AI一秒还原马赛克,杜克大学出品

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 为什么理想的MEGA能卖到56万?

    为什么理想的MEGA能卖到56万?

    今天看到一个笑话:理想MEGA一到店里,所有喝酒的人都看着他微笑,还有人喊道:“理想MEGA,你的订单还没过万呢!”他没有回答,对柜台说道:“温两碗酒,要一盘茴香豆。 ”然后他给了九个硬币。 他们故意大声喊道:“你一定是在发布会上骗人的!”理想MEGA睁大眼睛,道:“你

    06-21

  • 周鸿祎再次爆料,360新款路由器等产品谍照泄露

    周鸿祎再次爆料,360新款路由器等产品谍照泄露

    周教主又“调皮”了。 他刚刚宣布将于6月11日在北京举办路由器新品发布会,大家都在猜测会发布什么新品。 当时,周鸿祎在周六凌晨深夜发的“自我推销”微博中提前透露了自己的新产品。 是没有什么新意还是依然沿用“家族式前脸”设计?在老周泄露的新品谍照中,一大一小两款新

    06-18

  • 有消息称开心网赴美上市或遇阻,被指错失最佳时机

    有消息称开心网赴美上市或遇阻,被指错失最佳时机

    7月15日,投资界消息称,前国内SNS明星公司开心网遭遇其赴美上市遭遇重重阻碍,错失最佳时机。 首次公开募股的机会。   上述消息人士表示,开心网由于自身流量下降、资本市场环境不佳以及中概股诚信问题,在申请IPO过程中遇到了很大困难,SEC (美国证券交易委员会)开心网

    06-18

  • 如果我听不懂元宇宙的外语怎么办? Meta:新技术可翻译128种语言

    如果我听不懂元宇宙的外语怎么办? Meta:新技术可翻译128种语言

    作为元宇宙最坚定的支持者之一,Facebook上个月宣布将更名为Meta。 此后,它又有了新动作。 它首先推出了一款触觉手套,试图让人们在 VR 世界中导航。 还可以体验到触觉的变化。 触摸之后,Meta 专注于语言。 它让人们在虚拟世界中无障碍沟通。 即使双方使用不同的语言,你可

    06-21

  • 中国互联网30年-互联网企业代表发言:新华网

    中国互联网30年-互联网企业代表发言:新华网

    1.中国互联网的起步与发展:自2008年开通64K国际专线以来,中国互联网经历了从无到有、从跟随到领先的过程。 2、新华网角色:作为记录者、传播者和建设者,新华网见证了中国经济的发展和世界的变化,同时在互联网领域取得了令人瞩目的成就。 3、技术创新与融合:新华网通过“

    06-18

  • 雷科智图完成1亿元A轮融资,由中关村资本、中关村创投

    雷科智图完成1亿元A轮融资,由中关村资本、中关村创投

    投资圈(ID:pedaily)3月7日消息,据36氪报道,商用车自动驾驶公司“雷科智”已完成100万元A轮融资。 本轮融资由中关村资本、中关村创投领投,中信建投、首科发展集团及老股东考拉基金跟投,北京智能硅谷担任独家投资方。 本轮资金将主要用于主导产品的持续迭代、生态上下游

    06-17

  • 【融资24小时】2022年4月16日-17日

    【融资24小时】2022年4月16日-17日

    【融资24小时】2022年4月16-17日 2022年4月16-17日投融资事件汇总及明细。 近48小时内,境内市场共发生4起投资披露事件,其中,分别是传统制造业1个案例(新威凌)、汽车交通1个案例(车配宝1个)、电商零售1个案例(掌上一拍1个)、本地生活1个案例(必上阁1个)。 详情 传统

    06-18

  • “AI算法+机器人”赋能柔性生产,锐捷科技完成数千万Pre-A轮融资

    “AI算法+机器人”赋能柔性生产,锐捷科技完成数千万Pre-A轮融资

    投资界(ID:pedaily)9月30日消息,定位自主研发智能柔性生产系统,面向行业等衣锐捷科技宣布,公司已完成数千万Pre-A轮融资,投资方为AA投资。 本轮融资主要用于团队建设以及扩大生产交付能力。 在电子商务和产业升级的双重推动下,服装行业减少库存、提高周转率已成为行业

    06-18

  • 美团比京东更需要董宇辉

    美团比京东更需要董宇辉

    董宇辉“单飞”后,京东公开试图招募他加入美团行列。 但与京东相比,在本地生活领域面临挑战的美团可能比主播更需要董宇辉这样的顶级球员。 近日,京东多个官方直播间都挂起了横幅,邀请董宇辉配合,并声称相关计划已紧急制定。 人士还透露,京东召开了多次内部会议,讨论招

    06-18

  • 初创企业如何激励人才?

    初创企业如何激励人才?

    精准的人才激励让公司走得更快。 人才是创业公司能否走得快的“点金石”。 高瓴DVC自成立以来,已组织人才团队服务多家被投企业,并整理出一套适合初创企业的人才激励方式。 他们洞察到,精准的人才激励体系可以从组织建设、组织运行、组织效率提升三个方面保障初创企业的快速

    06-18

  • 小鹅通完成1.2亿美元D轮融资,由IDG资本领投

    小鹅通完成1.2亿美元D轮融资,由IDG资本领投

    6月15日消息,近日,以知识产品和用户服务为核心的科技服务商小鹅通正式宣布完成1.2亿美元融资D 系列融资。 本轮融资由IDG资本领投,启明创投、纪源资本、高瓴创投跟投。 本轮融资将主要用于继续加大产品及核心技术研发投入,加强产研、运营和服务团队建设,进一步完善服务体

    06-18

  • 新能源商用车新势力“德力汽车”完成7亿元B轮融资

    新能源商用车新势力“德力汽车”完成7亿元B轮融资

    据投资界(ID:pedaily)8月11日消息,德力新能源汽车股份有限公司完成7亿元B轮融资。 德力汽车股份有限公司(以下简称“得力汽车”)近日宣布完成7亿元B轮融资。 本轮融资由桉树资本、国轩高科联合领投,汇通达网络、点石资本、宏景智家等跟投。 星无限资本担任财务顾问。

    06-18