真融服务预计2020年净利润同比增长超过55%
06-18
近日，一段模糊虚拟与现实界限的黑科技视频火了在 Twitter 上，已经收到了数万次浏览。
点赞并转发。
视频中，开发者西里尔·Diagne用手机拍摄了周围的绿色树枝、书籍、衣服等物体，手机立即将这些物体拉出了屏幕。
接下来发生的事情更神奇：他将手机摄像头对准电脑屏幕，刚刚剪下的物体就自动添加到了电脑上运行的Photoshop中！几秒钟前现实中的物体被复制到虚拟世界中。
可能让很多摄影师和设计师的朋友感到嫉妒的是，Diagne的操作完全是自动化的。
没有使用数据线，没有触动键盘，更没有使用鼠标进行任何调整——剪切粘贴的图像就那么准确地出现在他用手机瞄准的屏幕位置上。
Diagne将这项令人惊叹的剪切技术命名为AR Cut Paste。
目前，对Photoshop的支持已经开发出来，但他也表示其他软件也可以支持。
他还将 AR Cut Paste 放到了 GitHu b 上并开源。
从介绍和代码中，我们可以一窥这样一个有趣的技术是如何实现的。
揭秘：中国团队开发的图像识别模型AR Cut Paste在图像剪切阶段使用了名为BASNet的深度神经网络。
过去，机器学习领域在利用深度卷积神经网络进行物体识别方面取得了非常好的成果。
然而，通过神经网络进行图像中对象识别的主要目标是区域精度，而不是边界精度。
简单来说，这些物体识别技术可以准确地回答图片中的物体是什么：但很难准确地画出识别出的物体的边界：于是，加拿大阿尔伯塔大学的一个研究人员组成了一个以华人为主的团队人们开发了一种新的深度神经网络模型。
BASNet的主要功能是进行显着性检测。
简单来说，就是实现对图片中最显着物体的精确边界勾画。
效果就像PS大师手工“剪出”的一样。
BASNet采用预测-优化思想，主要采用Encoder-Decoder网络结构，底层采用微软团队开发的残差网络ResNet。
在预测部分，密集监督的编码器-解码器网络负责预测预测图片中对象的显着性。
借助三种不同的损失函数，神经网络可以预测图片（像素）、像素区域（补丁）和全图像（地图）中对象的显着性。
) 在这三个级别上进行显着性判定，以输出更准确的结果。
在优化部分，Encoder-Decoder结构仍然被组装成残差优化模块（RRM），以进一步优化预测部分输出的显着性图。
从下图可以看出，与其他同类相似的物体识别模型相比，BASNet的边界勾画效果相对更加准确，最接近人工绘制的标准答案。
不仅如此，BASNet 在优化计算性能方面也做得很好，在单个 GPU 上运行速度可达每秒 25 帧（你的电脑需要有支持 CUDA 的 GPU）。
该论文去年被计算机视觉顶级学术会议CVPR收录。
BASNet开发团队来自加拿大阿尔伯塔大学计算机科学系。
第一作者为该校机器人与视觉实验室秦学斌博士。
曾就读于山东农业大学、北京大学。
从网站上也可以清楚地看到，各种图像和视频中的物体显着性/边界勾勒是秦学斌最有效的研究：秦学斌团队还推出了更强大的模型U^2-Net，复杂物体边缘的识别精度有了提升。
达到了一个新的水平。
这篇新论文目前包含在《模式识别》中。
现在我们知道AR Cut Paste利用了深度神经网络BASNet来实现更精准的剪切。
接下来，开发者Diagne是如何将手机上剪下来的图片直接“放置”到电脑上，并精准地放置在手机瞄准位置的呢？在这里，Diagne使用了他开发的一个小工具 ScreenPoint。
简单来说，他在一张照片（手机发回的屏幕）上确定了一个锚点，然后在对应的照片（电脑屏幕）上放置了一个锚点。
找到锚点对应的坐标。
这个小工具使用了OpenCV的SIFT功能。
目前，AR 剪切粘贴在剪切阶段的延迟约为 2.5 秒，在粘贴阶段的延迟约为 4 秒。
Diagne还在推特上表示，有很多方法可以进一步减少延迟，但他没有花更多时间优化核心功能之外的内容。
技术实现的逻辑听起来并不是特别复杂，但得益于强大的 BASNet 和 Diagne 的想象力，AR Cut Paste 的实际效果还是很神奇的——特别是对于那些每天和 lasso 打交道的 Photoshop 用户来说……看过之后AR Cut Paste的配置，相信你已经迫不及待想要上手亲自玩玩AR Cut Paste了。
Diagne自己的GitHu提供了您需要的所有代码和简单的说明手册。
点击文章下方“阅读原文”即可查看。
总体而言，AR Cut Paste 具有三个需要一起使用的独立模块：移动应用程序、安装在计算机上的本地服务器以及打包的 BASNet HTTP 服务。
手机是你的互动工具；本地服务器是手机与Photoshop之间数据传输的接口；对象检测、边界描绘和背景去除的操作发生在 BASNet HTTP 服务上。
本地配置AR Cut Paste需要手机和具有支持CUDA GPU的电脑；配置过程需要您有一定的React Native移动应用开发支持，并且计算机上有Python或Docker开发环境。
配置Photoshop插件远程连接 进入Photoshop的首选项插件（Plug-ins），打开远程连接（Remote Connection），并设置密码。
然后在 GitHu b Repo 中找到 cyrildiagne/ar-cutpaste/server/src/ps.py 并确保你的 Photoshop 设置与此文件中的相同，否则粘贴的图层将是空白图层。
要打包 BASNet HTTP 服务，首先克隆 cyrildiagne/basnet-http: git clone repo，然后将阿尔伯塔大学团队的 BASNet 克隆到其中。
git clone BASNet模型文件basnet.pth（shorturl.at/FVZ19，下载地址也可以在BASNet HTTP打包工具的GitHu b页面找到）放到BASNet/saved_models/basnet_bsi/路径下。
配置本地服务器，然后开始构建服务。
您可以在本地使用Python运行环境virtualenv（需要Python v3.6或以上版本），也可以使用Docker。
具体操作方法可以在GitHu b上找到。
然后就可以运行服务器了。
记得输入打包好的BASNet HTTP服务的IP地址（X.X.X.X），以及上一步在Photoshop中设置的远程连接密码（56）： python src/main.py \ - -basnet_service_ip=" \ --basnet_service_host=" basnet-http.default.example.com" \ --photoshop_password 56 配置手机客户端 手机客户端是Diagne自己使用React Native开发的一款App，下载代码，安装，连接手机，点IP即可需要强调的是，目前AR Cut Paste只是一个研究原型产品，并不是原型。
它是面向消费者的 Photoshop 工具，因此请谨慎使用，以避免不必要的 Photoshop 数据丢失。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-17
06-18
06-18
最新文章
首先告诉我什么是智能汽车！
盲盒明星卡的暴利与泡沫：2元卡卖700万，直播卖卡月入百万
黑色星期五轰轰烈烈地回来了，结果这些中国企业扛起了全场
锂电池隔膜疯狂扩产：兴源材料欲夺回C位？
当我考上缅语专业时：凌晨三点我还在走廊里背单词，毕业后，我不仅仅是一名翻译者
被遗弃，被收获？老年人上网到底有多难？
海外日报 -今年，我国自主研发游戏海外实际销售收入实现两位数增长；三星电子正式成立机器人业务团队36氪海外·15分钟前
腾讯音乐：爱、相信、坚持