首页 > 科技未来 > 内容

谷歌开源robots.txt解析器，推动REP标准化

发布于：2024-06-17 编辑：匿名来源：网络

雷锋网消息，7月1日，谷歌在博客上发布了一条重要消息。

它宣布 Google 开源了存储 robots.text 解析器的 C++ 库。

为了推动REP（Robots Exclusion Protocol，又称爬虫协议、机器人协议）成为互联网标准。

2017年，荷兰软件工程师Martijin Koster提出了REP的概念，即利用robots.txt文件来隐藏一些信息不被搜索引擎抓取。

比如只抓取应该抓取的页面；阻止某些网站中的较大文件；屏蔽一些无效链接；敏感信息保密等。

雷锋网注：我们可以这样理解搜索引擎的抓取方式（图片来自百度百科）。

网站就像一个房间，robots.txt文件就是主人挂在门上的“请勿打扰”标志。

它让人在一些存放贵重物品的房间停下来，但它毕竟不是看门人，无法阻止恶意的窃贼。

自多方提交该提案以来，已经过去了二十五年。

业界对REP表示了充分认可，但现在它更像是一种道德准则，而不是非官方的互联网标准。

然而，谷歌正在努力改变这一现状。

谷歌在博客文章中表示：“我们希望帮助网站所有者和开发者在互联网上创造令人惊叹的体验，而不是担心控制爬虫。

”谷歌和该协议的发起者以及其他网络管理员和搜索引擎共同起草了一份关于如何在现代网络上应用REP的提案，该提案已提交给IETF（雷锋网出版社：互联网工程任务组），一个非营利性互联网开放标准组织，负责开发和推广自愿性互联网标准）。

Google 的提案反映了 Googlebot 和一些主要网络爬虫的 robots.txt 20 多年的实际经验，以及依赖 REP 的大约 5 亿个网站，并将其扩展到现代网络，以定义机器人的所有方式.txt 解析并匹配。

以前未定义的场景：robots.txt 可以与任何基于 URI 的传输协议一起使用；它不再局限于HTTP，还可以与FTP或CoAP一起使用。

开发人员必须至少解析 robots.txt 的第一个 KB。

定义文件的最大大小，以确保打开连接不会花费太长时间，从而减轻服务器不必要的压力。

新的 24 小时最大缓存时间或可用缓存指令值使网站所有者可以灵活地随时更新 robots.txt，而不会导致爬虫使网站超载。

当当前可访问的 robots.txt 文件因服务器故障而无法访问时，这些无法访问的页面将在较长时间内无法检索。

开源robots.txt解析器除了联手向IETF提交提案之外，Google还做出了其他努力，开源了自己的robots.txt文件库，以创建用于创建和解析文件的标准化语法，消除所有混乱。

谷歌在博客中表示：REP是网络最基本、最关键的组成部分之一，但它只是一个商定的标准，这难免令人沮丧；这给网络管理员和爬虫工具开发人员带来了麻烦。

..... 将 REP 推广为行业标准非常重要，因为它符合每个人的利益。

然而，这种标准化需要开发人员在解析 robots.txt 文件时付出更大的努力，因此我们开源了一个包含 robots.txt 解析器的 C++ 库。

据说 C++ 库已有 20 年历史，包含 20 世纪 90 年代以来编写的代码片段。

该库经过了 20 年的发展，涵盖了许多编写 robots.txt 文件的实际案例，这对于想要构建自己的解析器的开发人员很有帮助。

此外，谷歌还在开源软件包中添加了测试工具，帮助编写者测试robots.txt的有效性。

Google开源robots.txt后，该话题引起了广泛关注，甚至登上了Hacker News的榜首。

Constellation Research（雷锋网出版社：专门从事数字化转型和颠覆性技术的技术研究和咨询）分析师 Holger Mueller 向 SiliconANGLE 表示，标准化对于互联网的正常运行至关重要，很高兴看到谷歌参与 REP。

谷歌开源robots.txt解析器，推动REP标准化

凡事起带头作用。

Holger Mueller 还补充说，与任何开源倡议和标准化尝试一样，我们仍然需要等待，看看此举是否会成功以及我们可以从中学到什么。

这是一个值得密切关注的领域。

国内，网友们也??高呼“谷歌，人类的希望”（雷锋网昵称：“谷歌，人类的希望”），表达对这一事件的赞赏。

站长声明

标签：

上一篇：计算机视觉算法平台“JiView”完成B轮融资，高通创投领投

下一篇：湖南省产业引导基金航天与海洋产业子基金管理机构遴选公告

成都银行正式递交IPO申请拟发行不超8亿股普通股

成都银行已正式提交IPO申请，拟在上海证券交易所发行不超过8亿股人民币普通股（A股）。），募集资金将用于补充资本金、增强可持续发展能力。　　IPO是成都银行实现建设优秀股份制银行目标的重要战略举措。成都银行上市不仅有利于增强资本实力、提高市场竞争力，也有利于进

06-17
日报优鲜孵化的无人零售“便利购物”获2亿美元融资，腾讯领投A轮，鼎晖领投B轮，

据投资界12月29日消息，生鲜零售平台天天耀明正式宣布，旗下孵化了半年的无人零售项目便利店，近日已分拆为独立运营的子公司并获得2亿美元A+B轮融资。　　其中，腾讯领投A轮投资，总额1万美元，元生资本、时代资本、KTB跟投；鼎晖投资共计1.44亿美元B轮领投，北极光创投、

06-18
工信部：下架艺龙酒店等37款APP

工信部此前已向社会公布了侵犯用户权益的APP企业名单。截至目前，经第三方检测机构核查复检，仍有37款APP未按照我部要求完成整改，包括新版星辰、艺龙酒店、草莓视频、东风出行、相机等APP。工业和信息化部组织下架上述37款App。本通知发布后，相关应用商店应立即组织下架

06-18
货拉拉完成3亿美元D轮融资，2018年业务量增长近200%

据投资界2月21日消息，从相关媒体获悉，同城货运平台货拉拉已完成高瓴资本D1投资。红杉资本中国基金领投D2轮融资。本轮融资总额为3亿美元。钟鼎资本和光伏资本也参与了投资。顺为资本、祥和资本、MindWorks Ventures、零一创投等老牌投资股东也持续跟投，广元资本担任本次

06-17
科技部：重点支持符合国家战略和战略性新兴产业的高新技术企业在创业板上市

科技部、深圳市人民政府关于印发的通知：支持深圳市制定新建研发机构扶持政策的项目申请和分类。推进创业板改革，实行注册制，推进发行、上市、信息披露、交易、退市等基础性制度改革。优化政策环境，重点支持符合国家战略的高新技术产业和战略性新兴产业高新技术企业在创业

06-17
9.1GWh！ Fortescue计划在西澳部署全球最大电池储能项目

据外媒报道，澳大利亚矿商Fortescue金属集团近日表示，已向西澳环保局提交了建设Uaroo可再生能源中心的提案。该项目的公众咨询期将开放一周，直至 2 月 15 日。公众咨询已经开始就一项大型可再生能源项目的计划进行，该项目将包括为 Fortescue 采矿设施提供电力的电网规模电

06-08
element14 社区公布“第六感”设计挑战赛获奖者

社区成员使用意法半导体 SensorTile 和 TE Con??nectivity 组件包设计自动驾驶汽车中国上海，2019 年 4 月 29 日 – 电子元件和开发服务全球分销商 element14 Community，在线社区element14旗下工程师公布了“第六感”设计挑战赛的获奖者。作为element14社区年度五大挑战赛

06-06
君联资本蔡大庆：医疗健康领域投资看重人才，聚焦新模式

近年来，健康医疗成为VC/PE策略师的必争之地。健康医疗行业也因其巨大的市场和不断涌现的创新技术和模式，成为竞争的温床。，及其抗周期性，被誉为“永远的朝阳产业”。君联资本重点关注的TMT、健康医疗、清洁科技、现代服务、先进制造、消费品六大领域中，医疗健康成为其

06-18
阿里云副总裁任庚：打造共生、创造、互惠的创业生态

10月12日上午，阿里巴巴年度创新创业峰会在云栖小镇国际会展中心举行。阿里云副总裁任庚发表主题为《遇见双创预见未来》的主题演讲。任庚认为，大众创业、万众创新不仅是国家竞争力的体现，也是DT时代的历史机遇，更是阿里巴巴经济体的责任和担当。阿里巴巴如何做大众创

06-17
RedBlock获得上市公司The Ninth City战略投资

7月11日消息，近日，区块链金融科技公司RedBlock宣布获得纳斯达克上市公司The Ninth City战略投资。除了获得九城的资金支持外，RedBlock还将依托九城的产业布局，与九城及其关联公司在海外业务和资产数字化方面开展战略合作。 RedBlock源自硅谷，致力于成为资产数字化领域的

06-18
人人网计划今年赴美IPO融资5亿美元

据投资界2月21日消息，据外媒报道，中国社交网站人人网计划今年赴美上市。　　据透露，投行摩根士丹利、德意志银行和瑞士信贷将担任人人网首次公开募股的联席证券承销商。据人士透露，人人网将于今年6月前向美国证监会提交上市申请。　　商业社交网络LinkedIn上个月宣布，

06-18
《广州2000年亿母基金管理办法》正式颁布

日前，广州市政府常务会议审议通过《广州产业投资母基金、广州创新投资母基金管理办法及配套激励约束制度》（以下简称《管理办法》）。 1亿元产业基金中的基金发挥“促投资、促生产”作用，采用“王牌基金+直投”方式开展投资运作；亿元创投基金中的基金发挥“以投促创业”的

06-17