首页 > 科技未来 > 内容

谷歌开源robots.txt解析器，推动REP标准化

发布于：2024-06-17 编辑：匿名来源：网络

雷锋网消息，7月1日，谷歌在博客上发布了一条重要消息。

它宣布 Google 开源了存储 robots.text 解析器的 C++ 库。

为了推动REP（Robots Exclusion Protocol，又称爬虫协议、机器人协议）成为互联网标准。

2017年，荷兰软件工程师Martijin Koster提出了REP的概念，即利用robots.txt文件来隐藏一些信息不被搜索引擎抓取。

比如只抓取应该抓取的页面；阻止某些网站中的较大文件；屏蔽一些无效链接；敏感信息保密等。

雷锋网注：我们可以这样理解搜索引擎的抓取方式（图片来自百度百科）。

网站就像一个房间，robots.txt文件就是主人挂在门上的“请勿打扰”标志。

它让人在一些存放贵重物品的房间停下来，但它毕竟不是看门人，无法阻止恶意的窃贼。

自多方提交该提案以来，已经过去了二十五年。

业界对REP表示了充分认可，但现在它更像是一种道德准则，而不是非官方的互联网标准。

然而，谷歌正在努力改变这一现状。

谷歌在博客文章中表示：“我们希望帮助网站所有者和开发者在互联网上创造令人惊叹的体验，而不是担心控制爬虫。

”谷歌和该协议的发起者以及其他网络管理员和搜索引擎共同起草了一份关于如何在现代网络上应用REP的提案，该提案已提交给IETF（雷锋网出版社：互联网工程任务组），一个非营利性互联网开放标准组织，负责开发和推广自愿性互联网标准）。

Google 的提案反映了 Googlebot 和一些主要网络爬虫的 robots.txt 20 多年的实际经验，以及依赖 REP 的大约 5 亿个网站，并将其扩展到现代网络，以定义机器人的所有方式.txt 解析并匹配。

以前未定义的场景：robots.txt 可以与任何基于 URI 的传输协议一起使用；它不再局限于HTTP，还可以与FTP或CoAP一起使用。

开发人员必须至少解析 robots.txt 的第一个 KB。

定义文件的最大大小，以确保打开连接不会花费太长时间，从而减轻服务器不必要的压力。

新的 24 小时最大缓存时间或可用缓存指令值使网站所有者可以灵活地随时更新 robots.txt，而不会导致爬虫使网站超载。

当当前可访问的 robots.txt 文件因服务器故障而无法访问时，这些无法访问的页面将在较长时间内无法检索。

开源robots.txt解析器除了联手向IETF提交提案之外，Google还做出了其他努力，开源了自己的robots.txt文件库，以创建用于创建和解析文件的标准化语法，消除所有混乱。

谷歌在博客中表示：REP是网络最基本、最关键的组成部分之一，但它只是一个商定的标准，这难免令人沮丧；这给网络管理员和爬虫工具开发人员带来了麻烦。

..... 将 REP 推广为行业标准非常重要，因为它符合每个人的利益。

然而，这种标准化需要开发人员在解析 robots.txt 文件时付出更大的努力，因此我们开源了一个包含 robots.txt 解析器的 C++ 库。

据说 C++ 库已有 20 年历史，包含 20 世纪 90 年代以来编写的代码片段。

该库经过了 20 年的发展，涵盖了许多编写 robots.txt 文件的实际案例，这对于想要构建自己的解析器的开发人员很有帮助。

此外，谷歌还在开源软件包中添加了测试工具，帮助编写者测试robots.txt的有效性。

Google开源robots.txt后，该话题引起了广泛关注，甚至登上了Hacker News的榜首。

Constellation Research（雷锋网出版社：专门从事数字化转型和颠覆性技术的技术研究和咨询）分析师 Holger Mueller 向 SiliconANGLE 表示，标准化对于互联网的正常运行至关重要，很高兴看到谷歌参与 REP。

谷歌开源robots.txt解析器，推动REP标准化

凡事起带头作用。

Holger Mueller 还补充说，与任何开源倡议和标准化尝试一样，我们仍然需要等待，看看此举是否会成功以及我们可以从中学到什么。

这是一个值得密切关注的领域。

国内，网友们也??高呼“谷歌，人类的希望”（雷锋网昵称：“谷歌，人类的希望”），表达对这一事件的赞赏。

站长声明

标签：

上一篇：计算机视觉算法平台“JiView”完成B轮融资，高通创投领投

下一篇：湖南省产业引导基金航天与海洋产业子基金管理机构遴选公告

水滴公司计划3月进行美国Pre-IPO融资

互联网保险平台水滴公司计划3月进行美国Pre-IPO融资，融资金额约5亿美元。

06-18
吴忠汽车科技完成A轮融资

“吴忠汽车科技”近日完成A轮融资，由上海吉梵资本领投，泰泰投资跟投。融资资金将主要用于软件升级和团队升级。公司于当年4月完成天使轮融资，同年11月完成战略轮融资。吴众汽车科技是一家为汽车后市场提供智慧门店联合运营系统的技术服务商。线下连锁品牌“五道汽保”

06-18
GlobalFoundries：超过 200 亿美元的不可撤销订单

现在是成为芯片制造商的好时机，任何类型的芯片制造商。 GlobalFoundries 自 10 月下旬上市以来一直是热门股票。在周二晚些时候该公司发布第三季度报告之前，该股较上市价上涨了 47%。这使得该公司成为半导体领域估值最高的公司之一，其预期市盈率接近 78 倍——对于几年前

06-08
如何平衡技术好奇心和业务运营

编者按：技术好奇心是CTO的宝贵品质，是数字化和创新的驱动力之一，但也可能导致与运营者相反的结果。因此，平衡技术好奇心和业务运营已成为企业顶层数字化管理的经典问题。作者尝试与企业数字化团队的技术负责人探讨这个经典问题。企业数字化产品团队，无论是内部团队还是

06-21
【24小时创业】2022年11月16日

投融资昨日，国内市场共发生9起投资披露事件，其中本土生活4起（愚公炸串、辰言科技、窦校长、酷约翰）、先进制造1起（威发）技术）。金融1个案例（蚂蚁消费金融）、汽车交通1个案例（博泰车联网）、元宇宙1个案例（Yahaha）、企业服务1个案例（互盟云）。精选连锁零食品牌

06-17
Arm任命新CEO为重新上市做准备

2月8日，Arm宣布，董事会已任命Rene Haas接替Simon Segars担任公司新任CEO并加入董事会。本次人事任命立即生效。 Rene Haas 的继任者将为 Arm 的 IPO 做准备。短期内，Simon Segars 将继续担任公司顾问，以支持领导层过渡。此前，软银集团计划将Arm出售给英伟达。不过，有

06-08
【全球财经24小时】2023年11月1日投融资事件汇总及详情

今日全球市场共发生30起投资披露事件，其中境内15起，境外15起。其中，国内先进制造业6例，医疗卫生行业3例，农业行业1例，企业服务业2例，汽车交通运输行业1例，医疗卫生行业1例。体育产业。国外先进制造业3例、区块链行业1例、电商行业1例、企业服务行业4例、游戏行业1例

06-17
三星增产，Micro LED电视明年或将加速普及

近日，外媒报道称，三星电子计划在今年1月份增加其MicroLED电视的产量，目标是每月生产约1英寸型号。业内人士表示，三星此举旨在测试市场对其MicroLED电视的接受程度，为推出更小尺寸的此类设备铺平道路。为了加大此类设备的营销力度，三星还计划在今年的多个贸易展上展示

06-08
极云科技完成C+轮融资，释放数据智能增长潜力

据投资界（ID：pedaily）了解，近日，北京极云鼎诚科技有限公司（以下简称“极云科技”）国内工业互联网平台制造商完成C+轮融资超亿元，投资方为北京集成电路装备产业投资并购基金、中车资本、中国互联网投资基金。通过本轮融资，极云科技将聚焦关键应用领域，加快完善产品

06-18
西班牙：GRN提出410MW光伏项目

西班牙林业和能源集团Greenali SA周一表示，计划在安达卢西亚地区建设一座新的MWp太阳能发电厂。该公司将在哈恩投资近2.5亿欧元（2.83亿美元）。 Guardame I-V 位于 Zumajo I 省 Marmolejo 市 - 每个公园将容纳 50MWp，但 Marmolejo 项目除外，该项目仅可容纳 30 人。 Green

06-08
“贴心一体式”智能皮肤贴片或许是体征监测的未来

说到可穿戴设备，人们总是将这个词与智能手表、手环联系在一起。然而，我们决不能忘记这一点。作为与皮肤接触“最贴心”的可穿戴设备，贴片在健康领域能取得更多成就。该智能贴片可以测量多种类型。事实上，市场上的智能贴片种类很多，但大多都专注于于单的某一小众领域。

06-17
汪仔饭获得数千万Pre-A轮融资，你家狗狗最近吃什么牌子的狗粮？

据投资界1月16日消息，狗粮新品类公司孔夫子今年1月获得数千万Pre-A轮融资。本轮融资由青山资本领投，前海母基金跟投，天使轮跟投。投资方齐一创投和李成个人继续追投，猎云资本担任独家投资方。此前，汪仔饭科技曾于今年7月宣布完成1万元天使轮融资，由齐一资本和邦石资本

06-18