Google推出了一个名为GoogleOther的新爬虫
这个爬虫类似于 Googlebot,但它将被 Google 团队内部使用,用于爬取公共网络上的信息。
Google 推出了 GoogleOther,这是一个全新的网络爬虫。
GoogleOther 将被 Google 的各个团队内部使用,用于爬取公共网络上的信息,Gary Illyes 在 LinkedIn 上表示。
它遵循与主要的 Googlebot 爬虫相同的指令和协议,并将为主要的 Googlebot 爬虫释放一些资源。
GoogleOther 已经被 Google 添加到其爬虫文档中:
“通用爬虫可能会被各种产品团队用于从网站中获取公开可访问的内容。例如,它可以用于内部研究和开发的一次性爬取。GoogleOther 爬虫始终遵守其用户代理令牌和全局用户代理(*)的 robots.txt 规则,并使用与 Googlebot 相同的 IP 范围。”
Google 爬虫(用户代理)概述
用户代理 (User Agent):用户代理标记和完整的用户代理字符串非常简单,只是“GoogleOther”。
但是经过爬虫识别网站监控,还有其它的 User-Agent,例如这样:Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.224 Mobile Safari/537.36 (compatible; GoogleOther)
为什么有了新的爬虫?
这个新的爬虫最终将减轻 Googlebot 的一些负担,Illyes 解释道:
“随着我们优化 Googlebot 的爬取方式和内容,我们想要确保的一件事是,Googlebot 的爬取工作仅在内部用于构建搜索使用的索引。为此,我们添加了一个新的爬虫——GoogleOther,将替代 Googlebot 的其他工作,如研发爬取,以释放一些爬取能力供 Googlebot 使用。”
Google 将其用于内部目的。 这是否意味着它正在用于 Bard(一种未知的用途)?目前尚不清楚。
是否应该阻止 GoogleOther? 如果尝试阻止这个新的爬虫会发生什么尚不清楚。但我怀疑你应该密切关注它,如果它对你的服务器造成了太大的压力,你可以决定是否允许或拒绝该新 Googlebot 访问你的站点。
为什么我们关心。 许多人在他们的网站和日志文件中检查爬取活动和爬虫活动。当你看到这个新的 GoogleOther 爬虫时,不要感到惊慌。它是一个真正的 Googlebot。
-
谷歌Chrome浏览器登陆车机系统:首搭沃尔沃、极星等车型
随着互联网技术的发展,车载信息娱乐系统已经成为现代汽车的标配。然而,传统的车载信息娱乐系统往往功能单一,无法满足用户多样化的需求。CES 2024展览会上,谷歌宣布将Chrome浏览器集成至车机,这一
-
谷歌今年将彻底终结Cookie 互联网广告行业最大变革!
据多家媒体报道,谷歌计划到今年年底,禁止所有Chrome浏览器用户的第三方Cookie,有媒体评论道这将是互联网广告行业有史以来最大的变化之一。从美国东部时间本周四开始,谷歌将对1%的Chrome浏览
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
随时掌握互联网精彩
- Audiohub在线提供免费可个人和商用的英文音乐资源
- ManicTime 2.5.2.1最新版本2022下载地址
- 碧桂园账面资金仅能满足保交楼
- 怎样挽回女人的心
- 神经内科疾病控制高级职称星题库 v3.3.01最新版本2022下载地址
- 条条街管理 v5.10.0.0最新版本2022下载地址
- 一语即答app V1.1最新版本2022下载地址
- 西北种植药材 v5.0.0最新版本2022下载地址
- 真龙霸业(手游电脑版) 1.0.4585.123最新版本2022下载地址
- 大吉游戏盒子 v2.0.8最新版本2022下载地址
- 尖叫云商app v2.2.4最新版本2022下载地址
- 卡�裱�车 v1.2最新版本2022下载地址