网站该不该给AI代理开门:谷歌11月17日发布放行指南,同期FBI点名搜索投毒
先弄清来的是谁:代理不等于爬虫
据谷歌爬虫文档与更新日志,谷歌在2026年11月17日发布《Allow Google-Agent traffic》指南,把Google-Agent定义为由谷歌基础设施托管、按用户请求在网页上导航并执行动作的代理。与传统抓取的区别在于动作:搜索蜘蛛读页面,代理办事,查库存、填表单、下单或预订,被挡在门外这笔生意就断在你网站上。
开不对的六种情形
更值得开发与运维读的是排障部分。谷歌列出站点尝试放行后仍阻断代理的六种情形,包括放行规则排在宽泛的AI代理拦截规则之后被覆盖、验证码与JavaScript挑战把代理当成人机校验对象、站内搜索与加购预订等动作端点被单独禁止、共享IP段限流过严、网关剥离原始请求头致验证失败。文档未涉及robots.txt,放行代理与放开爬虫是两套开关。
同一周的另一面:排名被当成入口
据FBI与CISA于2026年11月16日发布的FLASH预警,一个名为Gootloader的攻击行动利用SEO投毒与受感染的网站获取初始访问:截至2026年10月,该行动使用1000余个被感染的WordPress站点和216个攻击者控制的域名,与超过2800万美元的勒索付款相关。手法是让被黑页面在搜索里获得排名,点击后投递恶意的JavaScript加载器。
预警给出的处置清单像一份SEO卫生检查:更新核心与插件主题、删除不用的插件与测试站点、管理员强制多因素认证、禁止在上传目录执行PHP、定期查看Search Console是否出现与业务无关的法律文书类查询词。同一周,Search Engine Journal报道称,一款常见SEO插件2026年已披露16个漏洞,其中两个为远程代码执行漏洞。
务实建议
四件事,适合网站负责人这周安排下去:一是把防火墙与CDN的规则顺序理一遍,确认放行规则在粗放拦截之前;二是把站内搜索、加购、预订、在线咨询几个动作端点单独列入放行清单;三是每月清点插件,只留仍在维护的;四是把Search Console的异常查询词当安全告警看。智汇云创提供兰州SEO优化与网站建设服务,技术底座与安全基线一起做,欢迎联系张总:186-0931-8698交流。
信息来源:谷歌爬虫文档与爬虫更新日志《Allow Google-Agent traffic》(2026年11月17日)、Search Engine Roundtable相关报道;FBI与CISA FLASH预警《Gootloader Malware Using SEO Poisoning and Compromised Websites to Gain Initial Access》(2026年11月16日);Search Engine Journal 2026年11月18日报道;Silverback Marketing 2026年11月16日至20日行业周报。本文仅作综述,具体配置以官方文档为准,不构成效果承诺。