使用说明
- 默认填入你当前浏览器的 User-Agent,也可以粘贴任意字符串或点击示例。
- 实时识别浏览器、引擎、系统和设备类型;爬虫会标出所属公司和类型(AI 爬虫、搜索引擎、链接预览、HTTP 客户端)。
- 如果不希望网站内容被 AI 训练爬虫抓取,可以复制现成的 robots.txt 规则。
常见问题
User-Agent 可信吗?
不能用于安全判断,任何客户端都可以伪造。它适合做统计和兼容性处理;重要的爬虫(比如 Googlebot)应该用反向 DNS 验证。
什么是 User-Agent Client Hints?
Chromium 系浏览器正在精简 User-Agent 字符串,改为通过结构化的 Client Hints 提供系统版本、设备型号、完整浏览器版本等信息。工具会在支持的浏览器中显示这些信息。
用 robots.txt 屏蔽 AI 爬虫有用吗?
主要 AI 公司都公开了爬虫名称,并声明会遵守 robots.txt。但这只是“请求”而不是强制,不守规矩的爬虫仍可能无视它。