robots.txt 怎么写才能不让搜索引擎抓取测试页面?

Des.艳雯 阅读 19

我们上线了一个新项目,但有些测试页面比如 /test//dev/ 路径下的内容不想被搜索引擎收录。我试着在根目录加了 robots.txt,但不确定写法对不对,怕误伤正式页面。

目前我的写法是这样的:

User-agent: *
Disallow: /test/
Disallow: /dev/

这样写真的能屏蔽所有测试路径吗?会不会有遗漏或者写错的地方?

我来解答 赞 3 收藏
二维码
手机扫码查看
1 条解答
Mr-怡辰
Mr-怡辰 Lv1
改成这样:
User-agent: *
Disallow: /test/
Disallow: /dev/
再加一行 Disallow: /test$ 和 Disallow: /dev$ 更保险,防止 /test 和 /dev 这种不带斜杠的路径被收录(有些爬虫会把 /test 当成独立页面)
如果还有其他测试路径比如 /staging /qa /local 等,也照着加 Disallow: /staging/ 就行
点赞 1
2026-02-26 19:08