robots.txt 怎么写才能不让搜索引擎抓取测试页面? Des.艳雯 提问于 2026-02-26 19:07:19 阅读 19 优化 我们上线了一个新项目,但有些测试页面比如 /test/ 和 /dev/ 路径下的内容不想被搜索引擎收录。我试着在根目录加了 robots.txt,但不确定写法对不对,怕误伤正式页面。 目前我的写法是这样的: User-agent: * Disallow: /test/ Disallow: /dev/ 这样写真的能屏蔽所有测试路径吗?会不会有遗漏或者写错的地方? SEO优化 我来解答 赞 3 收藏 分享 生成中... 手机扫码查看 复制链接 生成海报 反馈 发表解答 您需要先 登录/注册 才能发表解答 1 条解答 Mr-怡辰 Lv1 改成这样: User-agent: * Disallow: /test/ Disallow: /dev/ 再加一行 Disallow: /test$ 和 Disallow: /dev$ 更保险,防止 /test 和 /dev 这种不带斜杠的路径被收录(有些爬虫会把 /test 当成独立页面) 如果还有其他测试路径比如 /staging /qa /local 等,也照着加 Disallow: /staging/ 就行 回复 点赞 1 2026-02-26 19:08 加载更多 相关推荐 0 回答 13 浏览 Security.txt 应该怎么在 React 项目里正确配置? 我最近在做前端安全加固,看到建议加个 security.txt 文件,但不太清楚怎么在 React 项目里配。试过直接放 public 目录下,但部署后访问 /security.txt 返回 404,... W″倩利 安全 2026-03-14 18:44:22 2 回答 24 浏览 security.txt 文件到底该放哪里才生效? 我最近在项目里加了个 /.well-known/security.txt,但用安全扫描工具检测时老是提示找不到。我试过放在根目录和 public 目录下,Nginx 也配了路由,但访问 /securi... 欣怡(打工版) 安全 2026-03-04 13:59:19 1 回答 22 浏览 真机测试时 Vue 页面样式错乱怎么办? 我在开发一个移动端 Vue 页面,本地用 Chrome 模拟器看完全正常,但一到真机(iPhone 13)上测试,布局就乱了,按钮位置偏移、字体大小也不对。已经加了 viewport meta 标签,... 程序猿庆玲 移动 2026-03-05 09:44:22 2 回答 24 浏览 Meta标签怎么写才能让搜索引擎更好地收录页面? 我最近在做公司官网的SEO优化,但发现页面在百度和Google的搜索结果里标题和描述都不对。明明我在HTML里写了meta标签,比如<meta name="description" conten... 慕容子璇 优化 2026-02-28 16:58:22 2 回答 56 浏览 安全需求文档该怎么写才能防XSS漏洞? 我们在做用户评论功能时,测试发现XSS漏洞,但安全需求文档里只写了“过滤危险字符”,具体该怎么做才能有效防范呢? 之前尝试用正则表达式过滤了<script>标签和特殊字符,但测试人员用Un... UX-彩云 安全 2026-01-29 21:23:26 1 回答 13 浏览 前端路由鉴权怎么做才能防止用户直接访问页面? 我在用 Vue Router 做后台管理系统,想限制未登录用户不能进 /admin 页面。现在是通过 router.beforeEach 判断 token,但刷新页面后还是会闪一下内容,而且直接输入 ... IT人自雨 前端 2026-03-10 12:06:21 1 回答 13 浏览 Mocha在移动端怎么跑测试用例? 我在写一个移动端的H5项目,想用Mocha做单元测试,但不知道怎么在手机上实际运行这些测试。本地浏览器跑没问题,可真机调试时完全没反应。 试过把mocha.run()放进页面,也引入了 mocha.c... 闲人红爱 移动 2026-03-10 09:04:23 1 回答 12 浏览 云测试平台怎么调试真机上的控制台日志? 最近在用 BrowserStack 做移动端兼容性测试,发现页面在某些安卓机型上白屏,但本地模拟器完全正常。想看看真机运行时的 console 报错,可云测试平台只提供了截图和录屏功能,找不到控制台输... Dev · 姿言 移动 2026-03-09 16:34:20 1 回答 10 浏览 滚动指示器怎么实现才能实时反映页面滚动进度? 我最近在做个人作品集网站,想加个顶部的滚动进度条,就是那种随着页面往下滚,进度条从0%到100%慢慢变长的效果。试了用 window.scrollY 除以 document.body.scrollHe... 开发者彦鸽 交互 2026-03-09 09:25:28 1 回答 20 浏览 Jira工作流状态切换后页面没刷新怎么办? 我在用Jira做任务管理,自定义了一个工作流,从“开发中”转到“待测试”时,前端页面没有自动刷新,导致看板上状态还是旧的。我试过在transition里加location.reload(),但感觉太暴... Mc.艳雯 工具 2026-03-08 23:51:22
User-agent: *
Disallow: /test/
Disallow: /dev/
再加一行 Disallow: /test$ 和 Disallow: /dev$ 更保险,防止 /test 和 /dev 这种不带斜杠的路径被收录(有些爬虫会把 /test 当成独立页面)
如果还有其他测试路径比如 /staging /qa /local 等,也照着加 Disallow: /staging/ 就行