robots.txt 怎么写才能不让搜索引擎抓取测试页面？
我们网站上线前搞了个 /test/ 目录放临时页面，现在想通过 robots.txt 禁止爬虫抓取，但不确定写法对不对。我试过这样写：
User-agent: *
Disallow: /test/
但 Google Search Console 里还是显示有些测试页被索引了，是不是路径写法有问题？或者需要加结尾斜杠？
- 1
回答
43浏览
robots.txt 怎么写才能不让搜索引擎抓取测试页面？
我们上线了一个新项目，但有些测试页面比如 /test/ 和 /dev/ 路径下的内容不想被搜索引擎收录。我试着在根目录加了 robots.txt，但不确定写法对不对，怕误伤正式页面。 目前我的写法是这...
- 1
回答
32浏览
Security.txt 应该怎么在 React 项目里正确配置？
我最近在做前端安全加固，看到建议加个 security.txt 文件，但不太清楚怎么在 React 项目里配。试过直接放 public 目录下，但部署后访问 /security.txt 返回 404，...
- 2
回答
33浏览
security.txt 文件到底该放哪里才生效？
我最近在项目里加了个 /.well-known/security.txt，但用安全扫描工具检测时老是提示找不到。我试过放在根目录和 public 目录下，Nginx 也配了路由，但访问 /securi...
- 2
回答
41浏览
Espresso怎么测试带WebView的页面？
我用Espresso写自动化测试，但页面里有个WebView加载了H5内容，点击里面的按钮完全没反应。查了文档说要用WebViewInteraction，但我加上去还是报错找不到元素，是不是还要额外配...
- 1
回答
27浏览
真机测试时页面样式错乱怎么办？
我在电脑上用 Chrome 模拟器看页面好好的，但一连真机测试，布局就全乱了，特别是 iPhone 上特别明显。 试过加 <meta name="viewport" content="width...
- 1
回答
29浏览
真机测试时 Vue 页面样式错乱怎么办？
我在开发一个移动端 Vue 页面，本地用 Chrome 模拟器看完全正常，但一到真机（iPhone 13）上测试，布局就乱了，按钮位置偏移、字体大小也不对。已经加了 viewport meta 标签，...
- 2
回答
39浏览
Meta标签怎么写才能让搜索引擎更好地收录页面？
我最近在做公司官网的SEO优化，但发现页面在百度和Google的搜索结果里标题和描述都不对。明明我在HTML里写了meta标签，比如<meta name="description" conten...
- 2
回答
62浏览
安全需求文档该怎么写才能防XSS漏洞？
我们在做用户评论功能时，测试发现XSS漏洞，但安全需求文档里只写了“过滤危险字符”，具体该怎么做才能有效防范呢？ 之前尝试用正则表达式过滤了<script>标签和特殊字符，但测试人员用Un...
- 1
回答
22浏览
BrowserStack 上测试移动端页面布局错乱怎么办？
我在本地用 Chrome DevTools 模拟 iPhone 12 看页面都正常，但上传到 BrowserStack 实际设备上测试时，布局完全错位了，特别是 flex 容器里的元素挤成一团。是不是...
- 1
回答
30浏览
移动端页面卡顿怎么用 Chrome DevTools 分析性能？
我用 Chrome 远程调试 iPhone 上的 H5 页面，发现滚动特别卡，但不知道怎么用 Performance 面板抓取真实设备上的性能数据。本地模拟器跑起来又不卡，根本复现不了问题。 试过在 ...
User-agent: *
Disallow: /test/
如果测试页面都在这个目录下，不需要特意加斜杠。不过有几点要注意：robots.txt 只能建议爬虫不要抓取，不能强制阻止。有些不太守规矩的小爬虫可能会无视它。
另外记得检查这几个问题：
1. robots.txt 是否正确上传到网站根目录
2. 文件权限设置是否正确，确保搜索引擎能看到
3. 等待一段时间，因为搜索引擎需要时间更新索引
如果已经生效了还是有问题，可以考虑在网页头部加上
noindex标签作为双重保险。这招对 Google 特别管用。希望这些方法能帮你解决问题。有时候搜索引擎确实有点调皮，得多试几种办法才行。