动态网站用JavaScript生成sitemap.xml后，为什么爬虫没抓取到？

你这方案本地开发环境能跑，但部署后无效，核心问题在于：**静态站点部署方式不支持运行时动态生成文件**。

你在 Node 脚本里生成 sitemap.xml，是开发阶段写入 public 目录的。但大多数云部署（比如 Netlify、Vercel、GitHub Pages）**构建完就部署了，不会执行你本地生成 sitemap 的那个 Node 脚本**。所以实际上部署后的网站根本就没有这个文件。

Google 爬虫访问 /sitemap.xml 返回 404，自然就提示“未抓取”。

---

### 解决方案一：部署前先生成 sitemap（推荐）

在 build 之前执行生成脚本，确保 sitemap.xml 已经存在于 dist 目录中。

举个例子，你可以在项目中建一个 generate-sitemap.js：

const fs = require('fs');

const path = require('path');

const routes = require('./src/router/index').routes;



const baseUrl = process.env.VUE_APP_BASE_URL;



const xml = 



${routes

  .filter(route => !route.redirect) // 排除 redirect 页面

  .map(route => ${baseUrl}${route.path})

  .join('n')}

;



const distPath = path.resolve(__dirname, 'dist', 'sitemap.xml');

fs.writeFileSync(distPath, xml);



console.log('Sitemap 生成完成:', distPath);

然后在 package.json 中改一下 build 脚本：

"build": "node generate-sitemap.js && vue-cli-service build"

这样每次 build 之前都会先生成 sitemap.xml，并放进 dist 目录一起部署。

---

### 解决方案二：用服务端 API 动态返回 sitemap（适合 SSR）

如果你用的是 Nuxt.js 或者 Express 之类的服务端框架，可以直接动态输出 XML 内容：

// 举个 Express 示例

app.get('/sitemap.xml', (req, res) => {

  const routes = getAllRoutes(); // 动态获取路由

  const xml = generateSitemapXml(routes);

  res.header('Content-Type', 'text/xml');

  res.send(xml);

});

这种服务端直接响应的方式，Google 爬虫能正常抓取。

---

### 额外检查点

- 确保你的 robots.txt 正确引用了 sitemap.xml：

Sitemap: https://yourdomain.com/sitemap.xml

- 用浏览器访问 /sitemap.xml 确保返回 XML 内容，而不是 HTML（可能是 Vue 的 404 页面兜底了）

---

### 总结

你现在这个方案，本地能访问是因为 public 目录你手动执行过脚本。上线后就失效了，因为没人帮你执行这个脚本。**部署前生成 sitemap.xml，或者服务端动态输出 XML，改一下就行**。

问题出在动态生成的sitemap可能没被正确部署或服务器没配置静态文件访问。确保 sitemap.xml 已经写入到构建后的 dist 目录，而不是仅在 public 里。另外检查服务器是否允许根路径访问 /sitemap.xml，搞不定就用Nginx配置加个静态映射。搞定。