Google 收录了个寂寞?Halo 博客 SEO 一次配齐:sitemap、robots.txt 与 AI 爬虫
博客建好,不等于有人看
很多人的建站流程是这样的:买服务器、Docker 拉起 Halo、绑域名、上 HTTPS、挑个喜欢的主题,然后兴冲冲写了三五篇文章,跑到 Google 一搜——什么都搜不到。
这不是 Halo 的问题,也不是你内容不行,而是搜索引擎根本还不知道你的站存在。爬虫发现一个新站的效率,取决于外链数量,而新站恰恰没有外链。所以你得「主动递名片」:把站点地图(sitemap)交给搜索引擎,把抓取规则(robots.txt)写清楚。到了 2026 年,还得再加一条——决定要不要让 AI 爬虫进来,毕竟 ChatGPT、Perplexity 的回答里带一条你的链接,已经成了新的流量入口。
这篇文章以 Halo 2.x 为例,把这四件事一次配齐。全部基于我在自己小站上的实测,命令可以直接抄。

第一步:装官方 Sitemap 插件,交出「全站清单」
Sitemap 本质上是一个 XML 文件,列出你希望搜索引擎收录的所有页面 URL。Halo 官方文档站专门写过一篇科普,里面说得很直白:sitemap 能帮搜索引擎发现 URL、加速新站收录、通过 lastmod 告知页面更新,但它不保证收录、不提升排名,也代替不了站内链接。
Halo 2.x 默认不生成 sitemap.xml,需要装官方插件 plugin-sitemap(GitHub 仓库 halo-dev/plugin-sitemap)。两种安装方式:
- 应用市场:后台 → 插件 → 应用市场搜「Sitemap」,一键安装(应用市场地址 app-QDFMI)
- 手动安装:去 GitHub Releases 下载 JAR 文件,后台 → 插件 → 右上角安装
装好启用之后,验证一下:
curl -I https://your-domain.com/sitemap.xml
# 期望返回 HTTP/2 200我装完在自己站上数了一下,103 个 URL,每条都带 lastmod 时间戳,格式是标准的 sitemap 0.9:
<url><loc>https://your-domain.com/archives/hello-world</loc>
<lastmod>2026-10-10T02:27:20+08:00</lastmod>
</url>注意 URL 数量取决于你已发布且公开的文章、页面和分类页。如果返回 404,先确认插件是「已启用」状态;如果返回 30x,看一眼是不是被反代或者 CDN 规则拦了。
第二步:robots.txt——配对了没人在意,配错了全站消失
装上 plugin-sitemap 之后,它还会顺带接管 /robots.txt。我实测默认生成的内容是这样的:
User-agent: *
Allow: /
Disallow: /console
Sitemap: https://your-domain.com/sitemap.xml这个默认值其实挺合理,但插件设置里专门有一个 robots 分组,可以完全自定义。动手改之前,先看三个最常见的翻车姿势——这三个误区在 Halo 官方博客的 robots.txt 科普文章里都有提到:
误区一:把后台路径写进 Disallow。robots.txt 是公开文件,任何人都能访问。你写一条
Disallow: /my-secret-admin/,等于给全世界的扫描器递了一张「后台在这里」的地图。敏感后台应该靠密码、IP 白名单保护,而不是靠 robots.txt「隐藏」。
误区二:全站禁止抓取。
Disallow: /一行就能让所有搜索引擎停止抓取。最经典的场景是从测试环境迁移到正式环境时忘改回来,然后某天发现网站在 Google 里「消失」了。发现收录异常,第一步先查 robots.txt。
误区三:屏蔽 CSS 和 JS。Google 渲染页面时需要读取 CSS/JS 来理解布局。把它们 Disallow 掉,搜索引擎对你的页面质量评估会打折扣,除非你非常清楚后果,否则别动静态资源。
还有一个概念必须分清:robots.txt 管的是「抓取」,不是「索引」。想让某个页面不出现在搜索结果里,正确做法是页面里加 <meta name="robots" content="noindex">,而不是 Disallow——因为 Disallow 之后爬虫根本读不到页面内容,反而可能留下一个没有描述的空索引。对 Halo 站点,官方的建议是禁止 /apis/(API 接口没必要给爬虫看),其余放行。
第三步:把 sitemap 提交给三大搜索引擎
sitemap 装好了只是「文件存在」,还得主动交上去。三个平台,流程都差不多:
- Google Search Console:登录 → 选择网站资源 → 左侧「站点地图」→ 输入
sitemap.xml→ 提交。Google 会在几小时到几天内开始处理。 - Bing Webmaster Tools:站点地图 → 提交 URL。Bing 支持直接从 Google Search Console 导入整个站点配置,懒人首选。
- 百度搜索资源平台:面向中文读者的站建议都提交一遍,百度对自有生态外的站点发现得更慢,主动提交收益更明显。
提交之后别干等。Google Search Console 顶部的「网址检查」工具可以输入单条 URL 手动「请求编入索引」,新站前期每发一篇文章手动催一次,收录速度肉眼可见地快。平时多看 GSC 的「覆盖率」报告,哪条 URL 被排除、什么原因,写得明明白白。
第四步:2026 新课题——AI 爬虫要不要放进来?
传统 SEO 之外,今年讨论最多的是 AI 爬虫。做决策前有个关键前提:训练爬虫和搜索爬虫是两批完全不同的机器人。2026 年各家厂商基本都拆成了两套 UA:
- OpenAI:
GPTBot抓内容做训练,OAI-SearchBot给 ChatGPT 搜索用 - Anthropic:
ClaudeBot做训练,Claude-SearchBot做 Claude 搜索引用 - Perplexity:
PerplexityBot做训练和索引,Perplexity-User是用户实时浏览时触发
这个拆分意味着你可以精细决策:不希望文章被白嫖去训练模型,但想被 AI 搜索引用蹭流量——屏蔽训练爬虫、放行搜索爬虫就行,两边互不影响。在 robots.txt 里加一段:
# 屏蔽 AI 训练爬虫,内容不进模型语料
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# 放行 AI 搜索爬虫,保留 AI 问答里的引用流量
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /反过来,如果你完全不在乎 AI 流量,或者带宽心疼(有些 AI 爬虫抓得非常凶),把搜索爬虫一起 Disallow 也完全没问题。这是你自己的站,规则你说了算。
彩蛋:llms.txt 值不值得写一个?
可能你在哪里见过 llms.txt 这个词——它被称作「AI 时代的 robots.txt」,一个放在网站根目录、用 Markdown 写的站点说明文件,告诉 AI 你的站有什么、哪些内容值得看。
先泼一盆冷水:2026 年的爬虫监测数据(Limy 团队对自己监控品牌的实测)显示,GPTBot、ClaudeBot、PerplexityBot 这些主流 AI 爬虫几乎不会主动去抓 /llms.txt,它们直接爬 HTML。所以指望写一个 llms.txt 就提升 AI 收录,目前是想多了。
但它的长期逻辑是成立的:这是第一个标准化的「给人造的 Agent 读的名片」,随着 AI Agent 越来越多地代替人去访问网页,一张机器可读的站点地图迟早有用。写一个的成本不到十分钟,在 Halo 里用静态页面插件或者反代挂一个根路径文件都行,格式大致是:
# 站点名称
> 一句话说明这个站是干嘛的
## 值得看的内容
- [教程合集](https://your-domain.com/categories/ji-shu-zhe-teng): 折腾记录
- [RSS](https://your-domain.com/rss.xml): 全文订阅把它当基础设施投资,不当 SEO 神药,心态就对了。
收工清单
最后送一份可以直接跑的验证清单,四条全绿,SEO 的地基就算打完了:
# 1. sitemap 存在且可访问
curl -sI https://your-domain.com/sitemap.xml | head -1
# 2. robots.txt 内容符合预期(没有误杀全站、没暴露后台路径)
curl -s https://your-domain.com/robots.txt
# 3. 搜索引擎是否已经认识你(收录量,需要等几天)
# 在 Google 搜索框输入:site:your-domain.com
# 4. GSC 覆盖率报告里,提交的 sitemap 状态为「成功」说到底,sitemap 和 robots.txt 是那种「配对了没人夸、配错了要人命」的基础设施。花半小时把它们配明白,然后忘掉,安心写文章——这才是博客的正事。
以上内容为 GLM 5.3 Agent 整合定时发布。

