6
0
0

Google 收录了个寂寞?Halo 博客 SEO 一次配齐:sitemap、robots.txt 与 AI 爬虫

文章摘要
|

博客建好,不等于有人看

很多人的建站流程是这样的:买服务器、Docker 拉起 Halo、绑域名、上 HTTPS、挑个喜欢的主题,然后兴冲冲写了三五篇文章,跑到 Google 一搜——什么都搜不到。

这不是 Halo 的问题,也不是你内容不行,而是搜索引擎根本还不知道你的站存在。爬虫发现一个新站的效率,取决于外链数量,而新站恰恰没有外链。所以你得「主动递名片」:把站点地图(sitemap)交给搜索引擎,把抓取规则(robots.txt)写清楚。到了 2026 年,还得再加一条——决定要不要让 AI 爬虫进来,毕竟 ChatGPT、Perplexity 的回答里带一条你的链接,已经成了新的流量入口。

这篇文章以 Halo 2.x 为例,把这四件事一次配齐。全部基于我在自己小站上的实测,命令可以直接抄。

放大镜下的 SEO 概念图

第一步:装官方 Sitemap 插件,交出「全站清单」

Sitemap 本质上是一个 XML 文件,列出你希望搜索引擎收录的所有页面 URL。Halo 官方文档站专门写过一篇科普,里面说得很直白:sitemap 能帮搜索引擎发现 URL、加速新站收录、通过 lastmod 告知页面更新,但它不保证收录、不提升排名,也代替不了站内链接。

Halo 2.x 默认不生成 sitemap.xml,需要装官方插件 plugin-sitemap(GitHub 仓库 halo-dev/plugin-sitemap)。两种安装方式:

  • 应用市场:后台 → 插件 → 应用市场搜「Sitemap」,一键安装(应用市场地址 app-QDFMI)
  • 手动安装:去 GitHub Releases 下载 JAR 文件,后台 → 插件 → 右上角安装

装好启用之后,验证一下:

curl -I https://your-domain.com/sitemap.xml
# 期望返回 HTTP/2 200

我装完在自己站上数了一下,103 个 URL,每条都带 lastmod 时间戳,格式是标准的 sitemap 0.9:

<url><loc>https://your-domain.com/archives/hello-world</loc>
<lastmod>2026-10-10T02:27:20+08:00</lastmod>
</url>

注意 URL 数量取决于你已发布且公开的文章、页面和分类页。如果返回 404,先确认插件是「已启用」状态;如果返回 30x,看一眼是不是被反代或者 CDN 规则拦了。

第二步:robots.txt——配对了没人在意,配错了全站消失

装上 plugin-sitemap 之后,它还会顺带接管 /robots.txt。我实测默认生成的内容是这样的:

User-agent: *
Allow: /
Disallow: /console

Sitemap: https://your-domain.com/sitemap.xml

这个默认值其实挺合理,但插件设置里专门有一个 robots 分组,可以完全自定义。动手改之前,先看三个最常见的翻车姿势——这三个误区在 Halo 官方博客的 robots.txt 科普文章里都有提到:

误区一:把后台路径写进 Disallow。robots.txt 是公开文件,任何人都能访问。你写一条 Disallow: /my-secret-admin/,等于给全世界的扫描器递了一张「后台在这里」的地图。敏感后台应该靠密码、IP 白名单保护,而不是靠 robots.txt「隐藏」。

误区二:全站禁止抓取。Disallow: / 一行就能让所有搜索引擎停止抓取。最经典的场景是从测试环境迁移到正式环境时忘改回来,然后某天发现网站在 Google 里「消失」了。发现收录异常,第一步先查 robots.txt。

误区三:屏蔽 CSS 和 JS。Google 渲染页面时需要读取 CSS/JS 来理解布局。把它们 Disallow 掉,搜索引擎对你的页面质量评估会打折扣,除非你非常清楚后果,否则别动静态资源。

还有一个概念必须分清:robots.txt 管的是「抓取」,不是「索引」。想让某个页面不出现在搜索结果里,正确做法是页面里加 <meta name="robots" content="noindex">,而不是 Disallow——因为 Disallow 之后爬虫根本读不到页面内容,反而可能留下一个没有描述的空索引。对 Halo 站点,官方的建议是禁止 /apis/(API 接口没必要给爬虫看),其余放行。

第三步:把 sitemap 提交给三大搜索引擎

sitemap 装好了只是「文件存在」,还得主动交上去。三个平台,流程都差不多:

  • Google Search Console:登录 → 选择网站资源 → 左侧「站点地图」→ 输入 sitemap.xml → 提交。Google 会在几小时到几天内开始处理。
  • Bing Webmaster Tools:站点地图 → 提交 URL。Bing 支持直接从 Google Search Console 导入整个站点配置,懒人首选。
  • 百度搜索资源平台:面向中文读者的站建议都提交一遍,百度对自有生态外的站点发现得更慢,主动提交收益更明显。

提交之后别干等。Google Search Console 顶部的「网址检查」工具可以输入单条 URL 手动「请求编入索引」,新站前期每发一篇文章手动催一次,收录速度肉眼可见地快。平时多看 GSC 的「覆盖率」报告,哪条 URL 被排除、什么原因,写得明明白白。

第四步:2026 新课题——AI 爬虫要不要放进来?

传统 SEO 之外,今年讨论最多的是 AI 爬虫。做决策前有个关键前提:训练爬虫和搜索爬虫是两批完全不同的机器人。2026 年各家厂商基本都拆成了两套 UA:

  • OpenAI:GPTBot 抓内容做训练,OAI-SearchBot 给 ChatGPT 搜索用
  • Anthropic:ClaudeBot 做训练,Claude-SearchBot 做 Claude 搜索引用
  • Perplexity:PerplexityBot 做训练和索引,Perplexity-User 是用户实时浏览时触发

这个拆分意味着你可以精细决策:不希望文章被白嫖去训练模型,但想被 AI 搜索引用蹭流量——屏蔽训练爬虫、放行搜索爬虫就行,两边互不影响。在 robots.txt 里加一段:

# 屏蔽 AI 训练爬虫,内容不进模型语料
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# 放行 AI 搜索爬虫,保留 AI 问答里的引用流量
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

反过来,如果你完全不在乎 AI 流量,或者带宽心疼(有些 AI 爬虫抓得非常凶),把搜索爬虫一起 Disallow 也完全没问题。这是你自己的站,规则你说了算。

彩蛋:llms.txt 值不值得写一个?

可能你在哪里见过 llms.txt 这个词——它被称作「AI 时代的 robots.txt」,一个放在网站根目录、用 Markdown 写的站点说明文件,告诉 AI 你的站有什么、哪些内容值得看。

先泼一盆冷水:2026 年的爬虫监测数据(Limy 团队对自己监控品牌的实测)显示,GPTBot、ClaudeBot、PerplexityBot 这些主流 AI 爬虫几乎不会主动去抓 /llms.txt,它们直接爬 HTML。所以指望写一个 llms.txt 就提升 AI 收录,目前是想多了。

但它的长期逻辑是成立的:这是第一个标准化的「给人造的 Agent 读的名片」,随着 AI Agent 越来越多地代替人去访问网页,一张机器可读的站点地图迟早有用。写一个的成本不到十分钟,在 Halo 里用静态页面插件或者反代挂一个根路径文件都行,格式大致是:

# 站点名称

> 一句话说明这个站是干嘛的

## 值得看的内容
- [教程合集](https://your-domain.com/categories/ji-shu-zhe-teng): 折腾记录
- [RSS](https://your-domain.com/rss.xml): 全文订阅

把它当基础设施投资,不当 SEO 神药,心态就对了。

收工清单

最后送一份可以直接跑的验证清单,四条全绿,SEO 的地基就算打完了:

# 1. sitemap 存在且可访问
curl -sI https://your-domain.com/sitemap.xml | head -1

# 2. robots.txt 内容符合预期(没有误杀全站、没暴露后台路径)
curl -s https://your-domain.com/robots.txt

# 3. 搜索引擎是否已经认识你(收录量,需要等几天)
# 在 Google 搜索框输入:site:your-domain.com

# 4. GSC 覆盖率报告里,提交的 sitemap 状态为「成功」

说到底,sitemap 和 robots.txt 是那种「配对了没人夸、配错了要人命」的基础设施。花半小时把它们配明白,然后忘掉,安心写文章——这才是博客的正事。

以上内容为 GLM 5.3 Agent 整合定时发布。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!

Google 收录了个寂寞?Halo 博客 SEO 一次配齐:sitemap、robots.txt 与 AI 爬虫
/archives/tech-blog-2026-11-04
作者
番茄酱唉
发布于
2026-11-04
许可协议
CC BY-NC-SA 4.0

评论

欢迎来到我的博客!