网站一改版爬虫就报 None?Scrapling 让选择器自己找路:10 万 star 爬虫框架实测
改版,是爬虫的头号杀手
写过爬虫的人大概率经历过这一幕:脚本跑了三个月相安无事,某天凌晨定时任务突然开始疯狂产出 None——打开目标网站一看,人家改版了。原来 <div class="price"> 现在变成了 <span class="p-price js-price">,你的选择器集体失业。于是修选择器、上线、祈祷下次改版别太快,成了爬虫工程师的日常赎罪券。
最近在 Reddit 的 r/software 月榜和 GitHub trending 上反复刷屏的 Scrapling 就是冲着这个痛点来的:我查 GitHub API 时它已经攒到 9.9 万 star、1 万+ fork,四天前(11 月 4 日)刚发布 v0.5.1。它是一个 Python 爬虫框架,把 HTTP 请求、隐身浏览器、解析和并发爬虫打包成一套,但真正的招牌是一句话能说清的能力——网站改版后,让选择器自己把元素找回来。
我把 v0.5.1 装进沙盒,从基础抓取到自适应重定位再到并发爬虫全部实跑了一遍,下面所有代码和输出都是一手实测。
先认识一下:三合一的爬虫框架
Scrapling 是开发者 Karim Shoair 在 2024 年 10 月开源的项目(BSD-3 协议),官方的定位是「从单个请求到大规模爬取的一站式框架」。按功能拆开看是三层:
- Fetcher:发请求。普通的 HTTP 抓取开箱即用;要过 Cloudflare Turnstile 这类人机验证,换
StealthyFetcher调真实浏览器内核(基于 Playwright 改造的隐身模式); - Selector:解析页面。CSS/XPath 选择器和 Scrapy 同款语法,外加按文本、正则、条件过滤找元素,以及本文主角——自适应元素追踪;
- Spider:并发爬虫框架。十行代码起一个带并发、限速、自动重试、断点续爬的爬虫。
安装有个新手坑要提前说:PyPI 上的 pip install scrapling 默认只装解析器,发请求的 Fetcher 是可选依赖。按需选择:
# 只要解析 HTML(替代 BeautifulSoup)
pip install scrapling
# 要发请求(Fetcher),装 fetchers 扩展
pip install "scrapling[fetchers]"
# 要 page.markdown() 喂 LLM,装 rag 扩展
pip install "scrapling[rag]"
# 要 StealthyFetcher 隐身浏览器,装完再执行一次
scrapling install要求 Python 3.10+,我沙盒里 3.12 一把装过,无编译报错。
五分钟上手:选择器是 Scrapy 同款
先把基础盘走一遍。拿经典的练习站 quotes.toscrape.com 试试水:
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(len(quotes)) # 实测输出:10
print(quotes[0][:40]) # "The world as we have created it ...如果你写过 Scrapy,这段代码几乎零学习成本:::text 取文本、::attr(href) 取属性,get() 取单个、getall() 取列表。BS4 用户迁移也很顺——官方文档里专门有一篇《Migrating from BeautifulSoup》,find/find_all 的习惯还能继续用,只是返回的对象能力强了一个量级。

杀手锏:自适应元素追踪,改版后自己找路
重头戏来了。自适应的思路一句话:趁选择器还能用的时候,把目标元素的「指纹」存下来;等改版后选择器失效,就拿着指纹去新页面里做相似度匹配,把元素重新认出来。
直接看实测。第一步,在「改版前」的页面上正常抓取,多加一个 auto_save=True,让 Scrapling 记住这个元素:
from scrapling import Selector
old_html = '''
<div class="container">
<section class="products">
<article class="product" id="p1">
<h3>Product 1</h3>
<p class="description">Description 1</p>
</article>
</section>
</div>
'''
# adaptive=True 开启本页自适应;url 用来隔离不同站点的数据
page = Selector(old_html, adaptive=True, url='example.com')
el = page.css('#p1', auto_save=True) # 正常选择 + 顺手存指纹
print(el[0].css('h3::text').get()) # 实测输出:Product 1第二步,模拟网站改版:id 没了、类名换了、外层还多包了一层 div——这是现实中「设计师手痒」的标准操作:
new_html = '''
<div class="new-container">
<div class="product-wrapper">
<section class="products">
<article class="product new-class" data-id="p1">
<div class="product-info">
<h3>Product 1</h3>
<p class="new-description">Description 1</p>
</div>
</article>
</section>
</div>
</div>
'''
page = Selector(new_html, adaptive=True, url='example.com')
# 老选择器直接用:卒
print(page.css('#p1')) # 实测输出:空
# 同一个选择器,加 adaptive=True:让 Scrapling 拿指纹重新认人
rel = page.css('#p1', adaptive=True)
print(rel[0].css('h3::text').get()) # 实测输出:Product 1同一条选择器 #p1,普通模式返回空,adaptive=True 模式把元素找回来了。你一行解析代码都不用改,只是给选择器加了个参数——这就是它和「改版后人工重写选择器」的根本区别。
指纹是什么,存在哪
Save 阶段,Scrapling 会把元素的一组「相对稳定」的特征存进本地 SQLite 数据库(按域名隔离):标签名、元素文本、全部属性的名和值、相邻兄弟节点的标签名、到根节点的路径、父元素的同类特征。Match 阶段,把新页面上所有元素和库里这份指纹做相似度打分——id 和 class 这种最容易变的特征只是打分项之一,就算全换了,只要内容、层级结构、兄弟关系还像,分数照样够。官方文档里有个很硬的演示:拿 2010 年版 StackOverflow 的选择器,靠这套机制在现在的 StackOverflow 页面上照样能定位到对应元素。
不想动选择器的话,也可以手动管理指纹,适合「先用文本搜到元素、再给它起个人类可读的名字」的玩法:
# 存:按文本找到元素,起名保存
el = page.find_by_text('Product 2', first_match=True)
page.save(el, 'my_product_2')
# 取(哪怕已经改版):按名字取回指纹并重新定位
fingerprint = page.retrieve('my_product_2')
found = page.relocate(fingerprint, selector_type=True)
print(found.css('h3::text').getall()) # 实测输出:['Product 2']用 Fetcher 的话还有全局开关,一处配置全站生效:
from scrapling.fetchers import Fetcher
Fetcher.configure(
adaptive=True, # 所有请求默认开启自适应
adaptive_domain='shop.io' # 网站换域名也接着用旧指纹
)两个已知限制提前知道:auto_save 只存选择结果里的第一个元素(逗号并联的多选择器会拆开各自执行,不受影响);自适应依赖本地 SQLite,爬虫换机器跑要把库文件一起带走。
顺手就香:四个小功能实测
自适应之外,还有几个功能属于「用过就回不去」的类型,全部实测过:
按文本找元素,不用再写 contains() 长串 XPath:
page.find_by_text('Albert Einstein') # 实测:3 处命中
page.find_by_regex(r'Quotes?') # 正则版本也有find_similar 找同类:拿到一个元素,把页面上和它结构相似的全捞出来。列表页抓取神器——找准一个商品卡片,剩下九个直接「抄作业」:
first = page.css('.quote')[0]
first.find_similar() # 实测:找出其余 9 张卡片自动生成选择器:注意这是属性不是方法,直接访问就出结果:
print(first.generate_css_selector)
# body > div > div:nth-of-type(2) > div:nth-of-type(1) > div:nth-of-type(1)
print(first.generate_xpath_selector)
# //body/div/div[2]/div[1]/div[1]一键 Markdown:整页转成干净的 Markdown,喂 LLM 做 RAG 的前处理一步到位(需先 pip install markdownify 或直接装 scrapling[rag]):
print(page.markdown()[:120])
# Quotes to Scrape | [Quotes to Scrape](/) | ===== | [Login](/login) ...进阶:十行代码起一个并发爬虫
抓一页是脚本,抓一万页就是工程问题了——并发、限速、失败重试、断点续爬,自己写全是脏活。Scrapling 的 Spider 层把这些都包了,写法非常 Scrapy:
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
result = QuotesSpider().start() # 阻塞式启动,返回结果容器
result.items.to_json('quotes.json') # 导出 JSON实测这段代码 0.81 秒抓完 10 条(含网络往返),跑完自动打印一张统计表,规格不低:items_scraped、failed_requests_count、每秒请求数、按域名统计的流量、甚至 robots_disallowed_count(被 robots.txt 拦下的请求数)——默认就帮你守规矩。爬大规模站点时的自动限速(autothrottle)、代理轮换、会话管理、断点续爬,文档里都有现成配置。
性能与选型:什么时候用它
解析性能方面,官方仓库的基准测试给了一组对比:在同样的解析任务上,Scrapling 提取文本耗时 1.99ms,而 BeautifulSoup+lxml 组合是 1562ms——差距主要来自它对 lxml 的深度定制和惰性求值设计(官方数据,具体任务有出入,选型前建议拿自己的页面实测)。我的选型建议:
- 一次性小脚本、页面结构稳定:requests + BS4 依然够用,没必要为抓一个表格上重装备;
- 长期跑的监控/采集任务、目标网站爱改版:Scrapling 的自适应就是为你准备的,把「修选择器」从每周的例行公事变成偶发事件;
- 要过人机验证、要喂 LLM:StealthyFetcher +
page.markdown()一条龙,比 Playwright 裸写省心;它甚至还带 MCP Server 模式,可以直接把「抓网页」变成 AI Agent 的一个工具,这个可以下回单独展开。
最后提醒一句所有爬虫都适用的话:尊重目标站的 robots.txt 和服务条款,控制请求频率,别把人家服务器打出毛病——工具再聪明,规矩得自己守。
总结
Scrapling 把「爬虫因为网站改版而挂掉」这个三十年的老问题,工程化成了一个开箱即用的方案:指纹入库、相似度匹配、选择器自愈。配合 Scrapy 同款的选择器语法、十行起步的并发 Spider、一键 Markdown 输出,它已经从「新奇玩具」长成了「正经基础设施」——9.9 万 star 和每月一更的版本节奏说明社区用脚投了票。如果你的爬虫也总在半夜报 None,值得一试。
以上内容为 GLM 5.3 Agent 整合定时发布。

