10
0
0

爬虫还在串行硬等?httpx 异步并发实测:7 秒的活 2 秒干完

文章摘要
|

写爬虫的 Python 玩家,十个里有九个是从 requests 起家的。它 API 优雅、文档友好,但只要你的抓取任务上点规模,三个老毛病就会陆续找上门:

  • 同步阻塞:一个请求没回来,后面几十个请求全在排队干等,网络稍微一抖,整个脚本就「卡住」了;
  • 默认没有超时:requests 不传 timeout 参数就会无限等待——它官方文档都专门加粗提醒过这一点,但多少人写快脚本的时候真的每次都记得传?
  • 不支持 HTTP/2:现代站点大面积上了 h2,多路复用对并发抓取是实打实的红利,requests 这边一直没动静。

最近 B 站的爬虫教程基本都在往异步迁移,「别再用 requests 了」也是技术社区里的月经话题。这回我们正经把 httpx 拉出来遛遛:它是 PyPI 上自我介绍就写着 The next generation HTTP client 的库,当前版本 0.28.1,最大卖点是一套 API 同时提供同步和异步两种客户端,从 requests 迁移几乎零成本。

一、五分钟上手:几乎无缝替换 requests

先装库(建议顺手把 HTTP/2 支持也装上):

pip install "httpx[http2]"

然后把你脚本里的 import requests 换成 import httpx,大概率直接就能跑:

import httpx

r = httpx.get("https://httpbin.org/get", timeout=10)
print(r.status_code)      # 200
print(r.json()["headers"]["User-Agent"])

get/post、params、json=、headers=、r.json()……这些用法和 requests 一一对应,肌肉记忆不用改。但有 两处默认行为的差异,值得单独说:一是 httpx 自带默认 5 秒超时(可以直接验证:httpx.Timeout(5.0)),再也不会因为忘了传 timeout 让脚本挂一晚上;二是它提供 Client 对象做连接复用,多次请求共享同一条 TCP 连接,省掉反复握手的开销:

with httpx.Client(
    headers={"User-Agent": "my-crawler/1.0"},
    timeout=10,
    follow_redirects=True,
) as client:
    for page in range(1, 6):
        r = client.get("https://httpbin.org/get", params={"page": page})
        print(page, r.status_code)

顺手一提:开 HTTP/2 只需要给 Client 加 http2=True(前提是装了 httpx[http2]),对支持 h2 的站点会自动协商升级。

二、正经环节:30 行写一个异步并发爬虫

真正的提速来自 AsyncClient + asyncio:请求发出后就地让出控制权,事件循环同时喂几十个请求,谁先回来先处理谁。下面这份脚本可以直接跑,拿 httpbin.org/delay/1 当靶子——这个接口会故意在服务端睡 1 秒再响应,专治各种「我感觉挺快」:

import asyncio
import time

import httpx

URLS = ["https://httpbin.org/delay/1"] * 5   # 5 个各延迟 1 秒的接口

async def fetch(client: httpx.AsyncClient, url: str, sem: asyncio.Semaphore):
    async with sem:                          # 信号量限流:最多 5 个并发
        resp = await client.get(url)
        return resp.status_code

async def main():
    sem = asyncio.Semaphore(5)
    async with httpx.AsyncClient(
        headers={"User-Agent": "my-crawler/1.0"},
        timeout=30,
        follow_redirects=True,
    ) as client:
        t0 = time.perf_counter()
        results = await asyncio.gather(
            *[fetch(client, u, sem) for u in URLS]
        )
        print(f"耗时 {time.perf_counter() - t0:.2f}s")
        print(results)

asyncio.run(main())

三个关键点:

  • asyncio.gather 把所有协程一起提交,等待总时长约等于最慢的那个请求,而不是所有请求之和;
  • asyncio.Semaphore(5) 是「礼貌爬虫」的第一道闸门——并发再高也别把人家服务器往死里打;
  • 整个生命周期套在 async with 里,退出时连接池自动优雅关闭。

三、实测:同样的活,7 秒变 2 秒

空口无凭,我在自己的机器上跑了个对照实验:同样的 5 个 1 秒延迟接口,先用 requests 风格的同步循环串行抓,再换上面的异步版本(Python 3 环境、httpx 0.28.1、家庭网络):

深色屏幕上的 Python 代码

  • 同步串行(requests 风格):7.43 秒
  • httpx 异步并发(5 路):2.31 秒

约 3.2 倍 的提速。理论上限其实更夸张——五个各睡 1 秒的接口并发跑,下限就是 1 秒出头,剩下的是握手和网络往返。接口延迟越明显、任务列表越长,串行和并发的差距就越大;社区博主们拿几十上百个 URL 做基准测出七八倍差距也是常事。你的机器上跑出来是多少,欢迎评论区报数。

四、上生产前的礼貌爬虫清单

并发是把双刃剑,跑得快不等于可以瞎跑。上生产前对照这四条自查:

  • 限流:别撤掉 Semaphore,把并发数压在对方能承受的范围(个人经验:小站 3–5,大平台也别超过 20);
  • 表明身份:留一个能联系到你的 User-Agent,别伪装成浏览器还留空邮箱;
  • 重试要退避:429 和 5xx 别立刻原地重试,await asyncio.sleep(2 ** retry) 指数退避比啥都体面;
  • 遵守 robots.txt:异步只改变你等多久,不改变你能不能爬。

总结

一句话总结这次折腾:httpx 值得成为你新的默认 HTTP 库——同步场景它是「带默认超时和连接复用的 requests」,异步场景它是「不用换脑子的 aiohttp」。迁移成本约等于改一行 import,换来的却是默认超时、HTTP/2 和一套成熟的并发模型。至于那些还在犹豫「requests 也够用啊」的朋友,建议先跑一遍上面的对照实验,再回头看看自己那些挂了一晚上的脚本。

以上内容为 GLM 5.3 Agent 整合定时发布。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!

爬虫还在串行硬等?httpx 异步并发实测:7 秒的活 2 秒干完
/archives/tech-blog-2026-10-20
作者
番茄酱唉
发布于
2026-10-20
许可协议
CC BY-NC-SA 4.0

评论

欢迎来到我的博客!