动态住宅 IP 怎么降低网页采集成本？轮换、重试与计费指南

同样采集 1 万条商品数据，有的任务跑一遍就结束，有的却把流量花在验证码页、失败重试和重复下载的图片上。

要降低代理成本，先看每 1,000 条有效数据用了多少代理流量。

流量浪费通常来自两类：失败请求和重复重试消耗的流量，以及成功页面里下载了却用不上的资源。

前者要改出口和重试策略，后者要改资源加载方式。

网页采集的代理流量浪费在哪？

先分清几种常见的“失败”，每种现象对应一个首要排查动作：

限流不一定只看 IP，也可能按账号、Cookie 或接口统计。所以 403 和 429 要分开处理，不能一遇到错误就换 IP。

动态住宅 IP 怎么轮换更合适？

住宅代理提供的是住宅网络出口。如果目标站点对出口网段敏感，换用住宅出口值得测试。

但 Cloudflare 一类的检测还会参考请求行为、浏览器信号等因素，单靠换 IP 无法预测拦截率，也不存在“换住宅 IP 就把 403、429 降到极低”的保证。

轮换方式应该按“请求之间是否依赖”来选择：

▸ 按请求轮换：适合彼此独立的请求。每次请求分配出口，但出口可能重复出现，不必假设每次都拿到全新 IP。

▸ 粘性会话：适合需要复用 Cookie 和出口的连续操作，比如登录后的搜索、筛选、翻页或多步骤提交。会话时长按业务流程和套餐支持设置，不是固定值。

商品详情页这类独立请求，可以测试按请求轮换；搜索、筛选、翻页这类连续操作如果依赖同一会话，就复用 Cookie 和代理会话。

以每天采集一批商品价格和库存为例。商品详情页之间互不依赖，可以抽取一批代表性 URL 测试按请求轮换。

对照时，保持目标地区、请求频率、并发和重试上限一致，只改轮换方式，最后比较有效记录数、失败重试次数和计费流量，看哪种配置每采集 1,000 条数据消耗更少。

如果同一个任务还要从搜索页开始，依次筛选地区、翻页，再进入商品详情，就要先确认这些步骤是否依赖同一组 Cookie。

需要保持会话时，可以按任务分配粘性会话，让同一条采集流程尽量沿用同一个出口。

如果翻到第二页时突然回到登录页，日志里可以同时记录跳转地址、会话 ID 和出口变化，方便判断是哪一步开始丢失状态。

一个采集项目可以按任务拆分轮换方式，不必整套系统只选一种。

怎么减少重复请求和页面下载？

▸ 按错误类型控制重试。403 先看响应正文、权限和会话状态，持续失败就停止重复重试，不要无脑换 IP 重发。429 先降低速率和并发，有 Retry-After 就按提示等待，没有再用带上限的退避，避免无限重试。

▸ 优先请求可用的 HTML 或 JSON。能从原始 HTML 或获准访问的 JSON 接口拿到数据，就直接请求，不必启动浏览器。必须跑浏览器时，先试着屏蔽无关图片、视频和字体，再核对目标字段是否完整，而不是一刀切地拦截样式和脚本。

▸ 浏览器按需屏蔽资源。需要注意，Playwright 启用路由拦截会禁用 HTTP 缓存，连续翻页时共用资源可能被重新下载。所以屏蔽资源到底省没省，要看代理后台的计费流量，而不是凭“屏蔽图片能省一半”的经验值。

可以做一个对照测试：拿同一批 URL，分别跑“默认加载”和“屏蔽图片、视频、字体”两组，比较计费流量、有效记录数和耗时。

如果屏蔽后目标字段仍然完整，再看账单上的实际差异，再决定是否把屏蔽规则固定进正式任务。

另外，可以在请求头声明 Accept-Encoding 支持 gzip、br 等编码，是否压缩取决于服务端返回的 Content-Encoding，客户端也要能解码。

协议选型则按客户端兼容性和实测结果选择即可。

IPDEEP 按流量和按带宽怎么选？

计费方式取决于任务的运行节奏和流量特征。

如果采集任务按批次运行，流量有明显波峰波谷，可以先用 IPDEEP 动态住宅代理 的按 GB 套餐跑一批代表性任务，记录每采集 1,000 条有效数据用了多少计费流量。

如果任务每天持续运行、流量较大，再比较 IPDEEP 不限量住宅代理 的带宽套餐。

用同一使用周期的预计 GB 成本与套餐价格比较，并确认所选带宽能否在任务时限内跑完。IPDEEP 的不限量住宅代理按带宽和使用周期计费，套餐期内无需另购按 GB 计费的流量。

判断依据始终是“每千条有效数据成本”。

以一组计算示例说明怎么算：假设一轮测试拿到 10,000 条通过校验的商品记录，代理后台显示消耗 2 GB，那么每 1,000 条有效记录消耗 0.2 GB。

如果按相同的页面类型和采集配置，每个计费周期预计要采集 100 万条，预计流量就是 200 GB。

把这 200 GB 对应的实际购包费用，与同一周期的不限量住宅代理套餐价格对比，就能初步判断哪种计费方式更合适。

价格接近时，再看任务窗口。比如价格监控每天必须在两小时内跑完，就用高峰时段的代表性任务验证带宽档位，记录两小时内实际完成了多少条有效数据。

不同页面的响应大小和失败重试量会影响结果，样本里最好同时包含轻量页面和资源较多的页面。

常见问题

Q1：为什么请求返回 200，采集任务还是失败？

200 只代表请求本身成功，不代表拿到了目标数据。目标站点可能返回登录页、验证码页或空数据。

判断成功要看目标字段是否完整、数据是否通过校验，并把 200 验证页单独计数，而不是当成有效数据。

Q2：什么时候值得从按 GB 换成带宽套餐？

当任务每天持续运行、流量较大，按 GB 计费成本开始明显上升时，值得比较带宽套餐。

用同一使用周期的预计 GB 成本与带宽套餐价格对比，并确认所选带宽能在任务时限内跑完，再决定是否切换。