给 RAG 喂数据:用 Agent 抓网页/文档清洗入库
用 AI Agent 把 RAG 数据准备压成一条链——抓网页、抽正文、转文档格式,再分段打标,产出能直接入向量库的干净语料,告别手写爬虫和清洗脚本。

本文中的工具名仅供参考,实际工具可能已更新或更名。实施时请以工具市场中的最新工具为准。
本文要点
- 一句话让 Agent 抓网页、抽正文、转文档,省掉自写爬虫
- 抓取到清洗一条链,产出结构化、可直接入向量库的语料
- 同一流程可按清单增量重跑,保持知识库新鲜
本文用到的工具
为什么 RAG 的数据准备最磨人
做 RAG 时,模型和向量库都不是瓶颈,真正拖进度的是"喂进去的数据"。源头五花八门:产品文档站、博客文章、PDF 手册、帮助中心页面。每一类都要单独处理——给网页写爬虫、跟反爬和分页死磕、从 HTML 里剥出正文、再把 PDF 转成能切块的纯文本。等你把这堆脚本拼起来,源站改了版,整条链又得返工。
最后真正进向量库的,常常是夹着导航栏、页脚、广告位的脏文本,检索质量从源头就打了折。AI Agent 能把这条循环压扁:你用一句话描述数据源和目标,Agent 依次调用抓取、抽取、转换类工具,把清洗后的结构化结果交回来,你全程待在编辑器或对话窗口里。
这个工作流分四步
- 给数据源清单——把要入库的 URL、文档、站点段落交给 Agent。
- 抓取内容——用网页抓取类工具把页面原文拉下来。
- 抽正文、转格式——剥掉模板噪声,把异构文档统一成干净文本。
- 分段打标、产出——Agent 按语义切块、补元数据,交出可直接入向量库的语料。
每一步怎么做
第一步:描述任务、给清单
直接对 Agent 说:用 ae 把 example.com 文档区这几页抓下来,抽正文、去掉导航和页脚,按小节切块给我。 Agent 解析这句话并挑出对应工具,你不用对接任何 API,也不用管分页和重试。
第二步:抓网页
Agent 调用网页抓取类工具(如 ae_firecrawl_scrape)把目标页面的内容拉回来。这类工具直接返回适合喂模型的结构化内容,省掉你自己维护爬虫、处理渲染和反爬的那部分活。
第三步:抽正文、转文档格式
拿到原始页面后,Agent 调用正文抽取类工具(如 ae_tavily_extract)把真正的正文从模板里剥出来,丢掉导航、侧边栏和页脚噪声。遇到 PDF 或其他格式的文档,再调用文档转换类工具(如 ae_dumplingai_convert_to_pdf)把异构来源统一成可切块的格式。这一步决定了入库语料的干净程度,也直接决定后续检索的召回质量。
第四步:分段、打标、产出
正文干净之后,Agent 按语义把长文切成合适大小的片段,给每段补上来源 URL、标题、小节等元数据,返回一份结构化、带标签的数据。这份输出可以直接送进你的嵌入流程和向量库,不用再手工清洗一轮。
自建抓取清洗 vs. Agent 流水线
| 环节 | 自建爬虫 + 清洗脚本 | 用 AI Agent |
|---|---|---|
| 抓网页 | 写爬虫、处理分页/反爬 | 一句话调抓取工具返回结构化内容 |
| 抽正文 | 自己写规则剥 HTML | 抽取工具直接给正文 |
| 文档转换 | 为每种格式接不同库 | 转换工具统一成可切块格式 |
| 分段打标 | 手写切块逻辑和元数据 | Agent 按语义切块并补元数据 |
| 维护 | 源站改版就返工 | 改清单重跑同一流程 |
怎么开始
- 注册——新用户赠送 1,000 积分。
- 在 WorkBuddy、Trae 这类 Agent 里端内连接,或把一行 MCP 配置粘进 Claude Code、Cursor、VSCode。
- 用自然语言下指令,让 Agent 抓取、清洗、分段并交回可入库的语料。
常见问题
支持哪些数据源? 网页、文档站、PDF 等常见来源都可以。你在指令里列出 URL 或文档,Agent 用抓取和抽取类工具逐个处理。当前覆盖范围见工具库。
输出能直接入向量库吗? 可以。Agent 交回的是切好块、带元数据的结构化文本,直接送进你的嵌入流程即可,不必再单独清洗。
能增量更新吗? 能。把同一份数据源清单交给 Agent 定期重跑,只处理新增或变更的页面,知识库就能保持新鲜。
注册 · 浏览工具 · 接入你的 Agent
