其他

给 RAG 喂数据:用 Agent 抓网页/文档清洗入库

用 AI Agent 把 RAG 数据准备压成一条链——抓网页、抽正文、转文档格式,再分段打标,产出能直接入向量库的干净语料,告别手写爬虫和清洗脚本。

给 RAG 喂数据:用 Agent 抓网页/文档清洗入库

本文中的工具名仅供参考,实际工具可能已更新或更名。实施时请以工具市场中的最新工具为准。

本文要点

  • 一句话让 Agent 抓网页、抽正文、转文档,省掉自写爬虫
  • 抓取到清洗一条链,产出结构化、可直接入向量库的语料
  • 同一流程可按清单增量重跑,保持知识库新鲜

本文用到的工具

为什么 RAG 的数据准备最磨人

做 RAG 时,模型和向量库都不是瓶颈,真正拖进度的是"喂进去的数据"。源头五花八门:产品文档站、博客文章、PDF 手册、帮助中心页面。每一类都要单独处理——给网页写爬虫、跟反爬和分页死磕、从 HTML 里剥出正文、再把 PDF 转成能切块的纯文本。等你把这堆脚本拼起来,源站改了版,整条链又得返工。

最后真正进向量库的,常常是夹着导航栏、页脚、广告位的脏文本,检索质量从源头就打了折。AI Agent 能把这条循环压扁:你用一句话描述数据源和目标,Agent 依次调用抓取、抽取、转换类工具,把清洗后的结构化结果交回来,你全程待在编辑器或对话窗口里。

这个工作流分四步

  1. 给数据源清单——把要入库的 URL、文档、站点段落交给 Agent。
  2. 抓取内容——用网页抓取类工具把页面原文拉下来。
  3. 抽正文、转格式——剥掉模板噪声,把异构文档统一成干净文本。
  4. 分段打标、产出——Agent 按语义切块、补元数据,交出可直接入向量库的语料。

每一步怎么做

第一步:描述任务、给清单

直接对 Agent 说:用 ae 把 example.com 文档区这几页抓下来,抽正文、去掉导航和页脚,按小节切块给我。 Agent 解析这句话并挑出对应工具,你不用对接任何 API,也不用管分页和重试。

第二步:抓网页

Agent 调用网页抓取类工具(如 ae_firecrawl_scrape)把目标页面的内容拉回来。这类工具直接返回适合喂模型的结构化内容,省掉你自己维护爬虫、处理渲染和反爬的那部分活。

第三步:抽正文、转文档格式

拿到原始页面后,Agent 调用正文抽取类工具(如 ae_tavily_extract)把真正的正文从模板里剥出来,丢掉导航、侧边栏和页脚噪声。遇到 PDF 或其他格式的文档,再调用文档转换类工具(如 ae_dumplingai_convert_to_pdf)把异构来源统一成可切块的格式。这一步决定了入库语料的干净程度,也直接决定后续检索的召回质量。

第四步:分段、打标、产出

正文干净之后,Agent 按语义把长文切成合适大小的片段,给每段补上来源 URL、标题、小节等元数据,返回一份结构化、带标签的数据。这份输出可以直接送进你的嵌入流程和向量库,不用再手工清洗一轮。

自建抓取清洗 vs. Agent 流水线

环节 自建爬虫 + 清洗脚本 用 AI Agent
抓网页 写爬虫、处理分页/反爬 一句话调抓取工具返回结构化内容
抽正文 自己写规则剥 HTML 抽取工具直接给正文
文档转换 为每种格式接不同库 转换工具统一成可切块格式
分段打标 手写切块逻辑和元数据 Agent 按语义切块并补元数据
维护 源站改版就返工 改清单重跑同一流程

怎么开始

  1. 注册——新用户赠送 1,000 积分。
  2. 在 WorkBuddy、Trae 这类 Agent 里端内连接,或把一行 MCP 配置粘进 Claude Code、Cursor、VSCode。
  3. 用自然语言下指令,让 Agent 抓取、清洗、分段并交回可入库的语料。

常见问题

支持哪些数据源? 网页、文档站、PDF 等常见来源都可以。你在指令里列出 URL 或文档,Agent 用抓取和抽取类工具逐个处理。当前覆盖范围见工具库。

输出能直接入向量库吗? 可以。Agent 交回的是切好块、带元数据的结构化文本,直接送进你的嵌入流程即可,不必再单独清洗。

能增量更新吗? 能。把同一份数据源清单交给 Agent 定期重跑,只处理新增或变更的页面,知识库就能保持新鲜。


注册 · 浏览工具 · 接入你的 Agent