搜索抓取

网页转干净正文:给 RAG/Agent 喂可读内容

把满是广告和导航的网页一键变成干净可读的正文。给 AI Agent 一个网址,它就抽出正文主体、去掉广告与导航,返回可直接分段、入向量库的结构化文本。

网页转干净正文:给 RAG/Agent 喂可读内容

本文中的工具名仅供参考,实际工具可能已更新或更名。实施时请以工具市场中的最新工具为准。

本文要点

  • 一句话把原始网址变成干净的正文文本
  • 自动去掉广告、导航和模板噪声,只留可读主体
  • 输出结构化文本,可直接分段入向量库

本文用到的工具

网页转正文,为什么比想象中难

每条 RAG 流水线迟早都会撞上同一堵墙:网页不干净。一个文章页里塞满了导航栏、Cookie 提示、订阅弹窗、相关推荐、评论组件,还有三种广告,把你真正想要的那几百字围在中间。把这种原始 HTML 直接丢进分段器,你的向量库里存的就全是"立即订阅""你可能还喜欢",而不是正文。检索质量直线下降,你的下午全耗在写一堆一改版就失效的 CSS 选择器和正则上。

难点从来不在"抓到页面"——curl 就能抓。难点在于跨成千上万套不同结构的站点,稳定地把正文主体剥离出来。AI Agent 把这件事压扁:你把网址交给它,它调用网页抽取类工具,返回已经去掉周边噪声的可读正文。你全程待在编辑器或对话窗口里,拿到的就是可以直接入库的文本。

这个工作流分四步

  1. 交出网址——用自然语言把想要的页面给 Agent。
  2. 抽取干净正文——抽取工具取出文章主体,丢掉广告、导航和模板。
  3. 去噪与分段——Agent 清掉残留碎片,把正文切成连贯的段落。
  4. 结构化入库——Agent 返回干净、分好段的文本,可直接分块灌进向量库或知识库。

每一步怎么做

第一步:给 Agent 一个网址

直接对 Agent 说:用 ae 抓取 https://example.com/blog/post,返回干净的正文,不要广告和导航。 Agent 会解析这句话并挑出对应的抽取工具,不用写抓取代码,也不用调选择器。

第二步:抽取可读主体

Agent 调用网页抽取类工具(如 ae_tavily_extract、ae_exa_web_fetch_exa 或 ae_linkup_fetch)把正文从页面里取出来。遇到脚本渲染的重页面,可先用抓取类工具(如 ae_dumplingai_scrape_webpage)取到完整渲染后的文档。无论哪条路,拿回的都是文章主体,而不是外围的框架。

第三步:去噪与分段

拿到主体后,Agent 对它做判断:删掉零散的"分享到"碎片、合并被打断的段落、把标题保留成分节标记,再把正文切成连贯的片段。这一步的判断是裸抽取器自己做不到的——它把"大体干净"变成"可以直接分块"。

第四步:结构化入库

最后 Agent 以可预期的结构返回文本——标题、分节、正文——你可以按段落或标题分块,直接推进向量库。因为跨站点输出结构一致,你的入库代码保持简单,不必为每个来源写特例。

几种抽取工具对比

工具类型 适用场景 典型输出
快速正文抽取(ae_tavily_extract) 博客、新闻、文档页 正文文本,轻量标记
搜索原生取正文(ae_exa_web_fetch_exa) 搜索结果页、清洗后主体 可读正文
内容抓取(ae_linkup_fetch) 通用网址、混合内容 抽取出的可读内容
整页抓取(ae_dumplingai_scrape_webpage) 脚本重 / 动态页面 渲染后的完整文档,供再抽取

怎么开始

  1. 注册——新用户赠送 1,000 积分。
  2. 在 WorkBuddy、Trae 这类 Agent 里端内连接,或把一行 MCP 配置粘进 Claude Code、Cursor、VSCode。
  3. 用自然语言下指令,让 Agent 抓取、清洗、结构化。

常见问题

能去掉广告和导航吗? 能。抽取工具会隔离出正文主体,把导航、广告、Cookie 提示和相关推荐都排除,入库的就是正文,而不是页面框架。

输出能直接进向量库吗? 基本可以——Agent 返回干净、分好节的文本,你按段落或标题分块再做向量化即可,不用再写 HTML 清洗步骤。

支持哪些站点? 大部分公开的文章、博客、新闻和文档页都支持。遇到动态或脚本渲染的页面,先让 Agent 走整页抓取工具,再从渲染结果里抽取。


注册 · 浏览工具 · 接入你的 Agent