网页转干净正文:给 RAG/Agent 喂可读内容
把满是广告和导航的网页一键变成干净可读的正文。给 AI Agent 一个网址,它就抽出正文主体、去掉广告与导航,返回可直接分段、入向量库的结构化文本。

本文中的工具名仅供参考,实际工具可能已更新或更名。实施时请以工具市场中的最新工具为准。
本文要点
- 一句话把原始网址变成干净的正文文本
- 自动去掉广告、导航和模板噪声,只留可读主体
- 输出结构化文本,可直接分段入向量库
本文用到的工具
网页转正文,为什么比想象中难
每条 RAG 流水线迟早都会撞上同一堵墙:网页不干净。一个文章页里塞满了导航栏、Cookie 提示、订阅弹窗、相关推荐、评论组件,还有三种广告,把你真正想要的那几百字围在中间。把这种原始 HTML 直接丢进分段器,你的向量库里存的就全是"立即订阅""你可能还喜欢",而不是正文。检索质量直线下降,你的下午全耗在写一堆一改版就失效的 CSS 选择器和正则上。
难点从来不在"抓到页面"——curl 就能抓。难点在于跨成千上万套不同结构的站点,稳定地把正文主体剥离出来。AI Agent 把这件事压扁:你把网址交给它,它调用网页抽取类工具,返回已经去掉周边噪声的可读正文。你全程待在编辑器或对话窗口里,拿到的就是可以直接入库的文本。
这个工作流分四步
- 交出网址——用自然语言把想要的页面给 Agent。
- 抽取干净正文——抽取工具取出文章主体,丢掉广告、导航和模板。
- 去噪与分段——Agent 清掉残留碎片,把正文切成连贯的段落。
- 结构化入库——Agent 返回干净、分好段的文本,可直接分块灌进向量库或知识库。
每一步怎么做
第一步:给 Agent 一个网址
直接对 Agent 说:用 ae 抓取 https://example.com/blog/post,返回干净的正文,不要广告和导航。 Agent 会解析这句话并挑出对应的抽取工具,不用写抓取代码,也不用调选择器。
第二步:抽取可读主体
Agent 调用网页抽取类工具(如 ae_tavily_extract、ae_exa_web_fetch_exa 或 ae_linkup_fetch)把正文从页面里取出来。遇到脚本渲染的重页面,可先用抓取类工具(如 ae_dumplingai_scrape_webpage)取到完整渲染后的文档。无论哪条路,拿回的都是文章主体,而不是外围的框架。
第三步:去噪与分段
拿到主体后,Agent 对它做判断:删掉零散的"分享到"碎片、合并被打断的段落、把标题保留成分节标记,再把正文切成连贯的片段。这一步的判断是裸抽取器自己做不到的——它把"大体干净"变成"可以直接分块"。
第四步:结构化入库
最后 Agent 以可预期的结构返回文本——标题、分节、正文——你可以按段落或标题分块,直接推进向量库。因为跨站点输出结构一致,你的入库代码保持简单,不必为每个来源写特例。
几种抽取工具对比
| 工具类型 | 适用场景 | 典型输出 |
|---|---|---|
快速正文抽取(ae_tavily_extract) |
博客、新闻、文档页 | 正文文本,轻量标记 |
搜索原生取正文(ae_exa_web_fetch_exa) |
搜索结果页、清洗后主体 | 可读正文 |
内容抓取(ae_linkup_fetch) |
通用网址、混合内容 | 抽取出的可读内容 |
整页抓取(ae_dumplingai_scrape_webpage) |
脚本重 / 动态页面 | 渲染后的完整文档,供再抽取 |
怎么开始
- 注册——新用户赠送 1,000 积分。
- 在 WorkBuddy、Trae 这类 Agent 里端内连接,或把一行 MCP 配置粘进 Claude Code、Cursor、VSCode。
- 用自然语言下指令,让 Agent 抓取、清洗、结构化。
常见问题
能去掉广告和导航吗? 能。抽取工具会隔离出正文主体,把导航、广告、Cookie 提示和相关推荐都排除,入库的就是正文,而不是页面框架。
输出能直接进向量库吗? 基本可以——Agent 返回干净、分好节的文本,你按段落或标题分块再做向量化即可,不用再写 HTML 清洗步骤。
支持哪些站点? 大部分公开的文章、博客、新闻和文档页都支持。遇到动态或脚本渲染的页面,先让 Agent 走整页抓取工具,再从渲染结果里抽取。
注册 · 浏览工具 · 接入你的 Agent
