做检索增强或摘要类小工具时,抓回来的 HTML 满是脚本、菜单和广告,喂给模型既浪费输入长度又不稳定。Jina Reader 的做法是按官网给出的地址形式访问目标网址,直接取回干净的正文文本,对外提供接口,面向做检索增强与内容抓取的开发者,不是给普通读者用的阅读器。注册后有可用额度,接口参数与限制以官网当前页面为准。它只解决取文这一步,需要登录才能看到的内容拿不到,动态渲染的页面还要另想办法。
主要功能
- 把网页正文抽成纯文本,去掉脚本、广告与导航
- 以接口形式提供,能嵌进自己的抓取与检索链路
- 输出可直接拼进提示词,减少无效输入长度
- 适合按一批链接批量取内容再统一处理
- 静态页面处理直接,不必自己写解析规则
适合谁用
- 给检索增强流程准备干净语料,来源是一堆普通网页
- 写小工具做文章摘要,需要先取到正文
- 批量收集一批链接的内容再做分析
- 调试模型输入时想排除 HTML 噪声
怎么开始
- 拿一个真实页面,按官网给的地址形式取一版纯文本
- 和原始页面比对,确认正文没漏段落也没混进菜单
- 在脚本里封装一层,加上重试与频率控制后再批量跑