ARTICLE · 人工智能
使用 NVIDIA NeMo Retriever、托管 NIM、LanceDB、重排序和基于上下文的生成构建多模态 RAG 流水线
一语总结本教程提供了完整的代码驱动演练，展示如何使用 NVIDIA NeMo Retriever、托管 NIM、LanceDB、视觉语言重排序以及带内联引用的基于上下文的生成来构建多模态 RAG 流水线。
本文提供了构建高级多模态检索增强生成（RAG）系统的逐步教程。首先进行环境配置（Python 3.12）并通过 PDFium 离线提取 PDF 文本，随后利用托管的 NVIDIA NIM 接口扩展流水线，实现页面元素检测、OCR、表结构识别、图形元素提取、密集嵌入生成以及视觉语言重排序。处理后的多模态内容（文本、表格、图表、信息图）经去重、分块、嵌入后存入 LanceDB 向量索引。教程演示了密集检索、VL 重排序、基于元数据的过滤搜索以及使用托管 Nemotron LLM 并带编号来源引用的基于上下文的答案生成。最后通过一个简单的 recall@k 测试评估检索质量。所有代码均以可在 Colab 中直接运行的块提供，繁重的推理工作交由 NVIDIA 的托管服务完成，以保持运行时轻量。
- 使用托管 NVIDIA NIM 的端到端多模态摄取流水线。
教程展示了如何串联 NVIDIA 的托管端点进行布局检测、OCR、表格提取、图形分析、嵌入和重排序，避免本地 GPU 需求，同时处理来自 PDF 的文本、表格、图表和信息图。
- LanceDB 集成，包含去重、分块和 IVF_HNSW_SQ 索引。
提取的元素通过内容哈希和边界框 IoU 进行去重，使用 token 感知的分块（512/64）进行切分，随后通过 NIM 进行嵌入，并以量化的 IVF-HNSW 索引写入 LanceDB，实现高效的密集检索。
- 视觉语言重排序提升了相较于仅密集检索的检索相关性。
第二检索阶段使用 llama-nemotron-rerank-vl-1b-v2 模型对 top-k 候选进行重排序，利用视觉语言理解更好地将查询与多模态文档内容匹配。
- 基于上下文的生成，带内联引用和 recall@k 验证。
答案由托管的 Nemotron 49B LLM 在检索到的上下文约束下生成，并使用编号引用指向页码。通过一个小规模的 gold-set recall@5 检查量化检索效果。
- 实用且可复现的 Colab 笔记本，包含所有产出。
完整工作流在免费 Colab 环境（Python 3.12）中运行，生成可查询的 LanceDB 表和处理后文档的 Markdown 导出，便于立即用于文档智能应用。
使用 NVIDIA NeMo Retriever、托管 NIM、LanceDB、重排序和基于上下文的生成构建多模态 RAG 流水线
本文提供了构建高级多模态检索增强生成（RAG）系统的逐步教程。首先进行环境配置（Python 3.12）并通过 PDFium 离线提取 PDF 文本，随后利用托管的 NVIDIA NIM 接口扩展流水线，实现页面元素检测、OCR、表结构识别、图形元素提取、密集嵌入生成以及视觉语言重排序。处理后的多模态内容（文本、表格、图表、信息图）经去重、分块、嵌入后存入 LanceDB 向量索引。教程演示了密集检索、VL 重排序、基于元数据的过滤搜索以及使用托管 Nemotron LLM 并带编号来源引用的基于上下文的答案生成。最后通过一个简单的 recall@k 测试评估检索质量。所有代码均以可在 Colab 中直接运行的块提供，繁重的推理工作交由 NVIDIA 的托管服务完成，以保持运行时轻量。
文章金句
"通过完成此工作流，我们建立了一个可复用的基础，用于构建通过统一检索流水线处理文本、表格、图表和视觉元素的文档智能应用。
"我们使用 NeMo Retriever 协调提取、去重、分块、嵌入、向量数据库索引、检索和重排序，同时通过将模型推理委托给托管的 NVIDIA NIM 服务，使 Colab 运行时保持轻量。