高级增加检索LlamaIndex
高级增加检索LlamaIndex
高级检索增强生成(RAG)技术解决了原始RAG管道的局限性。
最近一项关于RAG的调查将先进的RAG技术分为检索前、检索和检索后优化。
最新文章概述了先进的RAG技术:
🦙 预检索包括滑动窗口、增强数据粒度、添加元数据或优化索引结构等技术,如句子窗口检索。
🦙 检索包括优化嵌入模型(例如,微调)或混合搜索等高级检索技术
🦙 后期检索包括重新排序或提示压缩。
我们还使用LlamaIndex实现了一个简单的RAG管道,然后使用以下方法将其增强为高级RAG管道:
*语句窗口检索(作为检索前的优化)
*混合搜索(作为检索优化)
*重新排序(作为检索后优化)
Paper: https://arxiv.org/pdf/2312.10997.pdf
Jupyter Notebooks: https://github.com/weaviate/recipes/tree/main/integrations/llamaindex/retrieval-augmented-generation