长文本能力会不会杀死RAG

随着 Gemini 超100万上下文的推出，推特上关于长文本能力会不会杀死RAG的讨论还是挺多的。围绕 RAG vs 长文本的成本的讨论还比较多，例如图1，但也有说法认为，长文本的成本会慢慢下降。

看到一个还不错的长推特评论，来自 Snorkel AI 首席执行官Alex Ratner（注：请自行判断其观点可信度）：

「简要看法：

• RAG 仍将用于复杂的生产系统

• 较长的上下文模型将占用较简单/预生产的用例

• 无论如何，关键的一步仍然是–根据良好的数据调整LLM 系统。

• RAG仍将用于复杂的生产系统

正如许多人指出的那样，从成本、延迟和规模的角度来看，RAG仍然是胜出的。
更持久的是：RAG方法是模块化的。
因此，对于更复杂、规模化和/或生产环境，RAG可能会继续存在。

• 较长的上下文模型将吞噬较简单/预生产的用例

然而，长上下文模型肯定会占用大量的简单用例和预生产开发（今天的很多AI）。

特别是考虑到 post-transformer（例如 SSM 架构）的进展情况…

• 关键步骤仍然是在良好的数据上调整LLM系统

无论是微调/对齐 LLM 还是 LLM + RAG 系统，关键在于您使用的数据以及您如何开发它！」