RAG VS FineTune

如果有用到外部数据，应该选择RAG。RAG 系统旨在通过在生成响应之前从知识源检索相关信息来增强 LLM 的能力。因此，这种技术非常适合需要查询数据库、文档或其他结构化/非结构化数据存储库的应用。可以对检索器和生成器组件进行优化，以充分利用这些外部资源。虽然可以对 LLM 进行微调，以学习一些外部知识，但这样做需要从目标领域中获取大量带标签的问答对数据集。这个数据集必须随着基础数据的变化而更新，因此对于频繁变化的数据源来说并不实用。微调过程也没有明确模拟查询外部知识所涉及的检索和推理步骤。

采用微调的原因在于它能够使 LLM 的行为适应特定的细微差别、语调或术语。如果我们想让模型听起来更像医学专家，用诗歌风格写作，或使用特定行业的行话，那么对特定领域数据进行微调就可以实现这些定制。这种影响模型行为的能力对于与特定风格或专业领域保持一致至关重要的应用来说至关重要。RAG 虽然在整合外部知识方面功能强大，但主要侧重于信息检索，不会根据检索到的信息调整其语言风格或特定领域。它将从外部数据源中提取相关内容，但可能不会像微调模型那样展现出量身定制的细微差别或领域专长。

通过将模型建立在特定领域的训练数据基础上，微调可以在一定程度上帮助减少幻觉。然而，当面对不熟悉的输入时，模型仍有可能捏造反应。因此，需要对新数据进行再训练，以不断减少错误的编造。RAG 系统从本质上来说不容易产生幻觉，因为它们的每个回答都以检索到的证据为基础。在生成器构建答案之前，检索器会从外部知识源中识别相关事实。这一检索步骤起到了事实检查机制的作用，降低了模型的幻觉能力。生成器必须在检索到的上下文支持下合成一个答案。

如果我们使用的数据集有限，微调带来的改进可能微乎其微。在某些情况下，稀缺的数据集甚至可能导致过拟合，即模型在训练数据上表现良好，但在未见过的或真实世界的输入上却表现吃力。相反，RAG 系统独立于训练数据，因为它们利用外部知识源检索相关信息。即使我们没有广泛的标注数据集，RAG 系统也能通过访问和吸收外部数据源的洞察力来胜任工作。检索和生成的结合确保了系统即使在特定领域训练数据稀少的情况下也能保持信息灵通。

在特定数据集上对 LLM 进行微调，意味着模型的知识成为训练时该数据的静态快照。如果数据经常更新、变化或扩展，模型很快就会过时。为了让 LLM 在这种动态环境中保持最新，我们必须经常对其进行重新训练，这个过程既耗时又耗费资源。此外，每次迭代都需要仔细监控，以确保更新后的模型在不同场景下仍然表现良好，并且不会产生新的偏差或理解上的差距。相比之下，RAG 系统在动态数据环境中具有先天优势。它们的检索机制会不断查询外部资源，确保为生成响应而获取的信息是最新的。随着外部知识库或数据库的更新，RAG 系统会无缝整合这些变化，保持其相关性，而无需频繁地重新训练模型。

对 LLM 进行微调虽然功能强大，但就像一个黑盒子，使其反应背后的推理更加不透明。当模型将数据集的信息内部化时，辨别每个响应背后的确切来源或推理就变得非常具有挑战性。这会让开发人员或用户难以信任模型的输出结果，尤其是在关键应用中，了解答案背后的 "原因 "至关重要。而 RAG 系统则具有一定程度的透明度，这是仅有的微调模型所不具备的。鉴于 RAG 的两步性质--检索和生成--用户可以窥探整个过程。检索组件允许检查哪些外部文件或数据点被选为相关。这就提供了一个有形的证据或参考线索，可以对其进行评估，以了解建立响应的基础。在要求高度负责或需要验证生成内容的准确性的应用中，将模型的答案追溯到特定数据源的能力是非常宝贵的。