基于Emebdding的检索增强生成效果不同模型对比:重排序十分有利于检索增强生成的效果
基于Embedding模型的大语言模型检索增强生成(Retrieval Augmented Generation,RAG)可以让大语言模型获取最新的或者私有的数据来回答用户的问题,具有很好的前景。但是,检索的覆盖范围、准确性和排序结果对大模型的生成结果有很大的影响。Llamaindex最近对比了主流的embedding模型和reranker在检索增强生成领域的效果,十分值得关注参考。

检索增强生成(RAG)简介
基于Embedding的大语言模型检索增强生成是指结合了检索(Retrieval)和生成(Generation)两种方法的自然语言处理系统。这种方法首先通过embedding检索与输入相关的信息,然后利用这些信息作为大语言模型的上下文信息回答用问题。
在上图中,我们可以看到,外部数据通过Embedding模型存储到向量数据库中。当用户输入查询内容时候,经过embedding模型和向量数据库的内容匹配,得到Top-n的结果后一起输入给大模型进行生成操作。因此,必须在检索中准确匹配到相关的内容才可以有更好地生成。尽管检索阶段。否则会漏掉相关重要信息。

