如何提高大模型在超长上下文的表现?Claude实验表明加一句prompt立即提升效果~
Claude 2.1版本的模型上下文长度最高拓展到200K,也是目前商用领域上下文长度支持最长的模型之一。但是,在模型发布不久之后,有人测试发现Claude 2.1模型在超过20K之后效果下降明显。但是Anthropic官方发布了一个说明解释这不是Claude模型本身在超长上下文的真实原因,主要是模型拒绝回答一些与文章主体不符的内容,实际中只需要一句prompt即可提高性能,将模型在超长上下文的水平准确率从27%提高到98%。

Claude2.1的超长上下文水平简介
Claude是Antropic公司发布的一个大语言模型,也是目前为止被大家认为GPT-4最强大的竞争对手之一。这个模型最大的特点就是在文档处理方面表现非常好。DataLearnerAI实际使用中发现它对文档的处理甚至比GPT-4更加优秀!
在上个月,Anthropic发布了Claude 2.1版本,这个版本的上下文长度拓展到了200K,是目前商用领域最长上下文模型之一。而有人测试实际结果并不好。
此前,有用户通过在超长上下文中注入一段特别的句子让模型回答用来测试大模型在超长上下文条件的表现(具体测试参考:GPT-4-Turbo的128K长度上下文性能如何?超过73K Tokens的数据支持依然不太好!)。发现GPT-4-128K模型在超过73K之后模型的性能开始下降:





