返回列表

AI技术机器之心

清华提出Jev-LDE:ICL示例只改一次,1-shot平均准确率就能暴涨

机器之心
阅读原文
清华提出Jev-LDE:ICL示例只改一次,1-shot平均准确率就能暴涨

AI摘要

清华大学研究团队提出局部示例编辑方法LDE及其小模型Jev-LDE,在目标大模型推理前对已检索的示例集合进行一次Keep、Delete或Replace编辑。在3个分类数据集和4个目标大模型上,平均单样本准确率从81.2%提升至88.1%,在48个配置中有46个优于Semantic TopK初始化结果。

AI洞察

Jev-LDE表明,对检索到的示例集合只做一次局部编辑,就能显著提升ICL效果,无需代价高昂的全组合搜索,从而降低大模型推理成本。该方法用1.7B小模型并以冻结目标模型的结果作为奖励进行训练,展示了轻量模型为大模型优化上下文的可行模式。构建RAG或少样本流程的企业,可将检索后的精炼作为高性价比的精度提升手段加以考虑。

以上为AI根据原文生成的分析,请结合原文判断。

全文请前往原文媒体(机器之心)阅读。 阅读原文

相关新闻

3