知识库优化思维导图

U764734927

2024-06-25

浏览量: 65

知识库优化

知识库

性能优化

效果优化

性能优化，效果优化等内容讲解

树图思维导图提供《知识库优化》在线思维导图免费制作，点击“编辑”按钮，可对《知识库优化》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：bff357b9181ba2ec79cc5e1e2a22e6eb

思维导图大纲

相关思维导图模版

知识库优化思维导图模板大纲

性能优化

当前的问题

当用户插入几万字文本后，由于要把文本拆分成多块，再对每块文本调用第三方embedding接口进行embedding，如果其中任何一个文本块由于网络问题导致调用接口失败，就会导致整篇文章失败。文字越多，分成的块数也越多，失败的概率也越大

优化方向

知识库的embedding使用部署在本地的bge embedding模型（中英文使用bge-m3,日语还是使用原来的embedding方法，因为bge的embedding模型在日语上效果不理想）。由于使用了部署在本地的embedding模型，就不存在网络问题导致embedding不成功的问题。（只可能是文本的编码问题才可能会导致embedding失败）

效果优化

召回效果优化

语义检索

现在的基于embedding的检索

字符串模糊匹配检索

准备使用

文章切片

试验多种切片方式

召回时候，将召回片段的前后各加一个片段一起放入召回

LLM生成效果优化

当前主要存在的问题

根据召回的文章片段，回答用户问题时候，会少说、胡说

解决方法

常规方法（微调模型）

收集少说或者乱说的文章片段、用户的问题和LLM的回答

将答案人工纠正

然后对LLM进行微调

缺点：

人工纠正和标注工作量比较大

我们面对的行业也不固定，有医疗、教育、园区等，而且每个行业的每家公司，可能对同一段文本和问题，答案也相差较大

我们自己的方法（在不同时刻选用不同的模型，尽最大程度在不同情况下选用当时最好的模型去生成）

分析现状

知识库回答是流式的，不可能等流式结束再对回答内容用后处理进行判断答案是否靠谱，这会让回答时间变慢。同理，也不可能使用非流式，也会变慢

提示词控制大模型不乱说，也有极限，天花板比较低

解决思路

语义缓存+三个臭皮匠胜过一个诸葛亮的方法

1.针对同一个uid,如果命中知识库，启用语义缓存

语义缓存的前提

对要放入语义缓存的历史答案经过一个agent过滤

判断LLM的答案与用户的问题和文章的片段是高度相关，且答案内容语法正确和语义完整，没有胡说的情况才放入语义缓存

2.准备多个大模型（这些大模型需要效果在同一个水平线，但是不是同一家的，目的是让各个大模型势均力敌，但侧重点不一样）

每次回答记录各个大模型的答案和问题以及文章片段，并离线做一个agent

离线的agent的作用

判断LLM的答案与用户的问题及文章片段的相似度，或者其他的回答质量的评分方法

得到一个相似度或者评分，后面叫评分

用户的问题如果命中知识库

判断是否命中语义缓存（其实判断是根据句子相似度去判断的）

命中了（相似度高于一个比较高的阈值s1）

给出答案

没命中（相似度低于那个比较高的阈值s1）

再卡一个相对低一些的阈值s2（也就是s1>s2）

当相似度大于等于s2

查看最相似的那个句子对应的答案是哪个LLM大模型生成的，就选择用那个大模型来进行本次的答案生成

当相似度小于s2

选用最近一段时间或者累计历史上，评分最高的LLM大模型进行本次的答案生成

查看更多

生产现场改善管理思维导图

树图思维导图提供《生产现场改善管理》在线思维导图免费制作，点击“编辑”按钮，可对《生产现场改善管理》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：1c8aa3e29c0209365253e13061dcf323

生产现场改善管理

药品管理流程图思维导图

树图思维导图提供《药品管理流程图》在线思维导图免费制作，点击“编辑”按钮，可对《药品管理流程图》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：f222c1289ccf7a54343be9ad83a598a0

药品管理流程图

思维导图模板

正文

相似思维导图模版

第1章 Java开发入门思维导图

2024-06-24 11:18:01

第1章 Java开发入门

技术路线思维导图

2024-06-25 15:05:17

技术路线

中国广告行业平台的营销脑图思维导图

2023-11-29 20:04:19

中国广告行业平台的营销脑图

Linux基础知识脑图思维导图

2023-11-30 19:58:42

Linux基础知识脑图

Python金融大数据分析与应用教学思维导图

2024-03-05 09:45:49

Python金融大数据分析与应用教学思维导图

PHP数组思维脑图思维导图

2024-04-11 21:47:18

PHP数组思维脑图

思维导图模版推荐

和创新人入职培训学习总结（6-25）思维导图

2024-06-25 18:39:46

和创新人入职培训学习总结（6-25）

应用文写作思维导图

2024-06-25 18:50:17

应用文写作

药品管理流程图思维导图

2024-06-25 18:50:17

药品管理流程图

固定资产思维脑图思维导图

2024-06-25 18:25:13

固定资产思维脑图

磁悬浮产品应用思维导图

2024-06-25 17:43:03

磁悬浮产品应用

数字化转型与多种技术融合思维导图

2024-06-25 16:55:15

数字化转型与多种技术融合

首页

我的文件

我的团队

个人中心