登录社区云，与社区用户共同成长
邀请您加入社区
在 Byzer 中，大部分大语言模型都可以支持作为 embedding 模型，但是这些模型偏大，速度较慢以及占用过大的 GPU 资源。所以 我么也内置了两个专门的向量模型，分别是： m3ebge 启动和使用 m3e 向量模型 !byzerllm setup single; !byzerllm setup "num_gpus=0.5"; !byzerllm setup "maxConcurrency
我们可以直接像使用大模型那样使用知识库。 首先我们设置一个模板： -- 设置模板 set template='''User: You are a helpful assistant. Think it over and answer the user question correctly. {context} Please answer based on the content above? ：
我们的向量索引文件已经保存到数据湖，现在我们可以部署一个实例了。 -- 现在，我们可以把向量查询和大模型结合起来， -- 提供一个新的函数 qa !byzerllm setup single; !byzerllm setup "num_gpus=0"; -- 加载向量数据 load delta.`ai_model.byzer_docs_vdb_model` as byzer_docs_vdb_mo
前面我们启动了大语言模型，向量模型，现在我们可以准备数据，构建向量索引了。 准备数据 首先拉取 Byzer 文档： -- 拉取 byzer文档 !sh git clone "https://gitee.com/allwefantasy/byzer-doc.git" "/home/byzerllm/projects/temp/byzer-doc"; 接着加载 Byzer 文档： -- 加载Byzer
基于大模型的问答知识库第一步是需要启动两个模型服务： 大语言模型向量模型 大语言模型 比如我们启动一个 llama-30b-cn 模型，这个模型是一个中文的大语言模型，可以用来做问答。 -- 交互模型我们选择llama-30b-cn的模型 !byzerllm setup single; !byzerllm setup "num_gpus=5"; !byzerllm setup "maxConcur
Byzer 给知识库的全称定义是：使用用户私有数据基于大模型的问答知识库。这里有三个定语： 用户私有业务数据基于大模型问答模式 其核心能力，是大模型阅读业务数据，然后根据自己的理解回答用户的问题。让用户使用业务数据更加简单。 涉及到两个标准动作： 从业务数据自动召回上下文大模型基于上下文回答用户问题 构建知识库分成两部分： 构建向量存储：将业务数据切割成一个一个chunk,每个chunk 通过大模
