LLM 模块介绍

Byzer-LLM Finetune/Deploy 大模型主要通过 LLM 模块。 比如部署一个模型的典型示例如下：

-- 全局环境参数
!python conf "rayAddress=127.0.0.1:10001";
!python conf "pythonExec=/home/winubuntu/miniconda3/envs/byzerllm-desktop/bin/python";
!python conf "dataMode=model";
!python conf "runIn=driver";

!python conf "num_gpus=0.4";
!python conf "maxConcurrency=1";
!python conf "standalone=true";

!python conf "schema=file";

-- 允许该模块需要的参数
run command as LLM.`` where 
action="infer"
and pretrainedModelType="chatglm"
and localPathPrefix="/my8t/byzerllm/jobs"
and localModelDir="/my8t/byzerllm/jobs/checkpoint-17000/pretrained_model"
and modelWaitServerReadyTimeout="300"
and udfName="chat"
and modelTable="command";

和标准SQL 语句很像，运行 LLM 模块，然后参数包含两部分：

1. 全局环境变量，使用 !python conf 来配置。
2. 模块参数，放在where条件后面。

在这段代码里，你只需要修改 localModelDir 指向一个正确的chatglm模型地址，就能部署该模型。

简化全局参数配置

用户也可以使用如下代码简化全局参数配置：

-- 全局环境参数
!byzerllm setup single;
!byzerllm setup "num_gpus=0.4";

-- 允许该模块需要的参数
run command as LLM.`` where 
action="infer"
and pretrainedModelType="chatglm"
and localPathPrefix="/my8t/byzerllm/jobs"
and localModelDir="/my8t/byzerllm/jobs/checkpoint-17000/pretrained_model"
and modelWaitServerReadyTimeout="300"
and udfName="chat"
and modelTable="command";

这里 !byzerllm setup single; 会设置一些默认参数。用户可以执行这条语句获得所有模型配置值。 接着单独设置pythonExec，num_gpus 覆盖默认参数。最终达到和第一个示例完全一样的效果。

下面我们详细介绍上面的参数。

LLM 参数介绍

全局环境变量

当 num_gpus 是小数时，比如启动A模型 设置为0.5 他会给A模型看到第一块GPU， 接着：

1. 启动B模型，还是设置为0.5, 那么他一算，第一块GPU 应该还够，会继续让A模型看到第一块GPU，这样两个模型都跑在同一块GPU上了。
2. 启动B模型，如果你设置为 0.6, 他一算，发现超了，于是让B 看到第二块GPU ，B就跑在第二块GPU上了。

通过合适的启动顺序和 num_gpus 配比，可以充分利用有限的GPU显存。

通用参数

注意1：modelTable 和 localModelDir 两个参数本质都是指定模型文件在哪里。如果都被配置了，会优先使用 localModelDir。 modelTable 需要使用模型分发，速度较慢。如果单机的话，建议使用 localModelDir 参数。当使用 localModelDir的时候，此时将 modelTable 参数配置成 command。

注意2： 对于 大模型 SaaS 服务，部署时需要将 num_gpus 设置为 0 (通过命令： !python conf "num_gpus=0"; 来完成), 避免占用 GPU 资源。

部署参数

sass/chatglm 独有参数：

微调参数

chatglm专属：

删除大模型实例

!byzerllm model remove chat;

这样就可以删除之前部署的 chat 模型函数。