推理接口 API：/model/predict 接口

该接口主要用来执行低延迟的预测任务，比如大模型推理等。详细使用文档：https://byzer.csdn.net/6571626776f0791b6eca871e.html

csdndevpressbyzer

25人浏览 · 2023-12-11 14:11:48

csdndevpressbyzer · 2023-12-11 14:11:48 发布

该接口主要用来执行低延迟的预测任务，比如大模型推理等。

详细使用文档： https://byzer.csdn.net/6571626776f0791b6eca871e.html

一门面向 Data 和 AI 的低代码、云原生的开源编程语言

无需安装部署，在线快速体验 Byzer

更多推荐

byzer plugin install log

Byzer 白泽

函数实现越通用越好？来看看 Byzer-LLM 的 Function Implementation 带来的编程思想大变化...

前言Function Calling 是 OpenAI 首先提出来的一个非常有用的功能，实现了大模型对函数的调用能力。Byzer-LLM 给开源模型也带来了 Function Calling 实现。在这个基础上，我们还拓展了 Respond With Class 功能，允许大模型输出标准的Python对象，进步控制了大模型的输出能力。这两个能力参看：给开源大模型带来Function Callin.