Byzer-LLM 一旦完成模型部署，你将会得到一个函数，该函数可以应用于Byzer-lang中的 ETL, 流式计算等形态的任务中。 与此同时，Byzer-LLM 也暴露出一个 endpoint, 方便你通过 http 协议获得交互。

地址形式为：

http://127.0.0.1:9003/model/predict

我们以Python为例，调用方式如下：

import requests

# select finetune_model_predict(array(feature)) as a
def request(sql:str,json_data:str)->str:
    url = 'http://127.0.0.1:9003/model/predict'
    data = {
        'sessionPerUser': 'true',
        'sessionPerRequest': 'true',
        'owner': 'william',
        'dataType': 'string',
        'sql': sql,
        'data': json_data
    }
    response = requests.post(url, data=data)
    if response.status_code != 200:
        raise Exception(response.text)
    return response.text

def chat(s:str,history:List[Dict[str,str]])->str:    
    json_data = json.dumps([
        {"instruction":s,"history":newhis}
    ])
    ## chat 是我们注册的模型函数， feature 就是 json_data里的每一条记录
    response = request('''
     select chat(array(feature)) as value
    ''',json_data)   

    ## 解析结果的方式 
    t = json.loads(response)
    t2 = json.loads(t[0]["value"][0])
    return t2[0]["predict"]    

POST 请求参数介绍：

其中 data 是 json 字符串结构如下：