基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型助力电商企业
基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型助力电商企业
假设有一家电商企业,员工大概20-30人,企业是在淘宝等电商平台买衣服,目前在淘宝上已经上架十万种服饰, 之前淘宝限制服饰的标题描述字数,所以写的特别精简。以该公司售卖的阔腿裤为例,目前标题都是这样的:
类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤
现在淘宝突然放开了,允许200字。那么这件事要不要做呢?肯定要做的,企业希望新的描述可以更好的吸引消费者。这个时候人工去写这十万个描述么?在以前,可能真需要,因为AI很烂,而且性价比还低,还要招算法工程师。那现在呢?老板找了一个研发,说两天之内把这事搞定。当然了,研发有两条路可以走,第一条是去调现成的大模型API。这个方式第一个是要花钱,第二个发送的数据很可能有被买卖的风险。 所以他选择了第二条路,找了一个开源的大模型,基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型,部署成函数,再跑一把十万条记录,效果还不错。第二天,他把效果导出成excel给到老板看。老板满意,接着他用一条Byzer 指令把新的描述更新到了数据库,此时完成了整个业务场景。
接下来,我们看一下Byzer-LLM是如何利用简短的几十行代码完成这个业务的:
至此我们就把chatglm部署成服务,Byzer 会把模型部署成 SQL 函数并支持批处理,流式计算,接下来我们可以验证效果:
该函数还通过 API 供外部应用使用:
(1)curl调用
(2)http调用:
其实,不仅仅是大模型部署,byzer-llm还支持大模型微调,并且还是十几行代码搞定。观察到,chatglm-6B生成的语句不是最优,下面将从微调的角度继续优化该案例。
注意到原生的chatglm-6B生成的内容并不是令我们最满意的,假设企业有一些优秀的服饰标题数据,现在想要把这些数据喂给chatglm-6B,让大模型有更多的知识,从而生成更优质的标题,这就需要对chatglm-6B进行微调。
假设我们的数据是以excel表的形式存在的:
( 当然这里仅仅只有我手写的两条数据,我们假设数据很多很多)
数据有了,接下来我们利用byzer把数据加载成数据表
通过对前面数据的预处理,接着我们就可以直接把这些数据注入到大模型里面了。注入完成后会产生一个新的大模型,我们同样可以保存到数据湖按库表方式来管理。
自此,我们利用自己的数据对大模型微调完毕,并产生了新的模型权重。接下来我们对比效果:(当然,由于我们数据量几乎为0,所以微调前后的效果几乎无法有肉眼量化。)
可见,利用byzer对大模型部署,微调都十分简便,仅仅需要几行代码就可以搞定。后续将会继续优化该案例,使用chatglm2-6B继续优化。
更多推荐
所有评论(0)