登录社区云,与社区用户共同成长
邀请您加入社区
问题场景 在我们通过 Rest 或 UDF 发起较多请求时,执行脚本的时间会显著的增加 从图中可以看到我们执行完这个 cell 需要约 34 秒,但是他的数据量仅仅只有 36 条,可以说是非常的少,那么这是为什么呢? 解决方案 我们先说解决方案: 在之前的 Rest 和 UDF 发起请求后,使用 save 语法将获取的数据保存下来 这两行代码看似非常多余,但是再次执行试试呢? 脚本的运行时间只要
目标 给定一组 Byzer-lang 脚本,测试其行为的正确性能够轻易的添加 TestCase能够指定测试所需的数据 实体设计 LocalBaseTestSuite BeforeAll 设置 Working Directory设置启动参数和环境参数 (允许子类修改)拷贝测试数据至用户目录加载测试用例创建 Platform Manager创建 Spark Runtime加载 mlsql assert
Byzer-lang 2.1.0-SNAPSHOT及以上可用 Byzer-lang 支持 K8s 的 Readiness 探针。对应接口为 http://<ip>:<port>/health/readiness port 默认为 9003 . 如果已经初始化完成,处于可用状态,返回200,结果如下: { "status": "IN_SERVICE", "components": { "readi
Byzer-lang 2.1.0-SNAPSHOT及以上可用 Byzer-lang 支持 K8s 的 liveness 探针。对应接口为 http://<ip>:9003/health/liveness 如果处于可用状态,返回200,结果如下: { "status": "UP", "components": { "livenessProbe": { "status": "UP" } } } 如果
支持插件后,Byzer 需要存储插件的信息。同时一些内置的插件也需要有一些状态存储,比如 scheduler service。 目前 Byzer 提供了两种持久化存储的支持: Delta LakeMySQL 默认是delta lake. 开启方式为: -streaming.datalake.path [HDFS路径] 在 yarn 下部署,暂时推荐 yarn-client 模式,需要保证提交 By
该接口主要用来执行低延迟的预测任务,比如大模型推理等。 详细使用文档:https://byzer.csdn.net/6571626776f0791b6eca871e.html
该接口用来执行 Byzer-lang 语句。 Method: POST GET Content-Type: application/x-www-form-urlencoded 参数列表 参数说明示例值sql需要执行的 Byzer-lang 内容owner当前发起请求的租户jobType任务类型 script/stream/sql 默认scriptexecuteMode如果是执行 Byzer-lan
自定义 ET 插件开发 ET 概念 Byzer具备足够灵活的扩展性,能够同时解决 Data + AI 领域的问题。我们提供了大量的插件,方便用户在数据处理、商业分析和机器学习的不同场景中使用 Byzer。这些插件类型包括: DataSource、ET、Script、App,我们都可以灵活的通过离线或者线上的方式注册到 Byzer Engine 中使
设置 Intellij IDE 开发环境 首先 clone 项目到本地: git clone https://github.com/byzer-org/byzer-lang 项目有点大,需要有点耐心。 Byzer-lang 是属于 Maven项目,所以你的 Intellj Idea 需要安装如下插件: MavenJavaScala 其中 Maven 推荐推荐 3.6.3 版本。 当从 IDE 以