Byzer All In One 版本是在 Byzer Server 产品包的基础上,内置包含了 JDK8,Byzer CLI 以及 Byzer Extensions , 给用户提供了单机启动 Byzer 引擎服务以及在 Hadoop 集群启动 Byzer 引擎服务的能力。

下载 Byzer All In One

请前往 Byzer 官方下载站点 下载对应的 Byzer All In One 产品包。

选择版本

如何选择对应的 Byzer 引擎版本说明,请参考 Byzer 引擎部署指引 中 Byzer 引擎版本说明 一节,一般情况下,我们推荐使用最新的正式发布版本

产品包名说明

  • Byzer 2.3.0 版本及之后发布的版本,Byzer All In One 包名规范为 byzer-all-in-one-{os}-{spark-vesion}-{byzer-version}.tar.gz
  • Byzer 2.3.0 以前的版本,Byzer All In One 的包名规范为 byzer-lang-{os}-{spark-vesion}-{byzer-version}.tar.gz

其中 {os} 为对应的操作系统版本:

  • linux-amd64: 64 位 linux 操作系统
  • darwin-amd64: macOS
  • win-amd64: 64 位 windows 操作系统(仅支持命令行的交互

{spark-version} 是 Byzer 引擎内置的 Spark 版本,{byzer-version} 是 Byzer 的版本。

Byzer All In One 暂时只提供了适配 Spark 3.1.1 版本的安装包

下载并安装

这里我们以 Linux 环境和 Byzer 2.3.0 版本举例说明, 访问 https://download.byzer.org/byzer/2.3.0/ ,下载 Byzer 2.3.0 Byzer All In One 的产品包 byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0.tar.gz

此处我们以目录 /home/byzer 为例,下载安装包至此目录,解压安装包

$ tar -zxvf byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0.tar.gz 
$ cd byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0

此处我们解压后的目录为 /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0,解压后的目录结构如下

|-- bin                # 可执行脚本
|-- conf               # Byzer 引擎的配置目录
|-- jdk8               # 内置的 Open JDK 1.8
|-- libs               # Byzer 引擎的依赖 Jar文件
|-- logs               # 日志目录
|-- main               # Byzer 产品主程序 Jar 文件
|-- plugin             # Byzer Extension 的安装目录
|-- spark              # 内置的 Spark Jar 文件 
|-- spark-warehouse    

由于内置了 Byzer CLI 命令行执行工具, 位置是 $BYZER_HOME/bin/byzer,您可以直接通过命令行交互来直接执行 Byzer 脚本,详情可参考 Byzer CLI 章节

修改 Byzer 引擎配置

在启动 Byzer 引擎之前,您可以参考 Byzer 引擎参数配置说明 一文来进行配置文件的修改

注意:

  • Byzer All In One 产品包的默认出厂配置是 byzer.server.mode=all-in-one,即默认情况下是单机启动 Byzer 引擎服务
  • 如果您希望以配合 Hadoop 集群的方式来启动,可以参考 Byzer 引擎参数配置说明 来修改 $BYZER_HOME/conf/byzer.properties.override 文件的参数

安装 Byzer Extension (Optional)

Byzer All In One 已默认内置安装了 Byzer Extensions 官方插件,位于 $BYZER_HOME/plugin 目录下,您无需手动安装。

如果您需要安装自己开发的插件,您可以参照 byzer-org/byzer-extension 来开发自己需要的插件,打包后将 Jar 包放入$BYZER_HOME/plugin 目录下。

随后修改 byzer.properties.override 文件,修改如下参数,在 Byzer 引擎中注册插件的入口类,示例如下:

streaming.plugin.clzznames=tech.mlsql.plugins.ds.MLSQLExcelApp,tech.mlsql.plugins.assert.app.MLSQLAssert,tech.mlsql.plugins.shell.app.MLSQLShell,tech.mlsql.plugins.ext.ets.app.MLSQLETApp,tech.mlsql.plugins.mllib.app.MLSQLMllib

启动 Byzer 引擎

Byzer 引擎提供了可执行脚本 $BYZER_HOME/bin/byzer.sh 来进行 Byzer 引擎的启动,停止,和重启,您可以通过执行该脚步获取使用说明,示例如下

$ ./bin/byzer.sh 
Usage: 'byzer.sh [-v] start' or 'byzer.sh [-v] stop' or 'byzer.sh [-v] restart'

您可以通过执行下述命令来启动 Byzer 引擎。

$ ./bin/byzer.sh start

当您看到如下输出时,说明服务启动成功

$ ./bin/byzer.sh start
Starting Byzer engine...

Byzer-lang is checking installation environment, log is at /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/logs/check-env.out

Checking OS
...................................................[PASS]
Checking Java Version
...................................................[PASS]
Checking Ports Availability
...................................................[PASS]

Checking environment finished successfully. To check again, run 'bin/check-env.sh' manually.

SPARK_HOME is: 
BYZER_HOME is: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0
BYZER_CONFIG_FILE is: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/conf/byzer.properties
Starting Byzer engine in all-in-one mode...

[All Config]
-spark.kryoserializer.buffer 256k -streaming.plugin.clzznames tech.mlsql.plugins.ds.MLSQLExcelApp,tech.mlsql.plugins.assert.app.MLSQLAssert,tech.mlsql.plugins.shell.app.MLSQLShell,tech.mlsql.plugins.ext.ets.app.MLSQLETApp,tech.mlsql.plugins.mllib.app.MLSQLMllib -streaming.spark.service true -streaming.job.cancel true -streaming.driver.port 9003 -streaming.platform spark -streaming.name Byzer-lang-desktop -streaming.thrift false -spark.driver.memory 2g -spark.kryoserializer.buffer.max 1024m -streaming.master local[*] -spark.sql.hive.thriftServer.singleSession true -spark.master local[*] -spark.scheduler.mode FAIR -byzer.server.mode all-in-one -spark.serializer org.apache.spark.serializer.KryoSerializer -streaming.rest true -streaming.datalake.path ./data/ -streaming.enableHiveSupport false 


Byzer engine is starting. It may take a while. For status, please visit http://192.168.49.1:9003.

You may also check status via: PID:401599, or Log: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/logs/byzer-lang.log.

Byzer 引擎在启动时,会引入环境检查以及配置读取,启动成功后,会在终端提供可访问的 Web 地址, 你可以在浏览器中访问该地址进入 Byzer Web Console,如下图所示

 点击运行可以查看到上述 SQL 执行的结果,说明 Byzer 引擎正常。

停止 Byzer 引擎

您可以通过如下命令来停止 Byzer 引擎

$ ./bin/byzer.sh stop 
2022-04-27 23:49:47 Stopping Byzer engine...
2022-04-27 23:49:47 Stopping Byzer-lang: 356657

重启 Byzer 引擎

您可以通过如下命令来重启 Byzer 引擎

$ ./bin/byzer.sh restart
2022-04-27 23:49:47 Stopping Byzer engine...
2022-04-27 23:49:47 Stopping Byzer-lang: 356657
Logo

更多推荐