Byzer All In One 安装与配置
Byzer All In One 版本是在 Byzer Server 产品包的基础上,内置包含了 JDK8,Byzer CLI 以及 Byzer Extensions , 给用户提供了单机启动 Byzer 引擎服务以及在 Hadoop 集群启动 Byzer 引擎服务的能力。
下载 Byzer All In One
请前往 Byzer 官方下载站点 下载对应的 Byzer All In One 产品包。
选择版本
如何选择对应的 Byzer 引擎版本说明,请参考 Byzer 引擎部署指引 中 Byzer 引擎版本说明 一节,一般情况下,我们推荐使用最新的正式发布版本
产品包名说明
- Byzer
2.3.0
版本及之后发布的版本,Byzer All In One 包名规范为byzer-all-in-one-{os}-{spark-vesion}-{byzer-version}.tar.gz
- Byzer
2.3.0
以前的版本,Byzer All In One 的包名规范为byzer-lang-{os}-{spark-vesion}-{byzer-version}.tar.gz
其中 {os}
为对应的操作系统版本:
- linux-amd64: 64 位 linux 操作系统
- darwin-amd64: macOS
- win-amd64: 64 位 windows 操作系统(仅支持命令行的交互)
{spark-version}
是 Byzer 引擎内置的 Spark 版本,{byzer-version}
是 Byzer 的版本。
Byzer All In One 暂时只提供了适配 Spark
3.1.1
版本的安装包
下载并安装
这里我们以 Linux 环境和 Byzer 2.3.0
版本举例说明, 访问 https://download.byzer.org/byzer/2.3.0/ ,下载 Byzer 2.3.0
Byzer All In One 的产品包 byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0.tar.gz
此处我们以目录 /home/byzer
为例,下载安装包至此目录,解压安装包
$ tar -zxvf byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0.tar.gz
$ cd byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0
此处我们解压后的目录为 /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0
,解压后的目录结构如下
|-- bin # 可执行脚本
|-- conf # Byzer 引擎的配置目录
|-- jdk8 # 内置的 Open JDK 1.8
|-- libs # Byzer 引擎的依赖 Jar文件
|-- logs # 日志目录
|-- main # Byzer 产品主程序 Jar 文件
|-- plugin # Byzer Extension 的安装目录
|-- spark # 内置的 Spark Jar 文件
|-- spark-warehouse
由于内置了 Byzer CLI 命令行执行工具, 位置是
$BYZER_HOME/bin/byzer
,您可以直接通过命令行交互来直接执行 Byzer 脚本,详情可参考 Byzer CLI 章节
修改 Byzer 引擎配置
在启动 Byzer 引擎之前,您可以参考 Byzer 引擎参数配置说明 一文来进行配置文件的修改
注意:
- Byzer All In One 产品包的默认出厂配置是
byzer.server.mode=all-in-one
,即默认情况下是单机启动 Byzer 引擎服务 - 如果您希望以配合 Hadoop 集群的方式来启动,可以参考 Byzer 引擎参数配置说明 来修改
$BYZER_HOME/conf/byzer.properties.override
文件的参数
安装 Byzer Extension (Optional)
Byzer All In One 已默认内置安装了 Byzer Extensions 官方插件,位于 $BYZER_HOME/plugin
目录下,您无需手动安装。
如果您需要安装自己开发的插件,您可以参照 byzer-org/byzer-extension 来开发自己需要的插件,打包后将 Jar 包放入$BYZER_HOME/plugin
目录下。
随后修改 byzer.properties.override
文件,修改如下参数,在 Byzer 引擎中注册插件的入口类,示例如下:
streaming.plugin.clzznames=tech.mlsql.plugins.ds.MLSQLExcelApp,tech.mlsql.plugins.assert.app.MLSQLAssert,tech.mlsql.plugins.shell.app.MLSQLShell,tech.mlsql.plugins.ext.ets.app.MLSQLETApp,tech.mlsql.plugins.mllib.app.MLSQLMllib
启动 Byzer 引擎
Byzer 引擎提供了可执行脚本 $BYZER_HOME/bin/byzer.sh
来进行 Byzer 引擎的启动,停止,和重启,您可以通过执行该脚步获取使用说明,示例如下
$ ./bin/byzer.sh
Usage: 'byzer.sh [-v] start' or 'byzer.sh [-v] stop' or 'byzer.sh [-v] restart'
您可以通过执行下述命令来启动 Byzer 引擎。
$ ./bin/byzer.sh start
当您看到如下输出时,说明服务启动成功
$ ./bin/byzer.sh start
Starting Byzer engine...
Byzer-lang is checking installation environment, log is at /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/logs/check-env.out
Checking OS
...................................................[PASS]
Checking Java Version
...................................................[PASS]
Checking Ports Availability
...................................................[PASS]
Checking environment finished successfully. To check again, run 'bin/check-env.sh' manually.
SPARK_HOME is:
BYZER_HOME is: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0
BYZER_CONFIG_FILE is: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/conf/byzer.properties
Starting Byzer engine in all-in-one mode...
[All Config]
-spark.kryoserializer.buffer 256k -streaming.plugin.clzznames tech.mlsql.plugins.ds.MLSQLExcelApp,tech.mlsql.plugins.assert.app.MLSQLAssert,tech.mlsql.plugins.shell.app.MLSQLShell,tech.mlsql.plugins.ext.ets.app.MLSQLETApp,tech.mlsql.plugins.mllib.app.MLSQLMllib -streaming.spark.service true -streaming.job.cancel true -streaming.driver.port 9003 -streaming.platform spark -streaming.name Byzer-lang-desktop -streaming.thrift false -spark.driver.memory 2g -spark.kryoserializer.buffer.max 1024m -streaming.master local[*] -spark.sql.hive.thriftServer.singleSession true -spark.master local[*] -spark.scheduler.mode FAIR -byzer.server.mode all-in-one -spark.serializer org.apache.spark.serializer.KryoSerializer -streaming.rest true -streaming.datalake.path ./data/ -streaming.enableHiveSupport false
Byzer engine is starting. It may take a while. For status, please visit http://192.168.49.1:9003.
You may also check status via: PID:401599, or Log: /home/byzer/byzer-lang-all-in-one-linux-amd64-3.1.1-2.3.0/logs/byzer-lang.log.
Byzer 引擎在启动时,会引入环境检查以及配置读取,启动成功后,会在终端提供可访问的 Web 地址, 你可以在浏览器中访问该地址进入 Byzer Web Console,如下图所示
点击运行可以查看到上述 SQL 执行的结果,说明 Byzer 引擎正常。
停止 Byzer 引擎
您可以通过如下命令来停止 Byzer 引擎
$ ./bin/byzer.sh stop
2022-04-27 23:49:47 Stopping Byzer engine...
2022-04-27 23:49:47 Stopping Byzer-lang: 356657
重启 Byzer 引擎
您可以通过如下命令来重启 Byzer 引擎
$ ./bin/byzer.sh restart
2022-04-27 23:49:47 Stopping Byzer engine...
2022-04-27 23:49:47 Stopping Byzer-lang: 356657
更多推荐
所有评论(0)