登录社区云,与社区用户共同成长
邀请您加入社区
保存数据至 REST API 数据源 REST API 既然作为一个数据源,就可以支持读和写,也就是 Byzer 语法中的Load / Save语义。但出于 REST API 数据源的特殊性,一般情况下都是从 API 进行数据的获取。 对于通过 API 保存数据操作,一般情况下会分为下面两种,无论是哪种方式,都依赖于 API 自身的设计。 1. 通过参数的方式将数据传给 API 这种方式其实和调用
Byzer 支持将表存储为不同的文件格式。 存储为文件/文本 如何加载文本类数据源请参考加载文件/文本一节 Byzer 引擎本身是基于一个存储系统上的,根据不同的部署方式的区别,存储为本地磁盘存储,HDFS 或 对象存储。Byzer 支持将数据表存储为下述的文件格式: 内置文本数据源 ParquetJsonCsvText 通过插件的支持的自定义数据源 Excel 用户可以通过SAVE语句来进行对数
Byzer 支持将表写入至数据仓库比如 Hive,或 Hive 兼容的 Data Catalog 中,比如 AWS Glue;同时 Byzer 也内置了 Delta Lake 的支持,可以在 Byzer SQL 中直接对 Delta Lake 中的表进行读写。 写入 Hive 关于如何配置 Hive 以及如何加载 Hive 中的表,请参考Hive 数据源 当在 Byzer 中对表进行处理后,我们可
在JDBC 数据源中我们介绍了如何建立 JDBC 的连接,和如何从 JDBC 中取数,那接下来我们介绍当处理完数据后,如何将表写入至 JDBC 数据源 写入数据至 JDBC 建立 JDBC 数据连接后,你可以直接使用SAVE语法对得到的数据进行保存,在 JDBC 中直接保存成表,保存的方式有两种:append增量保存以及overwrite全表覆盖保存 Append 写入 下面是append保存数据
Byzer 内置常用 UDFByzer 支持使用其他语言动态扩展 UDF 支持语言:Scala/Python/Java 的自定义 UDF,动态扩展:无需打包重启应用,只需要在上下文中使用 Byzer 语法注册 UDF,即可使用 当然,我们也支持在启动时注册自定义 UDF 到 Byzer 中。 内置常见 UDF Byzer 内置了很多功能强大、开箱即用的 UDF,如 http 请求、数据类型转换 U
Byzer 的SELECT语法是兼容 Spark SQL 语法的,所以 Spark SQL 支持的 SQL Function,Byzer 都能够支持,可以参考Spark SQL, Built-in Functions来进行查询
Byzer 语言为用户提供了基于 SQL 的语法来处理数据。用户可以通过SELECT 语法来将LOAD进系统中的表进行转化。 一般来说,当用户通过LOAD语句或通过文本数据源在系统中加载一个表后,那么就可以使用 SQL 的方式或通过执行 ET 扩展的方式来进行数据的转化和计算。 如果当现有的 SQL 函数, UDF 或 ET 都无法满足使用需求的时候&#x