在运行 Byzer-python 时，dataMode 是必须设置的。dataMode 可选值为 data/model：

data

如果你在代码中使用了 RayContext.foreach 或 RayContext.map_iter，那么需要设置 dataMode 为 data。 在这种模式下，数据会经过 Ray 集群分布式处理并且不通过 Ray Client (Python Worker) 端回流到 Byzer-engine。

model

上述情况外，dataMode 均需设置为 model。

Logo
一门面向 Data 和 AI 的低代码、云原生的开源编程语言

无需安装部署，在线快速体验 Byzer

本内容已收录至专栏 《Byzer-Python》 查看更多专栏内容
12篇内容

Byzer-python 并行度

你可以直接使用 Byzer-python 对表进行处理，但当数据量比较大时，我们经常会在处理前使用!tableRepartition对数据进行重新切分。 比如： !tableRepartition _ -i simpleDataTemp -num 3 -o simpleData; !python env "PYTHON_ENV=source activate dev"; !python conf

11 
csdndevpressbyzer · 2023-12-11 13:44:38

K8S 下的 Byzer-python 资源限制

Byzer-python 会单独在 Driver 或者 Executor 节点上启动一个 Python 进程（Python Worker）运行，默认总数量不超过节点的核数。不过遗憾的是，如果不注意控制 Python 进程的资源占用，而 Byzer-engine 又跑在 K8S（Yarn 上也是类似情况）上，很可能导致容器进程被终止，如果是 Driver 节点被 Kill，那么会导致整个 Byzer

10 
csdndevpressbyzer · 2023-12-11 13:43:29
Byzer-python 并行度
11 
csdndevpressbyzer · 2023-12-11 13:44:38
K8S 下的 Byzer-python 资源限制
10 
csdndevpressbyzer · 2023-12-11 13:43:29
查看更多专栏内容

更多推荐

cover

2024年最新【Python学习教程】Python异常处理机制_avoid division byzero，2024年最新一次违反常规的Python大厂面试经历

avatar Byzer 白泽

byzer 笔记总结

本章将详细介绍 Byzer Notebook 工作区相关操作。您可以在页面顶栏点击工作区进入工作区页面，创建或编辑笔记本。

avatar Byzer 白泽
cover

byzer python error:RuntimeError: (‘Exception thrown when converting pandas.Series (object) to Arrow

avatar Byzer 白泽