Back to Doris

kettle-plugin

extension/kettle/README_zh.md

4.1.02.0 KB
Original Source

kettle-plugin

  1. 下载安装kettle 下载地址: https://pentaho.com/download/#download-pentaho

下载后解压,运行spoon.sh即可启动kettle

也可以自行编译,参考编译章节

  1. 编译Doris的stream load插件
shell
cd doris/extension/kettle
mvn clean package -DskipTests

编译完成后,将插件包解压后拷贝到kettle的plugins目录下

shell
cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip 
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests
  1. 构建作业 在Kettle中的批量加载中找到Doris Stream Loader,构建作业

  2. 点击开始运行作业即可完成数据同步

  3. 参数说明

KeyDefault ValueRequiredComment
Step name--Y步骤名称
fenodes--YDoris FE http 地址,支持多个地址,使用逗号分隔
数据库--YDoris 的写入数据库
目标表--YDoris 的写入表
用户名--Y访问 Doris 的用户名
密码--N访问 Doris 的密码
单次导入最大行数10000N单次导入的最大行数
单次导入最大字节10485760(10MB)N单次导入的最大字节大小
导入重试次数3N导入失败之后的重试次数
StreamLoad属性--NStreamload的请求头