User Defined Java Class Table of contents You can use the User Defined Java Class step to enter your own Java class to drive the functionality of a complete step. You can program your own plugin into ...

Kettle 9.0 源码本地部署编译

ETL

  

2020-04-05 00:28:35

Kettle源码包编译指南 本次构建基于Kettle源码的9.0快照版本 环境准备 maven 3+ JDK 1.8 下载settings.xml文件,存放于.m2文件下 源码下载 源码下载地址:https://github.com/pentaho/pentaho-kettle.git 开始构建 进入源文件根目录 maven命令构建: 构建成功后的执行文件 执行文件位于源码包的\assemblie...

在Kettle中通过组件之间的组合使用,可以实现程序中for循环的功能,可以循环执行某一个job或者转换,整体流程如下: 其中的JavaScript3是调试时使用的,可不加。 tra转换:选择要循环作业的表名   实际中可以将本转换改为选择数据库中的所有表。 JavaScript:获取上一步中的表名,并设置为变量 Simple evaluation :条件判断 tra2:这里是要循环执行...

一、MySQL表的存储引擎查看 mysql可以使用如下查询判断一个表是否使用MyISAM存储引擎: 二、MySQL表是否被加锁查看 使用如下SQL语句: 三、MySQL存储引擎MyISAM加锁规则 1、MyISAM锁的粒度 MyISAM锁的粒度是表级锁,在执行查询(SELECT)之前,尝试在表上面加读锁,在执行更新(UPDATE,DELETE,INSERT)之前,尝试在表上面加写锁。 加写锁: 如...

Apache NiFi用户指南

ETL

  

2020-06-03 14:55:23

Apache NiFi用户指南 介绍 Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由,转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面,用于设计,控制,反馈和监控数据流。它在服务质量的几个方面具有高度可配置性,例如容错与保证交付,低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收,分叉,加入克隆,修改,发送和最终在达到其配置的最终状态时丢弃的数...

kettle:一、单表同步篇

ETL

  

2020-06-19 00:00:14

一、前言 sqlserver表转oracle表,表结构相同。 记录下我的工作经历,就像日记一样;我以后还可以查阅。 kettle版本:pdi-ce-5.4.0.1-130  其实,我还安装了kettle 6.1;大部分转换ktr文件都是由kettle 5.4编写的,我用6.1打开编辑有时候会出现莫名其妙的问题,保证工作进度不被延误,也就没敢用。 学以致用,共享经验。 二、前期准备 &nb...

ambari的Command介绍

etl

  

2020-07-19 16:19:34

ambari-server会向ambari-agent发送命令,来控制agent的行为,命令是通过agent向server发送的心跳包的response来传送的: 在agent向server注册完毕后,agent的心跳包就开始向server汇报: 1 这些命令可以在agent机器上查看到,比如可在这里查看: 1 2 Command: 执行态的Task,由server下发给具体的机器(agent)执...

远程调试ambari-metrics的方法

etl

  

2020-07-19 16:30:48

IDE:intellij 在ambari-metrics-collector上找到start的运行脚本,再找到启动ambari-metrics-collector的java命令: 1 发现是执行 /usr/sbin/ambari-metrics-collector 这个脚本start的,那么编辑这个脚本找到java的启动server的命令,添加调试参数 -agentl...

目录: 一、KETTLE定时在实际工作中的场景 二、编写kettle.bat脚本 三、新建windows定时计划 一、KETTLE定时在实际工作中的场景 在现实工作中,是不需要在本地配定时任务,因为这样不规范,不好把控项目。更多是开发写好程序,我们设置执行时间、执行频率。 不过当程序报错时,还是需要自己在本地配任务,所以基础还是得掌握啦。 当初同事给我讲定时任务时,自己一脸懵,也没学会&helli...

深入解析中间件之-Canal

ETL

  

2020-09-10 09:15:39

canal: 阿里巴巴mysql数据库binlog的增量订阅&消费组件 MySQL binlog MySQL主从复制 mysql服务端修改配置并重启 问题:创建canal用户的目的是什么?直接使用现有的用户名可以吗,比如root。 答案:有些用户没有REPLICATION SLAVE, REPLICATION CLIENT的权限,用这些用户连接canal时,无法获取到binlog。 这里的...