kylin官方安装文档 http://kylin.apache.org/cn/docs/install/configuration.html 总结: 1、关于麒麟高可用涉及负载均衡官网都说超出范围了,安装只考虑安装的事情,其余的先忽略 2、kylin在启动的时候会自动检测你本地hadoop,hbase,hive,spark,kafka 的环境变量。配置路径 3、逐一安装不像CDH或者HDP。所有组...

那些年我遇到的kylin问题

Kylin

  

2019-08-10 03:45:53

1、配置好kylin后,执行kylin.sh start,发现kylin的pid文件已经创建,但是不能从web访问,提示页面找不到! 原因:kylin的默认端口号7070(netstat -nap|grep 7070)被占用了,修改kylin的默认端口号,或者杀掉占用7070端口的进程,然后重启kylin即可。 2、编译kylin时提示路径不对,错误信息如下: 原因:kylin中配置的文件路径和h...

kylin常见错误

kylin

  

2019-12-03 08:26:31

下面是我在使用kylin过程中遇到的一些问题以及错误的解决 1.运行ERROR,点击日志发现java.io.IOException: fail to find the statistics file in base dir: hdfs:/kylin/kylin_metadata/kylin-6faa47ea-3a5b-4020-976f-c9fcf9d93bd2/kylin_sales_cube/...

Apache Kylin 概览

Kylin

  

2019-12-26 04:17:43

一、什么是 Kylin Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体(Cube)预计算技术,可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度。 Apache Kylin 也是中国人主导的,第一个 Apche 顶级开源项目,在开源社区有较大影响力。 Kylin 对于解决的问题有以下假设: 大数据查询...

在配置Kylin RealTime 数据源时,需要指定一个时间列,这个列默认需要是timestamp类型,实际上Kylin也支持设置为自定义格式,如yyyy-MM-dd HH:mm:ss格式。本文将分别介绍timestamp格式和自定义日期格式的配置方式。 时间列为配置timestamp时的配置方式: TSParser:org.apache.kylin.stream.source.kafka.Lo...

修改Kylin对应的Hbase版本 Kylin 2.5.0 Hbase 1.3.5 hbase-env.sh修改 修改jdk版本 注释jdk差异代码 关闭自动zookeeper自动管理 修改hbase-site.xml 按之前版本配置 可直接拷贝hdfs-site.xml 注意可能因为有端口而报错: 修改 regionservers 移动到指定目录 删除zookeeper和hadoop上面的hba...

1. Kylin简介

Kylin

  

2020-01-14 14:32:57

1.1 核心概念 数据仓库,OLAP与OLTP,维度和度量,事实表和维度表。星型模型和雪花模型。 1.1.1 数据仓库DW 这是商业智能(BI)的核心部分,主要是将不同数据源的数据整合到一起,通过多维分析为企业提供决策支持、报表生成等。存入数据仓库的资料必定包含时间属性。 数据仓库和数据库主要区别:用途不同 数据库 数据仓库 面向事务 面向分析 存储在线的业务数据,对上层业务改变作出实时反映,遵循...

Kylin - 05 cuboid以及cube优化

Kylin

  

2020-01-14 23:58:06

Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids) 按照dimension(维度)大小顺序排序,从Base Cuboid开始,依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独 的Map Reduce(Spark)任务。 理论上来说,一个N维的Cube,...

Apache Kylin 2.3 样例分析

Kylin

  

2020-01-21 03:42:10

网上没有找到Apache Kylin 2.3相关的样子,只好参考Apache Kylin 1.x 相关例子,但是运行报错。只好自己慢慢排查,下面做个记录。 错误信息 查看日志 通过日志分析可知,kylin_sales数据表不存在region字段。 查看表结构,确实没有region字段,已经更名为ops_region 重新执行 其他例子...

第2章 Kylin环境搭建

Kylin

  

2020-02-20 22:50:40

上篇:第1章 大数据Kylin之术语 1、安装地址 (1)官网地址 http://kylin.apache.org/cn/ (2)官方文档 http://kylin.apache.org/cn/docs/ (3)下载地址 http://kylin.apache.org/cn/download/ 2、安装部署 (1)将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到L...

Web UI 查看属性 查询 注意:查询语句中事实表必须位于join的左边 Zeppelin 打开web端界面hadoop:8080,点击右上角的interpreter  然后再创建note  之后就可以输入查询语句进行查询操作 JDBC 依赖 代码示例 效果如图 Shell 脚本...

第3章 大数据Kylin快速入门

Kylin

  

2020-04-29 00:12:58

上篇:第2章 Kylin环境搭建 1、需求:实现按照维度(工作地点)统计员工信息 数据准备 在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。 (1)原始数据准备到/usr/local/hadoop/module/datas文件目录下 dept.txt emp.txt (2)建表语句 创建部门表 创建员工表 (3)查看创建的表 (4)向外部表中导入数据 导入数据 查询结果 1、登录...

第6章 BI工具集成

Kylin

  

2020-04-29 03:29:53

上篇:第5章 Cube构建优化 可以与Kylin结合使用的可视化工具很多,例如: ODBC:与Tableau、Excel、PowerBI等工具集成 JDBC:与Saiku、BIRT等Java工具集成 RestAPI:与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件,也可以使用Zepplin来访问Kylin服务。 1、JDBC 1)新建项目并导入依赖 2)编码 ...

如何使用JDBC连接操作Kylin?

Kylin

  

2020-05-18 18:30:11

写在前面: 博主是一名软件工程系大数据应用开发专业大二的学生,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限,博客中难免会有一些错误,有纰漏之处恳请各位大佬不吝赐教!个人小站:http://alices.ibilibili.xyz/ , 博客主页:https://...