kylin官方安装文档 http://kylin.apache.org/cn/docs/install/configuration.html 总结: 1、关于麒麟高可用涉及负载均衡官网都说超出范围了,安装只考虑安装的事情,其余的先忽略 2、kylin在启动的时候会自动检测你本地hadoop,hbase,hive,spark,kafka 的环境变量。配置路径 3、逐一安装不像CDH或者HDP。所有组...

那些年我遇到的kylin问题

Kylin

  

2019-08-10 03:45:53

1、配置好kylin后,执行kylin.sh start,发现kylin的pid文件已经创建,但是不能从web访问,提示页面找不到! 原因:kylin的默认端口号7070(netstat -nap|grep 7070)被占用了,修改kylin的默认端口号,或者杀掉占用7070端口的进程,然后重启kylin即可。 2、编译kylin时提示路径不对,错误信息如下: 原因:kylin中配置的文件路径和h...

kylin常见错误

kylin

  

2019-12-03 08:26:31

下面是我在使用kylin过程中遇到的一些问题以及错误的解决 1.运行ERROR,点击日志发现java.io.IOException: fail to find the statistics file in base dir: hdfs:/kylin/kylin_metadata/kylin-6faa47ea-3a5b-4020-976f-c9fcf9d93bd2/kylin_sales_cube/...

Apache Kylin 概览

Kylin

  

2019-12-26 04:17:43

一、什么是 Kylin Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体(Cube)预计算技术,可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度。 Apache Kylin 也是中国人主导的,第一个 Apche 顶级开源项目,在开源社区有较大影响力。 Kylin 对于解决的问题有以下假设: 大数据查询...

在配置Kylin RealTime 数据源时,需要指定一个时间列,这个列默认需要是timestamp类型,实际上Kylin也支持设置为自定义格式,如yyyy-MM-dd HH:mm:ss格式。本文将分别介绍timestamp格式和自定义日期格式的配置方式。 时间列为配置timestamp时的配置方式: TSParser:org.apache.kylin.stream.source.kafka.Lo...

修改Kylin对应的Hbase版本 Kylin 2.5.0 Hbase 1.3.5 hbase-env.sh修改 修改jdk版本 注释jdk差异代码 关闭自动zookeeper自动管理 修改hbase-site.xml 按之前版本配置 可直接拷贝hdfs-site.xml 注意可能因为有端口而报错: 修改 regionservers 移动到指定目录 删除zookeeper和hadoop上面的hba...

1. Kylin简介

Kylin

  

2020-01-14 14:32:57

1.1 核心概念 数据仓库,OLAP与OLTP,维度和度量,事实表和维度表。星型模型和雪花模型。 1.1.1 数据仓库DW 这是商业智能(BI)的核心部分,主要是将不同数据源的数据整合到一起,通过多维分析为企业提供决策支持、报表生成等。存入数据仓库的资料必定包含时间属性。 数据仓库和数据库主要区别:用途不同 数据库 数据仓库 面向事务 面向分析 存储在线的业务数据,对上层业务改变作出实时反映,遵循...

Kylin - 05 cuboid以及cube优化

Kylin

  

2020-01-14 23:58:06

Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids) 按照dimension(维度)大小顺序排序,从Base Cuboid开始,依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独 的Map Reduce(Spark)任务。 理论上来说,一个N维的Cube,...

Apache Kylin 2.3 样例分析

Kylin

  

2020-01-21 03:42:10

网上没有找到Apache Kylin 2.3相关的样子,只好参考Apache Kylin 1.x 相关例子,但是运行报错。只好自己慢慢排查,下面做个记录。 错误信息 查看日志 通过日志分析可知,kylin_sales数据表不存在region字段。 查看表结构,确实没有region字段,已经更名为ops_region 重新执行 其他例子...

第2章 Kylin环境搭建

Kylin

  

2020-02-20 22:50:40

上篇:第1章 大数据Kylin之术语 1、安装地址 (1)官网地址 http://kylin.apache.org/cn/ (2)官方文档 http://kylin.apache.org/cn/docs/ (3)下载地址 http://kylin.apache.org/cn/download/ 2、安装部署 (1)将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到L...

总目录 Kylin系列(一)—— 入门 Kylin系列(二)—— Cube 构造算法 总目录 Kylin cube 构造算法 逐层算法(layer Cubing) 算法的优点 算法的缺点 快速Cube算法(Fast Cubing) 举个例子 子立方体生成树(Cuboid spanning Tree)的遍历次序 优点 缺点 By-layer Spark...

问题背景 优化1 将精确去重指标拆分HBase列族 优化2 移除不必要的toString避免bitmap deserialize 优化3 获取bitmap的字节长度时避免deserialize 优化4 无需上卷聚合的精确去重查询优化 总结 反思 相关Kylin JIRA 本文记录了我将Apache Kylin超高基数的精确去重指标查询提速数十倍的过程,大家有任何建议或者疑问欢迎讨论。 问题背景 某...

hive 创建多表关联

hadoop  kylin

  

2019-12-26 20:10:07

1,新建数据库 ,1  2,建表 3,上传数据 准备数据:    上传:    在hive里面主键的概念明显是模糊了的甚至说是去掉的,更没有想传统数据仓库的时候,事实表和维表的键可以连在一起的情况一般都是直接在hive-ql的时候用jion的,即在条件判断的时候加上a.id=b.id...