CDH6.2.1安装步骤

大数据  大数据

  

2020-01-07 01:36:47

1.CM部署准备 1.1 连接服务器 1.2 修改hosts文件 注意:这里每个人不一样,ip填写的是私有ip,做完后ping一下。 1.3 SSH免密登录 配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的,所以这里不需要配置SSH免密登录,但是为了我们分发文件方便,在这里我们也配置SS...

Cloudera Manager平台

大数据  大数据

  

2020-03-15 23:25:51

一、Cloudera Manager平台 0、简介: 通过Cloudera Manager,可以轻松管理生产中任何规模的Cloudera部署。通过直观的UI快速部署,配置和监视群集-包括滚动升级,备份和灾难恢复以及可自定义的警报。 官网:https://www.cloudera.com/ 1、架构: 2、介绍: 四、下载地址: Cloudera Manager 官方下载地址 CDH软件包官方最新稳...

今天搞了好几个小时做测试,在IDEA中去操作集群中的spark,可是集群一直链接不上,一下是解决问题的方案 需要满足的条件: (1)需要访问hdfs的路径:即可以配置core-site.xml,hdfs-site.xml文件 (2)设置访问hdfs上的用户: System.setProperty(“HADOOP_USER_NAME”,“hdfs”) ...

配置 操作系统:windows 10 家庭版 hadoop版本:hadoop-2.8.4 jdk版本:jdk-8u91-windows-x64 一.安装java,并配置java环境变量 Hadoop底层实现语言是Java,所以我们在运行Hadoop时是需要Java运行环境的。 下载好jdk之后按照提示安装即可。 安装完成之后手动配置一下Java环境变量: (1)新建用户变量: (2)新建系统变量:...

Scala学习

大数据  大数据

  

2020-04-19 22:30:47

scala学习 一、基础 1、scala简介 scala是运行在 JVM 上的多范式编程语言,同时支持面向对象编程和面向函数式编程 2、安装 scala程序运行依赖于java类库,必须要有java运行环境 解压scala压缩包 配置环境变量 打开控制台,输出scala -version 测试 3、声明变量 语法格式: val 定义的是不可重新赋值的变量 var 定义的是可重新赋值的变量 使用类型推...

刚学习数据分析与数据挖掘,用的是SQLServer 2017,由于以前安装过,就没有重新安装,部署服务就出现问题了,无法部署此模型,因为 部署服务器不在多维模式下运行 百度了一下,是因为使用的Analysis Services服务类型是表格型,不是多维型;如果不清楚安装是是什么类型,可以使用Microsoft SQL Server Management Studio 进行连接 连接时间会比较慢,连...

Flume介绍,安装及其使用 1、概述 2、组件介绍 Flume中核心的角色agent,agent本身是一个Java进程,一般运行在日志收集节点。 Source:采集源,用于跟数据源对接,以获取数据 Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据 Channel:agent内部的数据传输通道,用于source将数据传递到sink; 在整个数据的传输的...

文章目录 1 Hadoop运行环境搭建 1.1 修改虚拟机的静态ip并克隆 1.2 修改主机名 1.3 关闭防火墙 1.4 创建用户 1.5 修改hosts 1.6 配置ruki用户,使其具有root权限 1.7 在/opt目录下创建文件夹 2 安装JDK 2.1 卸载现有JDK 2.2 将JDK导入到/opt/software中 2.3 安装JDK 2.4 修改环境变量 欢迎访问笔者个人技术博客...

概述 HORTONWORKS DATA PLATFORM (HDP®) 基于集中化架构 (YARN),是业内唯一一款极其安全且可用于企业的开源 Apache Hadoop® 分布式系统。HDP 可满足静态数据的全部需求,助力实时客户应用程序,并提供可加速决策和创新进程的强劲大数据分析。 Hortonworks DataFlow (HDF) 提供了唯一的端到端平台,利用直观的拖放界面...

NiFi数据流实例一

大数据  大数据

  

2020-05-07 06:11:52

NiFi数据流实例系列文章,是将我个人做过的一些数据流项目和探索整理成数据流实例,旨在提供NiFi实用方法。 示例说明 本实例构建一条最简单的数据流,从文件系统的一个本地目录读取文件,生成数据流,然后分别写入到另一个本地目录下和指定的HDFS目录下。 流程图 处理器配置 说明 每个处理器的配置窗口,有四个Tab,说明如下: Tab 描述 SETTINGS 处理器信息的配置,例如处理器名称。可以说是...

        mac下安装apache airflow,会遇到各种麻烦,如python版本不支持、网络下载包慢、各种配置等繁琐问题,幸好docker上有airflow资源。废话不多说,接下来记录我在本地搭建airflow项目的过程。   一、启动本地docker 二、访问docker hub上的airflow官网项目地址:https://hub....

大数据基础概述

大数据  大数据

  

2020-05-30 15:54:48

前言:大数据是时下很热门的话题,作为一名数学专业的程序员,很早就听老师说过,只是一直没有机会去系统的学习,最近狠下心准备研究研究!话不多说,撸起来 大数据基础概念 一、什么是大数据 二、大数据4V特征 三、大数据带来的技术变革 1、技术驱动 2、商业驱动 四、大数据现存模式 一、什么是大数据 二、大数据4V特征 如图,可分为: 数据量大(PB、TB、ZB…) 速度快(高速I/O操作)...

数据同步 原始数据在mysql,将数据先同步到Hive,再同步到Hbase(BulkLoad)· 为什么需要使用Hbase?? 特点:数据量比较大 存储HBase:存储海量数据、查询检索 centOS7 启动服务的命令 systemctl ststart mysqld systemctl stop mysqld systemctl start mysqld 第一步:准备Mysql数据...

前言 大家好,我是DJ丶小哪吒,我又来跟你们分享知识了。对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处,欢迎大家在留言区指正。小编也会及时改正。 今天小编要和大家浅谈一下在做项目过程中。我们经常会遇到的缓慢变化维的维问题。 码字不易,先赞再看,养成习惯~~~ 一、缓慢变化维 1.1、什么是缓慢变化维(SC...