2019年12月_叁木大数据_叁木-Neil

12月 11月 10月 07月 06月 05月 04月 03月 02月 01月

原创 Kudu教程

一、Kudu概述1.1 定义Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。1.2 基础架构Kudu也采用了Master-Slave形式的中心节点架构，管理节点被称作Kudu Master，数据节点被称作Tablet Server（可对比理解HBase中的RegionServer角色）。一个表的数据，被分割成1个或多个Tablet，Tablet被部署在Tabl...

2019-12-31 16:50:04 1050 1

原创 cdh5.8.0 flume+kafka用户行为日志数据采集方案详解

一、日志模拟1.1 模拟日志生成java -classpath /data/opt/module/log-produce.jar com.lsl.appclient.AppMain >/data/opt/module/test.log二、flume数据采集2.1 Flume安装2.1.1 日志采集Flume安装1）添加服务2）选择Flume，点击继续3）选择节点4）完成...

2019-12-17 10:24:31 764

原创 idea无法下载cdh依赖jar包

一、起因需要用到cdh相关jar包但是怎么都引入不进去，查阅资料后发现maven仓库中没有支持cdh的相关依赖。cloudera自己建立了一个相关的仓库。要想利用maven添加相关依赖，则必须单独添加cloudera仓库。二、问题解决1、项目中的pom.xml文件中添加依赖 <repositories> <repository> ...

2019-12-10 12:18:32 707

原创 maven仓库清除脚本

set REPOSITORY_PATH=C:\Users\EDZ\.m2\repository[这里写自己maven仓库地址]rem 正在搜索...for /f "delims=" %%i in ('dir /b /s "%REPOSITORY_PATH%\*lastUpdated*"') do ( del /s /q %%i)rem 搜索完毕pause...

2019-12-06 11:33:13 433