整理GIT(ssh)多用户配置
目标 整理GIT(ssh)支持多用户管理 配置本地github账户 创建rsa密钥cd ~/.sshssh-keygen -t rsa -C "xxxx@email.com"Generating public/private rsa key pair.Ent ...
Read more
Hive源码调试-window环境
一、准备工作 下载Hive源码 本次案例,我们使用CDH版本,版本为:hive-1.1.0-cdh5.16.2-src.tar.gz 下载链接:http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2-src.tar.gz 编译Hive ...
Read more
Hive行列互转
目标 行转列 列转行 初始化 初始化数据 [root@kf30-hadoop-1 ~]# cat /home/hdfs/data/ad_list.txt ad_101 http://www.google.com catalog8|catalog1ad_102 http://www.sohu.com ...
Read more
MySQL TopN & Hive TopN
目标 MySQL TopN Hive TopN MySQL TopN 创建表 create table lesson(sno varchar(10) comment '学生编号',course varchar(10) comment '课程名称',score int(10) comment '分数 ...
Read more
为什么要改变HDFS tmp 文件存储目录&整理块大小、副本数、小文件的理解&整理HDFS架构&整理SNN流程
目标 为什么要改变HDFS /tmp 存储目录 整理块大小、副本数的理解 整理小文件的理解 整理HDFS架构 整理SNN流程 为什么要改变HDFS /tmp 存储目录HDFS NN/DN/SNN tmp文件存储目录默认是由core-default.xml中hadoop.tmp.dir参数决定的,如 ...
Read more
JVM的那些事(一)
JVM是什么我们运行一个 Java 应用程序的前提是,我们必须要先安装 JDK 或者 JRE 包。这是因为 Java 应用在编译后会变成字节码,然后通过字节码运行在 JVM 中,而 JVM 是 JRE 的核心组成部分。JVM 不仅承担了 Java 字节码的分析(JIT compiler)和执行(Ru ...
Read more