hadoop共16篇
Hadoop中单词统计案例-卡咪卡咪哈-一个博客

Hadoop中单词统计案例

一、搭建本地环境1、下载准备两个工具Hadoop-2.7.3.tar.gzHadoop-2.7.3-winutils.exe.rar2、将Hadoop-2.7.3-winutils.exe.rar解压后,其中的两个文件进行拷贝Hadoop.dllWintuils.exe3、将Hadoop...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0659
B站基于缓存优化 PRESTO 集群查询性能-卡咪卡咪哈-一个博客

B站基于缓存优化 PRESTO 集群查询性能

导读本次分享主题为 B 站 Presto 集群查询性能的优化,首先会简单介绍 Presto以及 B 站内部 Presto 集群的架构。接下来讲解针对 Presto 做的改造,主要是 Presto 搭配 Alluxio 和 Presto 搭配 A...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0548
SPARK+HADOOP大数据实验环境配置-卡咪卡咪哈-一个博客

SPARK+HADOOP大数据实验环境配置

最近在上大数据实验的,整理一下配置环境的过程。本文主要包括所需安装包,通用配置、hadoop配置和spark配置。一.实验环境:使用虚拟机软件:VMware Workstation Pro操作系统:Ubuntu 18.04 (mas...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01235
linux下Hadoop安装与环境配置-卡咪卡咪哈-一个博客

linux下Hadoop安装与环境配置

注:本文采用的Linux环境为deepin 15.11系统(是由武汉深之度科技有限公司开发的颜值极高的Linux发行版),以下命令经测试Ubuntu18.04版本同样适用。linux安装可采用虚拟机安装、单系统安装、双...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
06310
零基础入门hadoop大数据三—linux基础环境配置-卡咪卡咪哈-一个博客

零基础入门hadoop大数据三—linux基础环境配置

~~~~~~~~~~~~~~~~~~~~~~~~~更新~~~~~~~~~~~~~~~~~~~~~~~~~~~本专题教程最终会以搭建4台机器(节点)的集群为教学目的,但会经历单机版(只有一台机器)、伪分布式(还是只有一台机器)、完全分...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
0887
Hadoop环境配置(一):Pseudo-Distributed模式-卡咪卡咪哈-一个博客

Hadoop环境配置(一):Pseudo-Distributed模式

前言寒假花了很多时间在基于Giraph的PageRank这个实验上面,最终实现的效果是在服务器上的分布式环境中使用Giraph这个框架运行PageRank算法。这个系列的文章主要是把在配置Hadoop的过程中所有踩...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
07310