hadoop共16篇
排序
B站基于缓存优化 PRESTO 集群查询性能
导读本次分享主题为 B 站 Presto 集群查询性能的优化，首先会简单介绍 Presto以及 B 站内部 Presto 集群的架构。接下来讲解针对 Presto 做的改造，主要是 Presto 搭配 Alluxio 和 Presto 搭配 A...
1年前
Hadoop整合分布式文件系统上数据，保证分析和处理数据高效？
谈到对Hadoop分布式文件系统（HDFS）数据整合与分析处理，首先要说到的就是存储模式了：（一）HDFS的存储模式不同于关系型或文档型数据库，它没有索引，由于索引的目的是方便随机读写，每次读...
1年前
什么是瞬态集群？解读火山引擎EMR Stateless 的创新理念以及应用
作者 | 火山引擎EMR团队 众所周知，基于 Hadoop 的 EMR 体系发展到现在，经历了很多个阶段。从基于 IDC 机房通过 CDH 去部署的 1. 0 阶段，演进到在公有云上面按照存算分离的办法去进行的 2. 0 ...
1年前
史上最详细、最全面的Hadoop环境搭建
前言 这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安...
1年前
SPARK+HADOOP大数据实验环境配置
最近在上大数据实验的，整理一下配置环境的过程。本文主要包括所需安装包，通用配置、hadoop配置和spark配置。一.实验环境:使用虚拟机软件：VMware Workstation Pro操作系统：Ubuntu 18.04 (mas...
1年前
linux下Hadoop安装与环境配置
注：本文采用的Linux环境为deepin 15.11系统（是由武汉深之度科技有限公司开发的颜值极高的Linux发行版），以下命令经测试Ubuntu18.04版本同样适用。linux安装可采用虚拟机安装、单系统安装、双...
1年前我的面板
看一看
调教LLaMA类模型没那么难，LoRA将模型微调缩减到几小时
作者：Sebastian Raschka 机器之心编译 编辑：赵阳 LoRA 微调方法，随着大模型的出现而走红。 最近几个月，ChatGPT 等一系列大语言模型（LLM）相继出现，随之而来的是算力紧缺日益严重。虽然人...
1年前
Stability开源类ChatGPT模型！上线14小时，狂揽超4.8k星，支持商业化人体最诡异的器官！一碰到就会莫名发痒？是超能力还是进化优势？
智东西 编译 | 吴菲凝 编辑 | 李水青 智东西4月20日报道，开发出AI图像生成工具Stable Diffusion的初创公司Stability AI发布并开源该团队训练的大语言模型StableLM。该模型的Alpha版本有30亿和7...
1年前
Three.js Plane使用方法
Three.js 提供了 Plane 概念来表示在 3d 空间中无限延伸的二维表面。 这对于光标交互很有用，因此你可能需要了解如何设置此平面、将其可视化并根据需要进行调整。 推荐：使用NSDT场景设计器快速...
1年前
大数据人才需求怎么样 Spark技术是怎么回事
大数据人才需求怎么样？Spark技术是怎么回事？Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但...
1年前
AI换脸教程：DeepFaceLab使用教程（2.训练及合成）
如果前期工作已经准备完毕（DeepFaceLab下载https://www.deepfacelabs.com/list-5-1.html，然后安装相应的显卡驱动，DeepFaceLab使用教程（1.安装及分解视频）那么我们就正式进入AI换脸的关键环...
1年前
DALL·E的3D版来了，OpenAI提出Point·E，一个由复杂提示生成三维点云的系统
DALL·E的3D版来了，OpenAI提出Point·E，一个由复杂提示生成三维点云的系统 【写在前面】 虽然最近关于文本条件3D对象生成的工作已经显示出令人振奋的结果，但最先进的方法通常需要多个GPU小时...
1年前
