大数据共370篇 第7页
大数据，离线计算，实时计算，流处理引擎，数仓技术
排序
Java-Spark系列10-Spark性能调优概述
一.Spark 性能优化概述 首先笔者能力优先，使用Spark有一段时间，如下是笔者的工作经验的总结。 Spark任务运行图: Spark的优化思路: 一般是从3个层面进行Spark程序的优化: 1) 运行环境优化 2) R...
1年前
Spark性能优化实战手册
三万字长文 | Spark性能优化实战手册 本文分为四个部分，基本涵盖了所有Spark优化的点，面试和实际工作中必备。 《Spark性能优化：开发调优篇》《Spark性能优化：资源调优篇》《Spark性能优化：...
1年前
Spark性能优化指南——高级篇
热死的鱼：Spark性能优化指南——基础篇2 赞同 · 1 评论文章 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾...
1年前
大数据开发-Spark调优常用手段
Spark调优 spark调优常见手段，在生产中常常会遇到各种各样的问题，有事前原因，有事中原因，也有不规范原因，spark调优总结下来可以从下面几个点来调优。 1. 分配更多的资源 分配更多的资源： ...
1年前
大数据开发：Hadoop、Spark、Flink三大框架对比
目前来说，大数据领域最为活跃的三个计算框架，当属Hadoop、Spark以及Flink这三者。三个框架在不同的大数据处理场景当中，表现各有优势，因此也常常被拿来做比较。今天我们也来做个对比，看看Ha...
1年前
大数据开发之Spark 基础入门学习
集群相关 Cluster Manager指的是在集群上获取资源的外部服务，为每个spark application在集群中调度和分配资源的组件，目前有三种类型： Standalone：Spark 原生的资源管理，由 Master 负责资源...
1年前我的面板
看一看
让生活更便捷的智能衣帽间
智能衣帽间是一种结合了先进科技和人性化设计的智能家居产品，它的功能不仅限于储存衣帽，还可以让整个家庭的生活更加便捷高效。本文将为您介绍智能衣帽间的相关特点、优势及未来发展趋势。 一...
1年前
对话360集团CEO创始人周鸿祎：做大语言模型比做光刻机简单多了1988年，王毅和邓爷爷一张罕见的合影，邓爷爷的穿着有大讲究
本文是5月31日品玩举办的“模型思辨——国内大模型生态研讨会”上，品玩创始人、CEO骆轶航与360集团创始人、CEO周鸿祎的对话实录，经整理编辑发布。访谈人：骆轶航受访人：周鸿祎 大模型确实要...
1年前
3D Gaussian Splatting 数据压缩【高斯泼溅】
在上一篇文章中，我开始研究高斯泼溅（3DGS：3D Gaussian Splatting）。 它的问题之一是数据集并不小。 渲染图看起来不错。 但“自行车”、“卡车”、“花园”数据集分别是一个 1.42GB、0.59GB...
5个月前
Three.js系列: 在元宇宙看电影，享受 VR 视觉盛宴
本文 gihtub 地址: https://github.com/hua1995116/Fly-Three.js 最近元宇宙的概念很火，并且受到疫情的影响，我们的出行总是受限，电影院也总是关门，但是在家里又没有看大片的氛围，这个时候...
1年前
AI绘画|如何在Stable Diffusion使用LoRA模型?
#从今天起记录我的2023# 今天来说说关于loRa模型在Stable Diffusion中如何使用. 问题 当我们在使用AI绘图的时候，无论是MidJourney，Stable Diffusion还是其他生成式AI绘图软件，常常遇到的头疼...
1年前
Hadoop 2.x 中的多节点集群部署
Hadoop 2.x 中的多节点群集 从我们之前的Hadoop教程系列博客中，我们学习了如何设置 Hadoop单节点集群。现在，我将展示如何设置Hadoop多节点集群。Hadoop 中的多节点集群在分布式 Hadoop ...
1年前
