大数据共370篇 第5页
大数据，离线计算，实时计算，流处理引擎，数仓技术
排序
大数据开发：Hadoop、Spark、Flink三大框架对比
目前来说，大数据领域最为活跃的三个计算框架，当属Hadoop、Spark以及Flink这三者。三个框架在不同的大数据处理场景当中，表现各有优势，因此也常常被拿来做比较。今天我们也来做个对比，看看Ha...
1年前
看腾讯如何提升 Kubernetes 集群利用率？
嘉宾 | 宋翔出品 | CSDN云原生 提到近两年的技术热词，“云原生”觉得是位居前列。从云计算大数据再到如今的云原生时代，一大批新技术涌现，例如当下最火热的系统部署和容器服务平台Kubernetes...
1年前
与 Hadoop 对比，如何看待 Spark 技术？
Hadoop 首先看一下Hadoop解决了什么问题，Hadoop就是解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。HDFS，在由普通PC组成的集群上提供...
1年前
Spark: 基本架构及原理
Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hado...
1年前
Flink(一)-基本概念
前言：前段时间因为项目需求，需要开发一个实时采集分析日志的任务，最后选择的计算框架是Flink。项目完成后，基本上就没再接触。但总觉得既然用过了，不了解，不清楚，日后又需要还得重新看，...
1年前
Hadoop系列4–HDFS集群搭建实战之HDFS系统部署
2.2 HDFS系统部署2.2.1 HDFS集群简介一个典型的HDFS集群通常由一个NameNode节点，一个Secondary NameNode节点，和若干个DataNode节点组成。本集群搭建案例，以5个节点为例进行搭建，节点部署规...
1年前我的面板
看一看
字节跳动宣布开源KubeWharf，实现云原生化的应用比例已超过 95%没想到，今年“挤奶衫”才是最流行的，谁穿谁好看，显身材有气质
文 / 十界 出品 / 节点财经 在 7 月 23 日稀土开发者大会上，字节跳动宣布 KubeWharf 项目正式开源。 何为KubeWharf？ KubeWharf 是字节跳动基础架构团队在对 Kubernetes 进行了大规模应用和不...
1年前
RTX 30系列GPU支持直连SSD，它会是AI炼丹“大杀器”吗？
花将近一半的钱，买性能2倍的显卡，真香。 在本周的产品发布会上，英伟达推出了RTX 30系列显卡，只要5499元的价格，就能买到比1万元RTX 2080Ti性能高出一倍的显卡。 更多的CUDA核心、张量核心将...
1年前
K8S系列第七篇（Pod、kubectl命令、labels）
更多精彩资讯请猛戳这里：kubernetes系列技术文档 kubectl命令 kubectl是kubernetes集群的命令行工具，通过它能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。kubectl命令的...
1年前
推荐算法炼丹笔记：Deep Bayesian的多目标推荐
作者：一元 公众号「炼丹笔记」背景 本文的算法十分通用，在周围朋友诸多的实践中，基本都取得了一定的提升。虽然该论文未能发表，但是实践意义巨大，估价一个亿！废话不多说，直接学习！ 电商...
1年前
详解“智行淄博”车路协同智慧交通系统及这个五一的实战操作
这个五一，火了一个多月的淄博继续保持高人气，据传每天接待20万“进淄赶烤”的游客，超出常规的城市管理压力下，却好像没听到负面新闻，从而让我们对淄博的兴趣也就更浓厚了一些。在此之前，淄...
1年前
Uber AI 简单方法实现大规模语言模型的精细控制
OpenAI 的 GPT-2 曾经掀起的「大规模语言模型到底水平多高、到底有没有危害」的口水仗慢慢冷下去了，而语言模型的实用性问题也越来越展现出来：如果很难控制一个语言模型的输出，那可能就很难找...
1年前
