大数据共370篇 第2页
大数据,离线计算,实时计算,流处理引擎,数仓技术
71 篇 Flink 实战及原理解析文章(面试必备!)-卡咪卡咪哈-一个博客

71 篇 Flink 实战及原理解析文章(面试必备!)

去重系列 一、Flink去重第一弹:MapState去重 二、Flink去重第二弹:SQL方式 三、Flink去重第三弹:HyperLogLog去重 四、关于hyperloglog去重优化 五、关于bitmap的使用总结 六、Flink去重第四弹...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
015914
七爪源码:Rust 的无畏并发-卡咪卡咪哈-一个博客

七爪源码:Rust 的无畏并发

 Rust 的卖点之一是 Fearless Concurrency。 并发编程常常充满危险:当多个线程在没有原子类型或锁定机制保护的情况下写入相同的数据时,可能会发生数据竞争。当线程超过变量声明时,可能会出...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01548
spark为什么这么快-卡咪卡咪哈-一个博客

spark为什么这么快

作者:张科 网上答案都是千篇一律:数据都在内存所以快,是有误区的。 聊spark必须聊rdd, rdd 全英文 Resilient Distributed Datasets,搞懂这三个单词就完事了其实。 Resilient:能复原的,弹...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
015212
批处理任务在 Kubernetes 中的调度优化-卡咪卡咪哈-一个博客

批处理任务在 Kubernetes 中的调度优化

引言 群脉通过基于虚拟机自建 Kubernetes 集群进行容器(Pod)编排,从而在保证系统稳定性的前提下大大提高了运维效率。我们内部有一条运维原则,叫做“坚持混部”,即尽量把各种不同类型的业务...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01429
AI大模型团队Colossal-AI破局创新,火热招募中!-卡咪卡咪哈-一个博客

AI大模型团队Colossal-AI破局创新,火热招募中!

公司简介 潞晨科技致力于解放 AI 生产力,通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等自研技术,打造面向大模型时代的通用深度学习系统 Colossal-AI ,高效促进 AI 大模型...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
01325
抖音推荐算法原理全文详解,Python爬取抖音数据-卡咪卡咪哈-一个博客

抖音推荐算法原理全文详解,Python爬取抖音数据

抖音推荐算法原理全文详解,Python爬取抖音数据 抖音推荐算法原理全文详解 本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析,内容安全等原理。 了解更多短视频直播数...
虾画怪谈的头像-卡咪卡咪哈-一个博客虾画怪谈1年前
013213