公司简介 潞晨科技致力于解放 AI 生产力，通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等自研技术，打造面向大模型时代的通用深度学习系统 Colossal-AI ，高效促进 AI 大模型...

写在前面：此书很棒，但需要一定的编程功底，此外强烈建议买书，因为很多架构图、算子列表，我也不会摘抄下来。 第一章 简介 1.Spark执行的特点 Hadoop中包含计算框架MapReduce和分布式文件系统...

（如需完整版，可转战吴磊老师极客时间付费课程开篇词 | 入门Spark，你需要学会“三步走”-极客时间）Spark 支持种类丰富的开发语言，如 Scala、Java、Python等，尽管不同语言的开发 API 在语法...

由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载...

部署预备Hadoop安装spark运行一般依赖Hadoop(也可以不需要)。关于Hadoop的安装，可以参考 使用虚拟机搭建Hadoop集群在安装Hadoop的过程中，需要同时安装jdk8。2. Scala安装解压Scala二进制包到...

Spark 是加州大学伯克利分校 AMP（Algorithms，Machines，People）实验室开发的通用内存并行计算框架。 Spark 在 2013 年 6 月进入 Apache 成为孵化项目，8 个月后成为 Apache 顶级项目。Spark ...