spark共74篇 第5页
排序
AI大模型团队Colossal-AI破局创新，火热招募中！
公司简介 潞晨科技致力于解放 AI 生产力，通过高效多维并行、异构内存管理、大规模优化库、自适应任务调度等自研技术，打造面向大模型时代的通用深度学习系统 Colossal-AI ，高效促进 AI 大模型...
1年前如何优化棘手的Spark程序性能问题？
乍一看编写 Spark 程序似乎很容易，如果了解数据的要求和足够的知识，那就是读取数据集、根据键进行连接、然后做一些转换，最后便准备好了一个交付的新数据集！如果您正在使用的数据非常小并且...
1年前
Spark 性能调优实战
这年代，做数据的，没人不知道 Spark 是什么吧。作为最火的大数据计算引擎，现在基本上是各互联网大厂的标配了。 比如，字节跳动基于 Spark 构建的数据仓库，服务了几乎所有的产品线，包括抖音...
1年前
spark性能优化（一）
本文内容说明初始化配置给rdd和dataframe带来的影响repartition的相关说明cache&persist的相关说明性能优化的说明建议以及实例配置说明 spark：2.4.0 服务器：5台（8核32G） 初始化配置项 %...
1年前
spark性能调优
Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。 一、常用参数说明 --driver-memory 4g : driver内存大小，一般没有广播...
1年前
Spark性能优化总结（建议收藏）
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下...
1年前我的面板
看一看
识别 4000 种语言、生成 1000 多种语音，Meta 开源大模型再下一城！长期不穿内衣的女性，身体会发生哪些变化？女孩子不要羞于了解
整理 | 屠敏出品 | CSDN（ID：CSDNnews） 和 OpenAI、Google 分道扬镳，Meta 在开源大模型方向上越走越深。 今日，Meta 在 GitHub 上再次开源了一款全新的 AI 语言模型——Massively Multilingu...
1年前
如何解释「卷积神经网络」？
阅读提醒，本文以严谨为主，兼顾理解。 目标 介绍CNNs的基础结构和训练方法。 理解本文所需知识: 高中数学，高中语文 完全读懂本文所需知识: 微积分，线性代数 为了大众阅读，在英文第一次出现...
1年前
6G加持AI人工智能再遇上脑机接口技术，未来是怎样的技术变革？
当6G加持AI人工智能遇上#脑机接口#技术，将会对人类社会科技产生多大的深远影响呢？ 6G能够提供更快速、更可靠、更高效的数据传输，这将为人工智能和脑机接口技术的发展提供更加丰富的可能性。A...
1年前spark性能调优
Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。 一、常用参数说明 --driver-memory 4g : driver内存大小，一般没有广播...
1年前从“一键换脸”惹官司到“AI孙燕姿”引争议：AI如何“向善”？
在小程序中上传一张照片，“一键换脸”生成一段以自己为“主角”的新视频；培养一位自己喜爱的歌手的AI版，然后指挥它去唱歌；用言语简单描述自己希望看到的画面，自动生成一幅精美画作……曾经...
1年前
sentry-javascript解析js异常错误如何捕获
前言之前讨论了fetch、XHR是如何捕获的，本次我们来看看js异常捕获是如何做到的。关于addInstrumentationHandler和fill方法可以在第一篇文章中了解。之前的文章可以看这里：sentry-javascript解...
1年前
