大数据共370篇 第30页
大数据，离线计算，实时计算，流处理引擎，数仓技术
排序
手把手教你在本机配置spark
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是spark系列的第一篇文章。 最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了...
2年前
Spark性能优化总结（建议收藏）
近期优化了一个spark流量统计的程序，此程序跑5分钟小数据量日志不到5分钟，但相同的程序跑一天大数据量日志各种失败。经优化，使用160 vcores + 480G memory，一天的日志可在2.5小时内跑完，下...
2年前
Hadoop环境配置（一）：Pseudo-Distributed模式
前言寒假花了很多时间在基于Giraph的PageRank这个实验上面，最终实现的效果是在服务器上的分布式环境中使用Giraph这个框架运行PageRank算法。这个系列的文章主要是把在配置Hadoop的过程中所有踩...
2年前
打造 Go 语言最快的排序算法
前言 说到排序算法，很多同学会想起快速排序、堆排序、冒泡排序这些耳熟能详的算法。了解得深一些的同学，也可能看过例如 Python 的 timsort 以及 C++ intro sort 之类的排序算法。 但是我们也...
2年前
Rust & Golang & 未来发展新的方向
考虑到推荐算法在流量红利已经逐渐消耗殆尽的情况下开始内卷，为了避免自己的路越走越窄，需要提前有所布局。目前看到的新的方向就是golang和rust。 之所以选择这两个语言是因为他们都是新秀，...
2年前
php经典趣味算法
许多人在学习C语言的时候都写过一些有趣的算法，其实这些算法在PHP中也同样可以实现，甚至有些算法的代码比C语言中还要简洁。 1、一群猴子排成一圈，按1，2，…，n依次编号。然后从第1只开始数...
2年前我的面板
看一看
计算机视觉的主要任务（计算机视觉的作用）一文带你重新认识计算机视觉领域中，目标检测的最佳算法——YOLO，
4月，实时物体检测系统的最佳算法--YOLO发布了V4版本。下面的文章，将从多个维度，带你重新认识这个视觉识别领域最优秀的算法。介绍 对于我们人类而言，我们借助眼睛看事物，肉眼就能够捕捉到每...
2年前
上海机器人研究所机器人及智能制造产业中心揭牌成立。
2月9日，位于嘉定南翔的上海机器人研究所机器人及智能制造产业中心揭牌成立。 机器人产业基地内部效果图据悉，负责该产业基地运营的新因诺维机器人工程技术研究有限公司于2022年12月入驻...
2年前
热度算法的陷阱
原标题：热度算法的陷阱 在推荐系统中，热度算法有着相对重要的意义，通过热度算法，平台可以为用户提供更有偏向性的内容，增添内容的曝光度，也一定程度上助推平台价值的提升。那么，你了解热...
2年前
stable diffusion安装与简单评测
最近可以在各个平台上看到stable diffusion的相关案例，各种text2img或是img2img的应用都有非常惊艳的效果。 虽然类似功能的DALL-E已经发布很久了，甚至性能更为强大，但是stable diffusion模型...
2年前
教你用three.js写一个炫酷的3D登陆页面，纯干货！
该篇文章用到的主要技术：vue3、three.js 废话不多说，直接进入正题 Three.js的基础知识 想象一下，在一个虚拟的3D世界中都需要什么？首先，要有一个立体的空间，其次是有光源，最重要的是要有...
2年前
Web常见的漏洞描述与修复方案
1.SQL注入 漏洞描述 Web程序中对于用户提交的参数未做过滤直接拼接到SQL语句中执行，导致参数中的特殊字符破坏了SQL语句原有逻辑，攻击者可以利用该漏洞执行任意SQL语句，如查询数据、下载数据...
2年前
