排序
如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种
打开凤凰新闻,查看更多高清图片 最近,有一位名叫Lorenz Kuhn的小哥,分享了他在炼丹过程中总结的17种投入最低、效果最好的提升训练速度的方法,而且基本上都可以直接在PyTorch中进行更改,无...
性能超过人类炼丹师,AutoGluon 低调开源
机器之心报道 机器之心编辑部 自动机器学习效果能有多好?比如让 MobileNet1.0 backbone 的 YOLO3 超过 ResNet-50 backbone 的 faster-rcnn 六个点?AutoGluon 的问世说明,人类炼丹师可能越来...
PyTorch 1.8来了!正式支持AMD GPU,炼丹不必NVIDIA
1.8版本中,官方终于加入了对AMD ROCm的支持,可以方便的在原生环境下运行,不用去配置Docker了。 打开凤凰新闻,查看更多高清图片 △ AMD ROCm只支持Linux操作系统 1.8版本集合了自2020年10月1...
在 Quora 做机器学习「炼丹」是种怎样的体验?
雷锋网 AI 科技评论按:实际上,号称「美版知乎」的 Quora 也已经大量引入了机器学习技术,而 雷锋网 AI 科技评论按:实际上,号称「美版知乎」的 Quora 也已经大量引入了机器学习技术,而 Quor...
北大校友“炼丹”分享:OpenAI如何训练千亿级模型?
编译 | 琰琰 大规模深度神经网络训练仍是一项艰巨的挑战,因为动辄百亿、千亿参数量的语言模型,需要更多的 GPU 内存和时间周期。这篇文章从如何多GPU训练大模型的角度,回顾了现有的并行训练范...
深度学习如炼丹,你有哪些迷信做法?网友:Random seed=42结果好
调参的苦与泪,还有那些「迷信的做法」。 每个机器学习领域的研究者都会面临调参过程的考验,当往往说来容易做来难。调参的背后往往是通宵达旦的论文研究与 GitHub 查阅,并需要做大量的实验,...