站长之家2月24日 消息:Stable Diffusion可以说是世界上最先进的生成式 AI模型，不过目前它通常只在云端运行。那如果同样的模型是否可以就在我们口袋里的智能手机上运行呢?这就是高通工程师已经解决的挑战。
高通在其官方 YouTube 频道发布了一段视频，首次成功在安卓手机上使用 Stable Diffusion 来生成 AI 图像，整个生成时间不超过15秒。高通表示这是全球首次在安卓设备上进行演示。
在发布的研究中，高通透露，通过结合使用软件技术和硬件优化，它能够缩小Stable Diffusion，使其可以在普通的安卓智能手机设备上运行推理模型。
Stable Diffusion 由初创公司Stability AI开发的，当今最流行的图像生成 AI 模型之一，主要竞争对手比如有OpenAI 的 DALL-E。 需要明确的是，训练生成式 AI 模型所需的技术非常庞大，而且不会在智能手机上运行。相反，高通所做的是推理方面，即“生成”部分，它可以从预训练模型中创建新图像。
目前，用户已经能够以间接方式在手机上生成基于 Stable Diffusion 的图像，即APP或浏览器访问生成图像的云服务。高通最新展示的是直接在 Android 智能手机上生成 Stable Diffusion 生成式 AI 图像的能力，无需调用云端来完成繁重的工作。
“为了隐私和安全，当通过用于Stable Diffusion 的云 API 输入查询时，你的所有信息或想法都会发送到某家公司的云服务器，”高通技术工程副总裁 Jilei Hou 介绍道。“而在自己设备上运行人工智能，这个问题就解决了，因为你所有的想法都只存在于设备上。”
Qualcomm 为证明其功能而构建的演示在配备最新的 Snapdragon8Gen2移动平台的 Qualcomm 参考设计设备上运行，该平台已在当今的许多商用设备中使用。
Hou 表示，推理部分是在 Hexagon 处理器上完成的，Hexagon 处理器是高通工程师针对 AI 加速的完整定制设计，是骁龙8Gen2芯片的一部分。
虽然高通的芯片对于移动设备来说功能强大，但 Stable Diffusion 对直接在智能手机上运行提出了一系列挑战。Hou 指出，一方面，模型的大小超过11亿个参数，相关计算量是智能手机上运行的典型工作负载大小的10倍以上。
“这是我们在智能手机上运行过的最大的模型，”Hou 说道。“我们所做的所有全栈优化对于使模型适合并高效运行非常重要。”
高通如何缩小 Stable Diffusion 实现在 Android 上运行呢?
所需的优化涉及大量使用Qualcomm AI Stack，这是一个旨在帮助优化模型和工作负载的 AI 工具组合。
Hou 解释说，对于 Stable Diffusion，他的团队从Hugging Face的FP32version1-5开源模型开始，通过量化、编译和硬件加速进行优化，以在搭载 Snapdragon8Gen2移动平台的手机上运行。
为了缩小模型，他的团队使用了AI 模型效率工具包 （AIMET） 的训练后量化功能。
他解释道，“量化不仅可以提高性能，还可以通过让模型在我们专用的 AI 硬件上高效运行并消耗更少的内存带宽来节省电量。”
对于编译，Qualcomm AI Engine 直接框架用于将神经网络映射到可在智能手机硬件上高效运行的程序中。Hou指出，Qualcomm AI Engine 的整体优化显着降低了运行时延和功耗。为使 Stable Diffusion 在智能手机上良好运行所做的所有工作都将有利于 Qualcomm AI Stack 的未来迭代和用户。
对于未来，高通将吸取经验教训，将其他大型生成人工智能模型（例如，类似 GPT 的模型）从云端带到设备上。Hou补充说，为使 Stable Diffusion 在手机上高效运行而进行的优化也可用于其他平台，例如笔记本电脑、XR 耳机，以及几乎任何其他由 Qualcomm Technologies 提供支持的设备。
“在云端运行所有人工智能处理的成本太高，这就是高效的边缘人工智能处理如此重要的原因。边缘 AI 处理在运行 Stable Diffusion 和其他生成 AI 模型的同时确保用户隐私，因为输入文本和生成的图像永远不需要离开设备——这对于消费者和企业应用程序的采用来说是一件很重要的事情。”
暂无评论内容