跳到主内容
@wquguru
精选75硅谷101(YouTube)行业动态

对话高通:智能体爆发与6G背后的边缘AI赢家

对话高通:智能体爆发、6G与Physical AI背后的大赢家

原文
发到 X

AI周期 前沿大模型们在表面上厮杀 而在水下 有一个隐形的大赢家 高通 过去一年 高通股价大涨60% 并在五月底创下历史新高 随着“Physical AI”的概念在今年走进主流 AI边缘设备 包括AI手机、AIPC、XR、汽车以及机器人等市场的火热 推动芯片市场需求 再加上6G技术的期待 使得高通这样布局多年通信和芯片的技术巨头 旗下的骁龙产品和平台被寄以希望 成为接下来“边缘AI”生态的核心玩家 这期视频 我们来到高通在北京举办的“骁友会五周年派对” 现场对话了高通公司全球副总裁徐晧 我们要让人工智能触及到千家万户 AI去到终端设备 你觉得现在难点在哪里 多大的模型可以放在手机上 我们又做通信 又做AI 又做机器人 所以我们可以把这三者结合起来 打造一个最好的一个解决方案 AIPC这个东西是不是伪命题啊 其实PC上面有很多的AI是可以应用的 一个最强的AI的商业化的一个用例 就是做coding(编程)

AI进了车 但实际上这里面有非常多的技术支持 是从我们的工程团队 从我们的研发团队 要考虑的事情 但从用户的角度来说 我们希望这个对用户是完全无感 其实眼镜相对来说在某些方面是最难的一个端侧的AI 同时 我们也与徐博士一起在现场逛了逛展 体验了数款当下讨论热度非常高的端侧产品 来看看AI是如何在底层赋能Physical AI的进化 那接下来 就跟随我 走进高通 骁龙的AI布局 我在硅谷看到今年AI其实是有两条线 可以说一条是明线 一条是暗线 明线就是当大家还是在卷 最好的 最SOTA(顶尖)

的大模型 但是暗线 我发现 大家是在慢慢地看端侧模型 是不是能够有一个更好的应用了 在你的观察来看 你觉得今年到了 我们应该去看AI+硬件的这个时候了吗 最早的人工智能的发展 肯定是以云端为主 因为大家都想知道 人工智能它的能力边界到底在哪 但是在我们现在人工智能发展到 现在的阶段的时候 我们会意识到 有更多的应用 它实际上需要有终端的支持 我们最先看到的是手机 智能手机上人工智能的应用 除此之外 我们还有XR的眼镜 有车的自动驾驶 然后有车内的娱乐系统 还有机器人 我们现在看到非常多的机器人的应用 这些都是把云端的算力 和云端可能做的事情慢慢落地到端侧 所以这是个非常大的 可能有百亿、千亿的 这样一个体量的人工智能的应用 所以我们是非常积极地推动 人工智能在端侧的落地的 要让AI去到终端设备 你觉得现在难点在哪里 它是模型做不到还是算力上面的挑战 比较明显的几个挑战 第一个是手机上的算力 多大的模型可以放在手机上 比如说我们做过一个研究 在2024年 最好的Llama出来的一个模型 小于一年的时间内 100多个billion或者几百billion的这些模型 它用很小的模型 有4个billion或者几十个billion的 它就可能达到同样的效果 甚至于更好 这是一个大的趋势就是说模型在变小 在它同样功能的情况下 它可以用更小的模型在端侧得到实现 除此之外 比较明显的技术有一个叫蒸馏 这个模型是根据这个大模型训练出来的 但它的体量会小很多 比较适合于在端侧运行 另外一个就是量化 比如说我们用的很多的云端模型 它是用的叫浮点运算 但是你可以把它变成定点 变成定点之后它有两个好处 一个是让你的运算更快 第二个是它会减少对芯片的存储要求 比如说LoRA Adaptation(低秩适配)

我有一个大模型 但我搭一个小的模型 来适配我们现在要做的任务 那么它就是可以把这个大模型适配到 我现在要做的任务上去 还有个叫MoE(混合专家模型) 就是Mixture of Experts 我可能有很多的 每一个专项的专家 但是我最后调用的时候 我有总的一个规划 你问的这个问题 我调这个专家 你问的那个问题 我调另外一个专家 所以这里面有层出不穷的 非常多的技术的迭代 第三个就是我们怎么样把模型优化 把它的内存减少 然后把它的功耗减少 这样的话我们就能打造一个 又节能 算力又好 内存也用得少的这样一个架构 内存也用得少的这样一个架构 当然这个还是不断在往前演进的一个过程 如果我们看一下硬件端的话 我们有手机 然后有PC、AIPC 也有车 现在也有机器人 当然还有可穿戴设备AR、VR这一系列 能不能每一个类别都跟我们说一下 这对技术有什么样的需求 现在有什么样的困难 高通在中间的一些布局是什么样子的 我们先从手机开始说 从手机上来说 现在大家对手机的要求是越来越高 从最开始的拍摄照片 所以我们做了很多的 Image processing(图像处理)

和对camera的optimization(摄像头优化) 就专注于图像的处理 和专注于对摄像的处理 从那之后 我们到了 比如说语言的通信 或者是很多人现在用AI软件来跟它对话 问它任何问题 这个是大语言模型有关的应用 这方面 比如说我们调用国内的一些app 或者是在美国调用美国的一些app 很容易地就跟它有一个交流和问话 这是第二类的应用 第三类的应用 现在我们看到越来越多的 是叫agentic(智能体)

的应用 那么这样的 我们也看到了一些 这方面的手机会出现 它能做到什么 它不用先装APP 你直接跟这个手机对话 就告诉它我要什么 它就可以根据它能找到的所有信息 把这些事情给你做出来 现在我们看到最明显的一个趋势是 手机上的AI agent(智能体) 现在很多的手机厂商 和很多的大厂都在看这个方向 为什么我们有时候说 AI是new UI(全新用户界面)

它是个全新的user interface(用户界面) 我们现在从键盘到手机上按键 到我们现在的语音指挥 这实际上有很多不一样的变化 从我们选app 到不用选app 这些都是我们的 慢慢地我们会适应的一些用户体验 以及交互方式的转变 如果我们能够直接语音地告诉它 我们需要什么 这是最便捷的 大家好 我是荣耀研发工程师 我手边的这台就是荣耀研发的Robot Phone 接下来我会为大家展示 它的一个好玩的特性 叫做“随音而舞” 随音而舞就是当您在 随音而舞就是当您在 想听一首音乐 放松一下的时候 就可以告诉Robot Phone Robot Phone强大的AI能力会识别您的意图 并且调用云台控制算法 并且调用云台控制算法 然后生成一系列的云台拟人化动作 接下来我为大家展示一下 播放音乐 还有个跳舞的动作 看上面那个摄像头 好可爱 它在点头 它跟着节拍走的 它如果换一个节拍 可能它动作就不一样了 它是怎么做到的 它就是基于荣耀自带的这个音乐识别能力 会把整体的音乐节拍会识别出来 基于这些生成节拍 我们会进行一系列的云台动作 基于云台控制算法把这些动作生成出来 关闭云台 它全部进去了 对 然后收起来就是一个手机 这个手机 包括这个demo 其实是我们跟荣耀 在这次骁友会五周年的派对上特别展出的 它其实也开创了一个比较新的终端类型 大家看到有一个直板手机的形态 但是配合了一个这种可以移动的 可以翻转的云台摄像头的这么一个形态 我有个问题 越来越多AI的功能上了我们的手机之后 其实在它的硬件方面 在底层技术上面 高通有什么样的支持 去支持更好的AI跟硬件的结合 对 我们的架构叫异构的架构 所以我们这里面架构包括CPU、GPU、NPU 可以把每一个 它的硬件部分都能够用到它的特长 每年我们都会发布新的旗舰产品 支持的人工智能算法也越多 因为它需要有一个软件和生态的支持 AI手机还没有变成一个 好像大家都很能接受的东西呢 可能是不是还在比较早期 因为我听说 OpenAI它也在研发相关的手机硬件 现在有两种不同技术上的方向 一种是我这个手机从拿到手以后 它就是一个agent(智能体)

我从摁了这个电源键以后 所有的交流都会是语音的 我就像跟一个人在谈话一样的 我会指挥它做完所有的一切 这是一种 另外一种是现在的手机 但是我里面有一个super app(超级软件) 它这个app能够调用所有的(软件) 我直接告诉这个app我要什么东西 它会把所有的东西都给我打通 所以这两种现在都存在 而且都是在并行的一个发展趋势 但是也不排除有其他的做AI的公司 来进来做一个全新理念的AI 这两种方式你觉得哪一种会更容易跑出来 两种其实都还不好说 因为第一种是 它需要打通所有的你能想到的app 所以它有一个生态上打造的过程 另外的这个super app(超级软件)

比如说有一些很大的厂家 比如说Google也好 它本身也有map(地图) 有Email(邮件) 有Google Pay 有Google Travel 实际上Google从某种形式来说 是这种super app(超级软件) 所以这两个我觉得 一个是生态 是不是所有人都能支持这个生态 另外一个 你的体量是不是足够大 能够把所有人都吸引到 你这个super app(超级软件)

或者你的平台上来 所以它更多的是一个 需要时间来验证的事情 它并不是一个技术上的问题 需要多久 你觉得今年我们能看到吗 我们其实去年今年已经看到 国内有些手机是像第一种形式了 有些雏形了 第二种我们也看到国内有一些厂家 都有这样的用例了 两种方向都是有的 然后在最近的几年 它会不断地往前推进和发展 然后我们再看哪个趋势会最后 更popular或者更流行 这个是我们和加速进化合作的 K1机器人 它用的是我们高通跃龙TMQCS8550平台 这个平台端侧的AI算力非常强 非常适合于用在我们这种机器人身上 有非常好的 提供语义理解和自主感知的能力 然后我们可以看一下 表现一下它点球的动作 来 点球 点球大战 来看一看 另外 我们也精心挑选了两只手机 这两只手机特别适合在运动场景 观看足球比赛的场景下 用这样的手机 都是搭载骁龙芯片的 能拍出特别好的照片 连拍 然后运动防抖都做得非常好 我们不妨先让它自己先自我介绍一下吧 好 通天晓 你好呀 可以向我们的陈茜老师和徐晧博士 打一个招呼 并介绍一下自己吗 哈喽 陈茜老师 徐晧博士 我是通天晓 来自成都阿加犀的具身智能机器人 是阿加犀与高通联合打造的 端侧AI标杆产品 很高兴见到两位 期待一起解锁科技乐趣 对 其实可以看到它现在就是 在对我们的语音来进行一个交互 但同时其实它也会去观察四周 比如说我这边看一下你们 跟你们说一下话 然后这边再看一下大家 跟大家交互一下 所以说它本身是得益于我们目前 高通跃龙TMQCS8550强大的计算平台 比如说CPU可以支持它比较丝滑的 各种各样的舞蹈动作 以及与环境的交互动作 它的GPU 其实可以同时再去处理 多个摄像头的视频信息和图像信息 它强大的NPU其实可以同时处理 比如说语音的一些ASR(自动语音识别)

TTS(文本转语音)的模型 还有我们端侧的LLM(大语言模型)的推理 所以说它在一个纯端侧的环境下 可以达到一个比较实时的 Locally(本地端)的推理的环境 从而能够让我们看到它现在非常智能的 比如说能懂 能动 而且还能聊的这么一个状态 所有的这些大厂都在跟机器人的赛道 我们作为一个芯片的传统厂家来说 我们给机器人提供的芯片要做到下面几点 第一个 它的算力需要比手机更强 因为它需要规划的事情更多 第二个 而且它可以能够承载更大的面积 而且它的能耗比手机的能耗需求 也会有一定的放松 所以芯片来说 我们可以做更大的 更好的芯片 我们可以做更强算力的支持 我们也可以做更好的大语言模型和VLA(视觉-语言-行动)

的 或者是world model(世界模型)的支持 这个是机器人上面的 所以我们有一系列的给机器人的这些产品 包括我们低端的 只负责运控的 或者是高端的 可以有大脑的能力和VLA(视觉-语言-行动)的 以及最高端的算力 业界基本上是top(顶尖)的算力 来支持最复杂的机器人应用 还有一点 机器人它其实对延迟特别的重要 它一定要低延迟 特别是它做的东西越来越复杂 或者它跟人有一个越来越亲密交互的时候 这个延迟是非常重要的 高通其实有非常多底层的技术在 因为你们做通信这么多年 在这方面你们有什么样的优势呢 跟我们讲一下 对 有两点 第一点 我们尽量把机器人本身的算力做到极致 那我很快地就能够 对周围的环境做一个反应 做出本地的决策 降低对云端的依赖 这是最容易的 它对时延的要求是最小的 但是也有一些大的规划 长期的规划 需要逻辑推理的 现在端侧的算力可能做不到的情况下 我们需要用最快的通讯手段 把你的需求传给云端 正好我们现在一个比较强的项目 就是我们现在有5G、6G的支持 因为我们又做通讯 又做AI 又做机器人 所以我们可以把这三者结合起来 如果在端侧能解决 就在端侧解决 不能解决 我们放到边缘云或者云端 就比如说现在的5G通讯 在从基站到手机大概是毫秒级别 所以有些时延要求在几十毫秒以外的 你就可以放到云端去做 但是如果是几十毫秒以内的 我们就在端侧这边做 但6G我们可以把这个压缩得更短 把这个时延可以压缩得更短 到多短 这里面其实难的问题 并不一定是基站到手机的连接 这里面难的一点就是说 有一些云端的 或者是IP 或者是它端到端的 云端的调度 或者是传输 它那边的时延要做到很好地控制 5G有个叫TSN(时间敏感网络)

Time sensitive network 它是专门给你的每一个包上面 打一个时间戳 能够保证你端到端的时延是可控的 这个技术在5G做过 但是6G我们也会看 所以尽量把它压缩到毫秒 几个毫秒或者十几毫秒范围内 欢迎您来到高通6G的展台 今天随着AI业务的不断出现 所以对网络 对终端都有了新的需求 我们实际上从两个技术轨道 来推动相关的合作 包括我们6G的原型机 跟国际上 还有国内的一些网络厂商 做原型机的对接 另一方面我们是从用户的体验出发 看新的业务对网络 对终端 有什么新的需求 所以我们也做了相关的一些样机 来给用户提供一些新的体验 同时我们也来检查 网络到底对新的业务支持 需要有什么新的能力 所以我们是从两个技术轨道 一直在推动6G技术和AI技术的结合 并往前推动工作的发展 徐博士 我很好奇 在观众们的一个视角 大家觉得5G好像让我们的手机 让我们的app 让我们的交互更快了 6G的定义到底是什么样子 6G会怎么样去改变我们的生活 6G跟5G的一个比较大的区别是 我们现在要更多地考虑 人工智能原生的6G设计 因为6G大概的商用时间点 应该是2029年到2030年之间 过几年人工智能产生的流量需求 会占30%到40%总体流量的需求 那我们6G就必须要考虑到 更多流量需求的 对6G网络应用的支持 另外一方面 我们6G也会考虑一些全新的元素 比如说我现在这么多的智能体 它互相之间怎么交流 我怎么样能够让我的手机 我的手表 我的眼镜 甚至于以后有可能有指环 端侧的这些智能终端出来之后 它怎么样最有效地跟网络连接 这些都是我们现在会考虑的一个范畴 另外一个范畴就是说 我们也要知道这个物理世界是什么样的 给机器人也好 给车也好 有一个6G的技术叫通感一体化 就通信和感知是一体化的 我们当然有很多的无线信号 在外面发送的时候 它会从不同的物体上弹回来 通过对这些无线信号的接收和理解 我们可以构建一个 由无线信号来产生的地图 或者对外界的感知 这个感知的世界加上我们摄像头的世界 加上我们的地图 它会打造一个物理世界 在这里面可以做人工智能的训练 可以做物理世界的理解和监测等等 比如说我们现在还有空管 来看无人机的监测 因为低空经济如果以后很流行的话 满街都是无人机在飞的时候 你怎么样控制它 你怎么跟踪它 所以这些都是6G我们会考虑的设计元素 说一下汽车 车上面是这样的一个问题 车上面有两个系统 第一个是自动驾驶 这个是我们最近的5到10年 有突飞猛进发展的一个领域 自动驾驶这边 因为它要对周围的环境有非常好的理解 做出非常好的判断 然后再做决策 它的要求就是高算力 它对能耗的要求没有机器人和手机那么高 Memory(存储)

你可以多给一点 你的算力可以多给一点 这个很重要 它的算力速度要很快 而且要有大算力来解决这些复杂问题 车上还有个应用 就是infotainment(车载信息娱乐系统) 就是我们的娱乐系统 我们现在看到的中国的电车和国外的电车 你上车了之后就可以有大的屏幕 或者是环绕立体的音箱 没有人在客厅看电视了 全到车里面去看了 所以你坐到中间的时候 你一打开 可能自动驾驶 你都想睡在那了 所以在这种情况下 我们会看到对两边都有需求 我们有专门的 Snapdragon Ride 我们打造了一个叫骁龙的数字底盘 我们是在业界第一个提出这个概念的人 因为我们觉得 车上面它需要一个统一规划的数字底盘 它这个底盘需要做到什么呢 需要把所有的车上这些传感器都连上去 包括雷达 包括视频 包括你比如说要做激光雷达也行 包括所有的扬声器都连在上面 它统一规划 有的是让你享受的 有的是它必须做的自动驾驶的 有的是看路标的 有的是看行人的 所以这些所有的规划在一起 我记得我们有零跑是在 它用了两颗芯片 这两颗芯片一起来支持两个系统 你可以用一颗芯片来支持智驾 一颗芯片来支持entertainment 就是娱乐 但是我们把这两个芯片也可以结合在一起 如果我的自动驾驶需要很大算力的时候 我可以把两部分芯片上 大部分算力都给自动驾驶 如果我这个娱乐系统需要什么的时候 但自动驾驶又不需要那么高的算力 我也可以把一些算力给娱乐系统 我不光是要很好地用到这两个芯片 更重要的是我要知道有优先级 虽然我们觉得这个AI进了车 但实际上这里面有非常多的技术支持 是从我们的工程团队 从我们的研发团队要考虑的事情 但从用户的角度来说 我们希望这个对用户是完全 Transparent(无感的)

他一进去 这个音响真好 只是很爽 只是很舒服 我告诉它去哪就行了 然后它能够告诉我 我一进去座椅调到我需要的角度 温度是我最想要的 音乐的高低 所有都是我最想要的 这是我们想给用户打造的一个 无感的人工智能的体验 但是背后 就像我说的 有非常多的技术的积累 以及研发的技术在赋能这些 给我们端侧的一些应用 那这辆车 零跑D19 这个是咱们全球首批 搭载咱们双骁龙8797芯片的一个旗舰车型 说到8797这个芯片 对比上一代平台来讲 有一个非常大的性能的提升 首先在GPU 在CPU方面 它的提升达到了将近3倍 然后在NPU的AI算法上提升了更是12倍 当然也给这个车带来了一些变化 首先第一点 整个车的 从驾驶舱到整个的空间 到整个的车机系统 都能实现一个深度的融合 让整个车成为一个体 形成一个叫中央集算模式 这个中央集算模式的优势是什么 首先 它优化了电气线路 整个车的电气线路 然后节约了成本 与此同时 它还能够提升车的整体协调性 还有它的反应速度 这是第一 第二 在这个中央集算的算法之下 整个的乘坐舱实现了五屏联动 有咱们的中控台 有仪表盘 有挡风前面的这个屏幕 然后有后边的娱乐屏 还有下边操作风扇的屏幕 都是可以联动起来的 所以把整个车的空间形成了一个 叫全景式的空间 这个乘坐感非常的好 第三 依托于咱们这么强大的算力 乘客在使用AI大模型的同时 驾驶员同时可以享受 VLA(视觉-语言-行动)

多模态的辅助驾驶 最后 依托于咱们这个双芯片强大的功能 支持整车40个以上的摄像头 包括激光雷达在内的28个 这种精密监测硬件的协同工作 而且还可以同步OTA线上升级 所以可以说这是给未来的L3、L4 甚至更高级的辅助

原文超出正文长度上限,此处截断——上游还有内容,完整版见上方「原文 ↗」。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近