VLA（Visual-Language-Action）大模子到底能跑多快？在这篇 RT-VLA（Real-time VLA）论文中，来自 Dexmal 原力灵机（由范浩强等东谈主长入创立的具身智能公司）的盘考者公布了一个反直观的发现：它可以十分快！

具体而言，关于常用的 Pi0 级别的模子（30 亿参数），在单张浪费级显卡 RTX 4090 上最快可以跑到 30fps。这和寰球关于 VLA 模子动辄要几十甚而上百毫秒的刻板印象酿成显着对比。

为竣事这点，盘考者长远分析 Pi0 的模子结构，通过一系列优化把用时从启动的 100+ ms 进行数倍缩减（针对双视角，甚而还是达到 27ms），显耀强于 openpi 里接管的基于 jax 的自动优化的收尾。

此外，盘考者基于现存收尾探讨了异日的“及时”运行的 VLA 结构，联想出一个有后劲最高竣事 480Hz 闭环规定的算法框架。当前，优化后的代码已在 GitHub 开源，一谈竣事均打包为一个只依赖于 torch 和 triton 的单一文献，寰球可在我方的方法里 “开箱即用”。这是 Dexmal 原力灵机继开源一站式 VLA 用具箱 Dexbotic 之后的又一开源代码职责。

张开剩余77%

论文称呼：Running VLAs at Real-time Speed 论文议论：https://arxiv.org/abs/2510.26742 GitHub：https://github.com/Dexmal/realtime-vla

措置什么痛点？

当今机器东谈主 VLA 大模子动辄几十亿参数，天然有可以的泛化能力，然而蔓延问题老是绕不外。即使是在高端推理显卡上，高达百毫秒级别的推理时分让机器东谈主的及时规定贫苦重重，就像一个东谈主看见东西后要愣一下才作念搬当作。

若是咱们能够把模子运行到和相机同样快的频率（25fps、30fps 甚而 50fps），那么就可以在十足不丢帧的情况下处理视觉信息，让 VLA 模子的及时运行成为可能。

怎么竣事？

Pi0 模子贪图历程图示，它主要包括 1 个视觉编码器，1 个编码器和 1 个解码器；悉数这些又可进一步解析为一系列的矩阵乘法和标量运算。

关于 Transformer 这类模子，当它进行单次推理（比如只处理一个问题或一张图片）时，其里面贪图过程履行上是由一长串碎裂的 “矩阵贪图小任务” 构成；而像 Pi0 这种接管 “流匹配” 时代的模子，需要反复迭代十次才能得出最终收尾，每一次迭代本人就包含几十层贪图。这么算下来，通盘推理过程波及数百层、上千个操作。任务如斯碎裂，让贪图优化变得很是贫苦。

本文盘考者通过长远分析模子推理过程中的贪图问题，会通和并行优化每一个贪图关节，捣毁了推理方面的大部分淆乱，再加上其他方面的优化，最终把通盘 VLA 模子跑进了所需的时分之内。

这就像给了 VLA 大模子一份 “高性能 AI 大脑调校指南” ；它通过一系列长远的底层优化，把勤恳的 AI 大模子变成能跑及时任务的 “闪电侠”，并在此基础上，构想出一个能同期具备要求反射、视觉反馈和智能念念考的下一代机器东谈主规定系统。

效果展示

上图所示的任务是捏取一支解放着落的笔。 这个任务对反映时分的要求极为无情。机器东谈主不雅察到笔启动着过时，必须在极短的时老实作念出反映并在正确的时分启动捏取当作，快小数或者慢小数齐会导致任务失败。

最终呈现的效果是 从 “看到笔” 到 “实践捏取” 的端到端总反映时分被裁减到 200 毫秒以内，这冒昧对应到一个 30 cm 驾御的最短着落距离。而东谈主类在这个任务上的一般发挥也不外如斯。

下一步计划

基于上述赢得的后果，盘考者联想了一套圆善的、围绕 GPU 打造的机器东谈主规定框架，它能驱动 VLA 大模子，像 “直播” 同样对机器东谈主进行流式的及时规定，让机器东谈主领有 3 种不同速率的 “反映神经”：

超快反映（480Hz）：处理来独力传感器等高速信号。就像你的手一遭逢烫的东西会一霎缩回，不需要经过大脑念念考。这部分由模子的 “解码器” 细致，能每秒生成 480 次规定提醒。 视觉反映（30Hz）：处理来自录像头的画面。就像你看着球飞过来，用眼睛追踪并判断落点。这部分由模子的 “编码器” 细致。 智能念念考（<1Hz）：处理谈话意会和任务计划。就像你在实践任务时，还能分神听一下队友的提醒或者我方琢磨一下政策。这部分速率最慢，但赋予了机器东谈主更高的智能。

通过分析与实验，这个框架下一步计划最高能以 480Hz 的频率生成机器东谈主规定信号；这个速率，还是摸到了竣事基于力反馈进行规定的门槛。

异日预测

机器东谈主有莫得可能达到 “又灵巧又快” 的效果？这篇著述仅仅一个最先。针对异日不停加多中的边际贪图算力，盘考者预测了更进一步的可能性：

“眼睛” 最快能有多快？从 30fps 到 60fps，甚而 120fps，是否有更多的任务变得可行？ “大脑” 最大能有多大？在及时性阻挡下，咱们是否可以从 3B 模子，走向 7B，13B 模子，甚而更大模子？ “反映” 速率的极限在那儿？在 VLA 框架下，咱们是否还可以建立亚毫秒、甚而微秒级的反馈回路？

从这篇著述开赴欧洲杯体育，一个能够参与及时规定 VLA 的寰宇的大门正在被绽放。

发布于：北京市