您的位置:首页 >资讯 > 财经 >

50小时Ego只等于5小时UMI,跟头部供应商聊了背后的逻辑。 速递

2026-11-12 11:41:17    来源:硅星人

最近看到「海外独角兽」发的Robotic专题文章中提到 UMI 需求量增大,是因为 Ego 数据效果不好。

其实有几家头部公司都给我 offer 了类似的事情,Ego的 Scaling law 很难验证出来,而UMI就很容易。


(资料图)

原因定位在采集精度和信息量上,所以他们有些又转向了使用 UMI。

我很支持这种根据训练效果重新调整数据的做法,看来 Ego 数据的边界也快要摸清楚了。

预训练的规模已经到了 220 万小时,可同样一小时的数据,能带来的帮助未必一样。

我们收集了一些信息,大概 5-10 小时的 ego数据训练效果,可能才相当于一小时的 UMI。

这也让我觉得,预训练阶段的数据就得认真考虑动作信息的密度和精度。

如果一些关节和接触信息在采集时就没留下来,后面再想办法补充,难度会非常大。

而这些问题,模型侧的需求我大概已经能 Get,数据侧的一些想法,我也希望听听供应商的看法。

之前一直听说简智团队联创朱雁鸣最近半年都在北美拓展业务,对国外公司的信息了解的比国内更快一些。

我相信他也一定清楚10小时 Ego 等于1小时UMI的原因,所以我们也非常有幸约到了朱总交流了两个小时。

To be honest,九月就有投资人 push 我们深度调研下简智,这次也终于等到了合适的机会 hh。

这次交流了非常非常多的内容,比如对Ego精度的看法,对 human data 的看法,比如为什么现在这个节点要发新的手套和头环,他们自己以为的壁垒是什么。

今天把一些关键的信息和我们内部的看法写下来,也希望和大家多交流数据层面的一些观点。

话不多说,我们开始吧。

1

数据形态的终局是什么。

先从「数据升维到 Human data」说起,一个大前提。

朱雁鸣对行业的判断是,机器人会往越来越像人的方向靠,身高、尺寸、关节、手,再到腰部和全身的运动。

这也是简智为什么会选择 human data,数据得跟着人走,不能只服务某一款或者某几款机器人。

在这个逻辑下,他对 human data 的定义是比较宏观的:

可能前几年大家更多的还是只关心手,或者下半身不动,就两个机械臂加一个夹爪在干活。

未来到了全身人形的阶段,腰、腿这些位置也都得进来。之前单目的 ego 头环就没办法看那么多信息,所以最近市面上多目的头环也多了起来,目的都是为了记录更多的人体运动信息。

至于为什么要做更全面的数据采集,朱总解释了自己的逻辑。概括起来是:

说人话就是,先把人的动作和交互采得更完整,等机器人需要的时候,就有更多信息可以选择。

这个大方向我是认同的。

问题也还有,「能降维」和「降维就能用」还不一样。比如人的手指数量、身体比例和机器人的关节限制都不一样,保留哪些运动、调整哪些动作,还是得看模型效果。

这个逻辑他们自己内部还在验证。

朱总 offer 了一个例子,比如五指操作可以映射到两指 UMI 上,他们内部也能得到一些有用的数据。

这就是简智做数据升维的逻辑,在采集的时候尽可能地保留更多的原始多模态信息。DAS 2.0 就是在这个大的设想下发布的新一代产品。

也快速和大家过一下吧,主要是一台 Ego 2.0 头戴六目相机和一副 DEX 2.0 数采手套,配套的还有腕部相机。

托 CoRL 的小伙伴帮我们拍了下实物图。

横向视野从上一代的 270° 提升到 340°,朱总说主要是为了捕捉更多环境信息,改善空间定位。

包括相机往额头前面挪了一些,以及视野下调,这样画面里腰以下的身体占比就可以增加。

我问了一句,这是你们自己发现要改,还是客户要求的?

朱总说是自发的。一代的时候也试过做全身,但实际场景里遮挡太多,有时持续十几秒,仅靠上下文也很难补准。

写到这里,我脑子中还闪过了觅蜂,之前有聊过他们给原始数据分级,也是类似的思路。现在用不上的,不代表以后用不上。

但信息采得更多以后,还得保证精度更高。

单目 Ego 头环一个大几千块,走量还可以往下谈,指望头环提供非常小的定位误差,不太现实。

哪些信息值得直接测下来,给模型一个更可靠的参考?

这就到了手套这部分。至于这些数据怎样进入预训练、中训练和后训练,我们与朱总也展开了充分的探讨,后面会和大家分享。

1

手套发了这么多,简智的逻辑是什么?

最近真的看了太多的数采手套,就比如之前分享过的临界点。

我简单让大模型查了下,仅公开信息能查到手套发布就有很多。

上半年还在强调遥操手套 or 数采手套,最近一两个月则会强调两者兼顾。

国内公司卷的基因还是太权威了,所以我也会有疑问,为啥简智现在要来卷手套?简单地收集人类动作和触觉做训练数据,这个故事都会讲。

并且简智这次的 DAS DEX 2.0,还选择了外骨骼。最开始我以为是下面这种,会有很多外置的结构件。

图源网络,外骨骼手套示意图。

看到实物后,才发现跟我想的不太一样,他们是侧置的外骨骼设计,这样对动作的干扰就会比较小。

那我的下一个问题是,简智愿意付出这个代价,是想多记录下什么?

DEX 2.0 的侧置外骨骼

手套的部分,我们聊了很多。

天南:我最近看到的织物手套会比较多,你们为什么选了外骨骼?

朱雁鸣:其实逻辑还是方便使用以及精度要准。包括像你刚才也聊到之前的外骨骼手套存在的问题,那我们侧置的外骨骼就基本上不存在此类问题,以及我们希望直接记录手部的动作和姿态。

相比 IMU 或者 EMF 还是会更准一些。还有一点,我们为啥没做织物手套,除了精度不错之外,我们更看重的是鲁棒,要更耐造。

包括能给操作提供更稳一些的触觉信息,这些都是 DEX 2.0 当时涉及时考虑的内容。

天南:你几次提到原生动作,是更多在强调外骨骼这件事情吗?

朱雁鸣:对。就比如从指尖轨迹出发,把它映射到一个标准手模型里,再加约束去还原姿态,结果可能看起来接近,但跟当时人的实际运动仍然有差别。我们希望把原生的关节运动也保留下来,作为额外的信息交给模型。

DEX 2.0 是把磁编码器放进外骨骼关节里。可以直接读取机械关节的转角,再通过标定还原手部状态。

天南:电子皮肤这边,你们用的是压阻方案。不同手套之间的一致性怎么保证?

朱雁鸣:这里要处理材料和加工工艺带来的差异,否则使用中可能出现漂移。我们花了很多时间找材料,在发生形变的那层用了多孔结构,希望通过孔的形变改善一致性。

感知单元用了石墨烯喷涂,这也是从改善制造一致性的角度考虑的。

至于前面提到的运动信息会交给什么模型,我也追问了一下,朱总说他们内部在做很多数据处理的模型。

我对这块还是很感兴趣的。

写到这里的时候,依旧想到了 Tesla 的 Data Engine。

我会认为即使手套把触觉和姿态都做好了,数据需求中短期仍然可能不会很大(价格在这里)。

如果手套需求不大,那做这件事的意义在哪里呢?这是我最近一直存疑的地方。

朱总的回答里,有一点我觉得是有价值的:他希望用手套采回来的高精度数据,改进那些没有戴手套的数据。

简智把采集分成三种。

  • 纯 Ego 负责记录人、环境和操作的上下文,最容易铺量;

  • 加上腕部相机,把近处的手和物体拍得更清楚;

  • 再加手套,就多了关节运动和触觉的测量。

CoRL 的同学也有跟我们反馈说,北美现场那边很多 frontier lab 对简智最新的 wrist camera 会比较感兴趣,这里也蹲一下后续的使用反馈~

手套的数据既可以直接使用,也希望能给前两种方式提供参考。朱总用的词是 ground truth,也就是真值。

要把这些信息用到更多数据里,就需要他们内部的数据处理模型。

这就聊到了我这次感触最深的一部分。

1

数据公司训模型和背后的思考。

直接放结论。

简智希望通过自己的模型,让那些没有戴手套的数据也能变得更准。

也就是利用自己升维的数据,去提升低维数据的信息量。

我觉得还是比较重要的,稍微展开下。

之前有和大家聊到,单纯的数据采集本质是服务业,我会对数据 infra 公司的壁垒在哪里很感兴趣。

如果数据供应商自己训模型,其实是可以积累更多的 knowhow。

朱总提到的 DFM,就是希望把不同模态的信息放在一起,做标注、补全和校验。

随手翻了下简智官网,他们的数据治理平台。

这么看,手套在这里会更像一把尺子。

直接采回来的数据除了售卖还会多一层价值。尤其在手套还没大规模铺开的时候,我认可用高精度数据去帮助更大规模视觉采集的思路。

我当时还追问,这样会不会让简智原来卖的 Ego 数据也变得更有价值?

朱总给了肯定的回答,而且客户会更愿意 pay more,并且也分享了他对模型投入的看法。

朱雁鸣:我们对于数据的 infra 还是持积极的态度,这里面能做非常多的事情,虽然有些东西商业化会难一些(比如模型)。

但内部讨论后还是坚持做,希望自己对数据的认识经过更充分的验证。客户可以给反馈,但自己也要有判断,否则永远落后于客户,跟不上客户的创新速度。

我会觉得这句话还挺深刻的,在结束和朱总的交流之后,我们内部也讨论了不少。

会有一些担心,数据公司未必有足够强的模型能力,这是其一。其

二是模型在现有场景数据上收敛,客户未来换场景(比如新需求是跨国),还能不能处理好。

如果投入很大,又跟不上新的变化,会不会变成负资产?

这个问题也抛给大家一起讨论。

我的看法是,把数据质量做好,只靠人工标肯定是不够的,客户会告诉你在一个月之内提供五十万小时的数据。

你不行,我就换别人。

在这么短的时间内,如何保量保质的做好交付?

所以如果不做自己的数据 infra ,大概率是上不了最大的牌桌的,这是所有数据供应商必须要建立的基础能力。

但确实也会是一把双刃剑,做得好就会领先很大一截身位,做的不好确实也有可能成为负资产。

数据公司的壁垒,也得在这些具体的交付和改进里积累。

1

同样在卖数据,大家想的还真不一样。

除了前面和大家分享的主线,我们还聊到了后训练、采购、运营和不同客户对数据的理解。

下面按原意精简整理,合并了同一话题下的讨论,保留各自的判断。

分享给大家。

天南:你们强调的人类经验,主要服务预训练,还是也能进入后训练?如果以后大量机器人部署起来,长期会不会仍然以真机数据为主?

朱雁鸣:我认为人的数据可以进入后训练。过去的困难,一是精度不够,二是信息不完整,很难映射到机器人上。

假设一段人扫地的数据能够准确映射过去,机器人也能把这个操作完成,它就有机会发挥与遥操数据相近的作用。这是我们想做到的目标。

部署后的真机数据也有价值,尤其是失败和重试,但我还关心机器人原来不会的事情,怎样得到一个正确示范。比如它本来不会跳,单靠已有部署,就很难得到这个示范。

上面这个问题我的看法会有保留。

我支持现阶段探索人类的数据,但长期更倾向部署后的真机数据。未来一两年,后训练的主力大概率还是遥操或者同构的无本体数据。遥操和接管同样可以提供正确示范,人的数据则可以先在动作容易迁移、结果容易验证的任务里尝试。

中训练也会有分歧。朱总希望把高精度信号更早放进预训练,减少后面补课的需求,并没有否定中训练会长期存在。我们仍然认为,本体铺开以后,中训练会变得更重要,具体本体的适配需求也还在。

但如果今天你能买到的 ego + 手套数据都只要几美金,并且采集效率也很高,那很多现在的分歧都会收敛。

下一个问题。

天南:大模型厂商对 Ego 数据的需求在增加,但大家怎么用这些数据,是不是仍然有分歧?跟具身公司的需求有什么不同?

朱雁鸣:确实会有分歧。同样是 Ego 数据,有的需求是让模型理解更多环境和信息,有的则希望提升规划能力,这两种目标对应的数据要求不一样。

如果单看别人买了很多 Ego,却不知道具体咋用,那会很容易走偏。具身里一些做落地的团队,会更具体地盯着某些任务和场景,希望任务范围能收敛下来。

天南:如果外购的遥操数据跟自己的本体不适配,为什么还会有人买?你们怎么处理这个 Gap?

朱雁鸣:我接触到的客户会指定设备,比如要求采集用的手与最后部署的手是同一款。他们买的也包括供应商的运营能力和场景资源,让供应商按要求组织采集。设备有时由客户提供,有时由供应商采购。

天南:数据这门生意的运营还是挺重的,你们自己怎么看这里面的壁垒?

朱雁鸣:运营能力里很重要的一点,是能不能采到多样性的数据。我们现在很少谈众包,因为有些容易获得的数据,继续增加规模的价值已经开始变薄。

比如已有很多超市场景的数据,客户下一步需要的可能是工厂、制造业或医疗相关的内容,进入这些场景,需要不同的运营能力。

以及还得往任务下面多看看。就比如餐馆擦桌子和在家擦桌子,最后模型可能学到的仍然是同一种动作,场景不同,不能就认为动作也足够多样了。

回到 human data 这件事上,我会觉得这个事情是一个公司的立命之本。作为一家公司来看,肯定要先有质才有量,这是为什么我们会强调数据模态要更丰富的逻辑。

不然光有量没有质,那大概率也不会成为一家大公司,或者你很难成为一个行业领先的公司。

天南:你们同时接触国内外的客户,在对数据的理解上,看到了哪些不同?

朱雁鸣:我接触的一些海外团队,会往任务和场景下面再看一层。除了场景和任务的多样性,还会关注动作的多样性、标注的多样性。

训练时到底严格控制动作,还是控制结果,也会影响数据要求。另外,人的数据和机器人是什么关系,他们也会先放下某个具体本体的限制,再去思考这些数据能提供什么。

其实国外还有一点难能可贵,他们很多人创业不会考虑做大而全的东西,会更务实一些。

天南:随着大模型继续进入具身,数据的需求结构会发生什么变化?

朱雁鸣:我的判断是,高层理解和动作规划之间会继续融合(System 2 + System 1),底层运动控制可能长期存在。前者需要补上对空间和物理的理解,后者更关注运动和接触。

更长期,这些能力还得一起工作。比如端着盘子穿过餐馆,周围有人走动,需要避让,甚至会发生接触,就不能只学会把盘子拿起来。策略要根据环境和其他人的变化调整,对动作和物理信息的要求也会更完整。

1

尾声。

今天要和大家分享的内容,差不多就是这些。

和朱总的交流还是挺深入的,对我们内部理解数据这件事也提供了不少新的视角。

尤其是当你听到了不同角度的声音。比如算法、评测、供应商,他们是怎么看数据,未来会有哪些判断、分歧和共识。

这也是为什么我会和大家交流的原因,在嘈杂的时代,众说纷纭中抓到自己的理解。

很有趣。

点个“爱心”,再走 吧

标签: 手套 机器人 ego 客户端节点

相关阅读

精彩放送

OEXN:原油库存下降牵动供需

揭秘涨停 | 2股封单资金超5亿元

索宝蛋白:截至2026年11月10日,公司股东人数为13,474人

11月11日锋龙股份涨停:人形机器人,汽车零部件,新能源车零部件概念热股_每日速递

港股异动 | 腾讯控股(00700)盘中跌近3% 腾讯下周将发业绩 盈利或受AI投资加快拖累

生意社:11月11日镇江联成DOP企业报价下跌-每日讯息

焦点消息!绿控传动:截至10月30日最新股东户数2.65万户,较上期减少12.02%

微资讯!音箱成了AI智能体的新入口?Sonos(SONO.US)押注“开放平台”翻身:营收增20%只是...

资讯:随县洪山镇桂花园村烟花爆竹销售部(个体工商户)成立 注册资本5万人民币

骅羲科技HT-X2居家多功能具身养老机器人|室内全域环境监测,全天候守护长辈居家安全!

当前热议!钢铁行业提质升级步伐加快

焦点速看:早安贵阳|新能源赛道,贵阳贵安“跑”出喜人节奏

国泰海通:继续看好AI在金融领域的应用|看点

11月11日新股提示:华晟智能申购、缴款 微动态

信息:德美化工:融资净偿还364.1万元,融资余额1.28亿元

今日热门!贵州一幼童悬挂在高楼窗外,双手死死扒着窗框边缘,双脚完全悬空,目击者:看得...

破案了!数据揭示骑士低迷真因,名宿替哈登说话,问题在二当家哪 当前看点

每日简讯:吉安宸迪汽车有限公司成立 注册资本500万人民币

隔三天喝一次,倒头就睡,一觉到天亮,终于知道啥叫“深度睡眠”-微头条

三场必须全取九分,皇马女足欧冠迎生死战

被刘雯带火的这件外套,怎么搭好看

今日快讯:阿根廷后卫贾伊谈阿根廷新10号:尼科-帕斯是候选人之一

11月10日科创成长ETF南方基金份额减少200万份,重仓股源杰科技、寒武纪、佰维存储-当前焦点

关注:拟以超募资金支付部分股权收购款 荣旗科技切入半导体上游精密零部件赛道|速读公告

白沟新城燃欧箱包厂(个体工商户)成立 注册资本1万人民币

比亚迪获得发明专利授权:“一种石墨材料及其制备方法、负极片、电池及用电设备”|焦点速看

焦点精选!千味央厨(001215.SZ)新增一起对外投资,被投资公司为天津博佳展岳股权投资基...

宝兰德:11月9日召开业绩说明会,投资者参与|视焦点讯

亿腾嘉和(06998.HK)发布公告,于2026年11月10日斥资79.71万港元回购50万股|每日简讯

焦点热文:建设银行(601939):建设银行关于境内2021年二级资本债券(第二期)(品种一)赎回完成

焦点报道:台积电批准不超过5亿美元投资设立投资公司

清大东方(08115.HK)发盈警 预计前三季度股东应占亏损约4.8亿元至4.9亿元

唐山师范学院教育学院开展“全民消防,生命至上”消防安全演练活动_今日热门

每日快报!华南城(01668.HK)季度更新:整体债务重组未达成具约束力协议 继续暂停买卖

[风险]上海电影(601595):股票交易风险提示性公告

机器人学会了用一个数字代替整个矩阵

台积电批准409亿美元资本预算 用于长期产能扩张

新鸿基公司:11月10日斥资3.52万港元回购9000股

心泰医疗:11月10日斥资28.52万港元回购2万股

微动态丨土耳其丰满圆润熟女,典雅异域感很耐看

显卡价格继续走低 华强北RTX 5080价格从1.8万元降至1.4万元

快看:博雷顿(01333.HK)11月10日耗资1568.8万港元回购88万股

海天味业(03288)11月10日斥资约3536.65万元回购约99.99万股A股|焦点速读

国联民生(01456.HK)完成回购A股1270万股

与冠军失之交臂,无缘国足名单,管不住情绪的韦世豪,可曾后悔?

001状态复盘:伯顿大胜后少了奇兵,诺茨郡刚熬过120分钟

又被朱珠惊艳到!穿羽绒服不配小黑裤、乐福鞋,这样打扮更高级

换位跑一次!镇江润州黎明社区卫生服务中心优化就医服务暖民心-焦点热讯

中国广核电力(01816.HK)苍南4号机组开始全面建设 观热点

中国淀粉(03838.HK)回购319万股 耗资60.83万港元|当前聚焦

001角球分析:伯顿远射与门前争抢造角,诺茨郡有传中为何也会零角?

马卡:普雷斯蒂安尼标价超1亿欧元,拜仁和巴黎有意_新消息

快讯:艾可蓝(300816):与专业投资机构共同投资的进展公告

51分大胜!5683万美元不白拿!全程未上场的巴特勒化身助教:把球传给库里! 队友赛后集...

每日消息!26元酸奶去掉实物仅半杯?茉酸奶官方客服:将跟进处理此事

当前资讯!欧洲主要股指高开 法国CAC40指数涨超1%

快消息!杭州柯林成立机甲科技公司 含智能机器人研发业务

OD:切尔西新援阿哈诺获意大利金童奖,18岁再获认可 快讯

罪魁祸首?新华社点名批评韦世豪:挑衅公众敲响警钟!-热闻

轰40+11+9帽,文班一战创5个历史第一!马刺9连胜,3后卫渐入佳境

实时焦点:55岁中超最佳教练告别河南!被喂吃饺子+感动落泪 上百名球迷送行

观焦点:肉牛供需缺口持续至28年底 进口受限叠加奶肉共振

【调研快报】金发科技接待线上参加公司2026年第三季度业绩说明会的投资者调研|焦点速递

元隆雅图:截至10月30日最新股东户数4.49万户,较上期增加8.86%

反弹缺乏激情 存量博弈仍在延续

焦点讯息:外交部:中美双方就两国元首年内互动安排保持着沟通

瑞银上调摩根士丹利直接贷款基金评级至“买入”,但下调目标价至14.50美元|报道

微速讯:生意社:11月10日山东地区苯酐市场走势下跌

视点!生意社:11月10日山东地区苯酐市场走势下跌

拒19分逆转,火箭迎5大喜讯!杜兰特23+12+8创新高 1年350万捡到漏

NBA|湖人六连胜坐稳西部第一 东契奇准三双

针药传薪济苍生 守正创新向世界

每日播报!半导体板块走高,富瀚微、瑞芯微涨停

研报掘金丨东方证券:维持震裕科技“买入”评级,机器人和卫星制造业务有望增长

涨归涨,停归停:美股ETF每日早盘“十点半见”|焦点关注

火箭终止2连败后!最大问题一目了然,不是申京,4000万真给多了|快播

赖斯:能在世界杯为英格兰进球很特别,但很遗憾我们没进决赛_最新

四部门:对合理使用国家医保目录内创新药的病例 不适合以按病种支付标准支付的 支持医...

大族数控拟斥资2亿至3亿元回购A股股份-每日热门

蒋龙:从喜剧舞台到大银幕,是幸福 焦点快看

太平洋:给予中国人寿买入评级

金信诺:公司高速互联业务上半年实现营收5.58亿元

上海将迎本轮冷空气气温低谷,明晨郊区最低4℃

擎天租、杭州国资成立具身智能科技公司 实时焦点

微速讯:轰44+13连刷纪录比肩MJ!浓眉迎奇才生涯之夜 四年2.75亿能给吗?

上一场像核心,下一场像底薪!库明加最大的困境,或许不是定位而是稳定_焦点快播

每日时讯!大华继显:下调鸿腾精密(06088)目标价54.3%至4.2港元 维持“买入”评级

PriceSeek提醒:11月10日东营华泰二氯甲烷出厂价下调 每日速读

震裕科技:截至2026年10月30日收盘,公司股东人数为33,208 每日看点

今日精选:青矩技术:11月5日至11月9日董事张超减持股份合计3.4万股

新股首日 | 芯德半导体(07672.HK)首挂上市 早盘高开20.5% 公司深耕先进半导体封装测试技术解决方案

东契奇32+8+10+5超越NBA传奇,湖人双枪轮着歇,不耽误豪取6连胜 今日热搜

每日简讯:清远市虹翔户外用品有限公司成立 注册资本10万人民币

2026ATP大师赛落幕:辛纳成就金大师 阿卡完美收官

东莞市华翊工业有限公司成立 注册资本200万人民币

焦点报道:罗技发布MX Master 4创作者特别版鼠标,融入创意工作元素

2年800万美元!2年1150万美元!休赛期五笔超值交易,湖人76人热火赚麻了_新视野

女性站立小便厕位,不该让女性望而却步 每日看点

40只食品类基金月内净值走高 热闻

PriceSeek提醒:苯胺价格上调 厂家开工销售平稳 快消息

权益基金分红升温 头部公募派发“百亿红包” 热头条

湖北广电:融资净买入38.62万元,融资余额1.59亿元-当前热讯

【独家焦点】SK海力士涨近7%

动态:恩施溧信劳务部(个体工商户)成立 注册资本1万人民币

每日快讯!东契奇复出在即,湖人另一核心却因病出战成疑

每日时讯!万盛股份:融资净偿还271.67万元,融资余额2.43亿元

日出东方:融资净偿还788.68万元,融资余额1.35亿元 每日观察

龙翼航空科技(00918.HK)附属订立1.315亿元无人机销售框架协议_今日热讯