官方微信视频号
真实还原手部肌肉，数字人双手这次有了骨骼、肌肉、皮肤
时间：2022-06-25 09:57:00
来源：网络
随着元宇宙概念的提出，虚拟数字人等新兴技术的不断发展，人们通过在虚拟世界中分别还原人体的不同部位并加以组合从而实现数字孪生。如何让数字人拥有一双灵巧的双手便成了一大难题。在真实世界中，我们的手有骨骼、肌肉、肌腱等多个解剖学结构。然而传统的手部模型只专注于外表面皮肤建模，骨架结构也是由简单的关节点连线构成。这样的建模方法并不能重现逼真的虚拟手。
针对这个问题，一个虚拟手建模的解决方案——NIMBLE 模型由解剖学的角度提出，NIMBLE 开发团队建立了一个全新的参数化手部模型，模型包含骨骼、肌肉、皮肤和外表面贴图，拥有更精细的皮肤材质纹理，可以轻松完成各式各样的手势，真实还原手部肌肉状态。
NIMBLE 模型是多学科交叉融合的产物，使用 MRI 技术采集数据，作为参与单位之一的上海科技大学 MARS 实验室孵化的数字人底层技术公司影眸科技研发的高精度扫描系统为手部模型机器人智能化提供了更为精细的贴图与纹理，正是这种多方面的协同创新得以让如今的 NIMBLE 模型真正意义上实现了对人手部分的完美模拟。
项目主页：https://reyuwei.github.io/proj/nimble
数据集
要实现这样的解剖学建模，就一定要有对应的医疗数据。考虑到核共振（MRI）在临床上经常被用来诊断和治疗手部疾病，该研究使用临床 3T 核磁设备采集了高质量的 MRI 手部三维影像数据集。该数据集包括 35 个对象的共 200 个核磁图像，共覆盖 50 个不同的手部动作。为了准确地区分骨骼、肌肉和皮肤，该研究在原始 MRI 图像上也做了标注。
MRI 数据地址：https://github.com/reyuwei/PIANO_mri_data
除了 MRI 数据，该研究还用光场设备采集高质量手部 diffuse、normal 和 specular 贴图。通过贴图插值，实现了对皮肤颜色和纹理的建模。
模型定义
仿照人体参数模型 [SMPL] 和手部参数模型[MANO]，NIMBLE 模型也是由模板模型、LBS（linear blend skining）和 blend shape 构成的。
SMPL 地址：https://smpl.is.tue.mpg.de/
MANO 地址：https://mano.is.tue.mpg.de/
模板模型分为三部分，分别是骨骼、肌肉和外表面，其中肌肉和外表面模型用四面体建模。
算法流程
训练模型的流程分为模型配准（registration）和参数学习（parameter learning）两个部分。
其中模型配准是为了将数据统一成相同的拓扑结构，参数学习是将同拓扑的数据作为目标函数去优化模型的参数。
为了在模型配准中捕捉到肌肉和皮肤的非刚体形变，该研究用四面体模型来建模肌肉和皮肤。与三角面片的模型不同的是，四面体模型能够更方便地计算模型体积，也常应用于非刚体物理仿真。该研究在模型配准中就利用了 neo-hookean 弹性模型。他们将其作为一个物理约束应用于模型配准当中，借此保证了模型形变时体积不变，达到了更准确的配准结果。
下图展示了将模板肌肉配准到 MRI 分割出的肌肉的结果。注意配准后的肌肉厚度增加，并且排列更加紧密。
从配准误差的直方图可以看出，误差基本在 2mm 以内。
在参数学习的过程中，由于 MRI 数据的数量有限，研究者还借助了 [MANO] 模型的点云数据来扩充运动空间。通过在多个不同模态的数据集上迭代优化，之后构建出 NIMBLE 模型。与仅基于外表面的传统手部模型相比，NIMBLE 以数据驱动的方式实现了对手的内外部解剖结构统一建模。此外，模型还可以作为一个网络层应用于深度学习，以进行逼真虚拟手的生成和手势识别等多种任务。
实验
该研究从 pose、shape 和 appearance 三个维度验证了模型的 compactness 和泛化（generalization）能力。
从几何建模上，该研究和外表面模型 [MANO] 做对比。
(a) NIMBLE 在变形过程中保留了更多皮肤细节，而 MANO 的结果过于平滑。
(b)(c) MANO 在形变时没有考虑内部结构，因此用简单的方法为它加上内部结构后会出现奇怪的肌肉和骨骼形变以及不真实的皮肤凹陷，而 NIMBLE 保持了解剖学上正确的和物理上合理的变形。
从外表建模的角度，该研究和贴图模型 [HTML] 模型进行了对比。
(a)(b)分别是两个模型数据集中的手部纹理贴图，(c)(d)是在两个模型的贴图空间中随机采样的纹理。显然该研究的模型能够保留更多细节，并且法线贴图进一步实现了手背上肌腱凸起的效果。
HTML 地址：https://handtracker.mpi-inf.mpg.de/projects/HandTextureModel/
推荐新闻
-
创新驱动、智能进化、场景赋能、生态协同—— 第十届“创客中国”智能机器人中小企业创新创业大赛火热报名中！
2025-06-09 -
全球首张 | 智元机器人荣获人形机器人CR认证“001”证书
2025-05-31 -
突破行业标杆！埃夫特ER300系列机器人荣获MTBF 120000小时认证，重新定义可靠性
2025-05-30 -
普陀区人大常委会主任谈上伟调研机器人研究院
2025-05-15 -
2025年IEC/TC125国内主席顾问专家组、国内技术对口工作组和国际全会行前会成功召开
2025-05-15 -
我国牵头国际标准被30+国家转化，全球应用进程加速推进
2025-05-15 -
“全国机器人标准化检测分技术委员会”获批，我院承担秘书处
2025-05-14 -
“天工”人形机器人一体化关节进入全面“体检”阶段
2025-05-13 -
关于开展第十届“创客中国”智能机器人中小企业创新创业大赛项目征集工作的通知
2025-05-12 -
江苏省南通市代表团一行赴机器人研究院考察
2025-05-12 -
国家标准《工业机器人静电安全规范》等三项标准工作启动
2025-05-07 -
关于征集第十届“创客中国”智能机器人中小企业创新创业大赛评委的通知
2025-04-29 -
共探高质量、发布新成果——2025人形机器人产业高质量发展论坛顺利召开
2025-04-27 -
镇江市党政代表团一行赴机器人研究院考察
2025-04-25 -
定立场，测关节，论数据-全国人形机器人检测认证工作组2025年第二次会议于深圳顺利召开
2025-04-25 -
我院承办的第十届“创客中国”智能机器人中小企业创新创业大赛新闻发布会顺利召开
2025-04-18 -
福州人形机器人训练场启动并接入国家级测评平台
2025-04-15 -
安全性能国际接轨启新章——工业机器人CR认证新规研讨于沪召开
2025-04-15 -
政企携手谋新篇---上电科领导西南行暨卡诺普机器人全系列产品CR认证签约仪式在蓉举行
2025-03-12 -
市科委主任骆大进调研机器人研究院：肯定成绩，寄予厚望
2025-03-10 -
ABB全系列机器人CR认证战略合作签约
2025-02-25 -
KUKA机器人再添新认证
2025-01-27 -
国评中心与京沪两地人形机器人共建创新中心共同举办人形机器人产业发展论坛
2024-11-20 -
人形机器人检测认证工作组正式成立
2024-11-22 -
守安全底线、 保本体可靠、促智能发展，全国人形机器人检测认证工作组会议顺利召开
2025-02-27 -
我院专家获得"机器人"领域国际电工标准化1906奖
2024-10-14 -
国评中心(总部)为安川颁发机器人洁净级认证证书！
2024-09-25 -
JAKA拿下协作机器人全系列CR认证“001”证书
2024-09-19 -
KUKA全系列机器人获得CR认证
2024-09-14 -
2024世界机器人大会机器人行业规范检测与技术分论坛在京圆满举行
2024-08-25 -
国评中心（总部）北京测评中心正式揭牌！
2024-08-24 -
首届智能机器人分级分类评价创新论坛在上海召开
2024-07-05 -
上海成立机器人概念验证中心
2024-06-25 -
【研发成果】轻量化、模块化、智能化的移动机器人面市！
2024-06-20 -
机器人赛道逐渐拓宽，人形机器人正当时？
2024-07-01 -
【祝贺】艾利特CS系列协作机器人通过100000小时MTBF测评！
2024-01-03 -
协作无界，“加”速未来—2023首届中国（盐城）机器人+新能源产业发展大会在盐城顺利召开
2023-12-25
