谷歌Brain和英特尔与加州大学伯克利分校用视频训练机器人手术AI

发布时间:2020-06-10 15:24:04 【来源:

来自Google Brain,英特尔AI实验室和加州大学伯克利分校的研究人员创建了Motion2Vec,这是一种AI模型,能够从如何进行外科手术训练中学习如何完成与机器人手术相关的任务,例如缝合,穿针,插针和打结。视频。为了测试结果,该模型在实验室中用两臂的达芬奇机器人将针穿过布料穿行。

Motion2Vec是一种使用半监督学习训练的表示学习算法,它遵循类似命名的模型(如Word2Vec和Grasp2Vec)的传统,并使用在嵌入空间中找到的知识进行了训练。加州大学伯克利分校的研究人员以前曾使用YouTube视频来训练经纪人跳舞,做后空翻以及进行各种杂技表演,而Google则利用视频来训练算法来执行诸如生成逼真的视频或使用来自YouTube的人体模型挑战视频来预测深度​​的算法。

研究人员说,他们的工作表明,通过向他们提供专家演示视频来教授新的机器人操纵技能,可以改善手术中使用的视频机器人。该论文读到:“结果表明,在最先进的基线上进行分割时,性能得到了改善,同时在该数据集上引入了姿势模仿,每个观察位置的厘米误差分别为0:94。”

有关Motion2Vec的详细信息已于上周在预印本存储库arXiv上发布,并在IEEE国际机器人与自动化会议(ICRA)上进行了介绍。从JIGSAWS数据集中,只有八名控制达芬奇机器人的人类外科医生的视频通过模仿学习教了算法以运动为中心的操纵技能表示。JIGSAWS是JHU-ISI手势和技能评估工作集的代表,它汇集了约翰·霍普金斯大学(JHU)和Intuitive Surgery,Inc(ISI)的视频。

该论文读到:“我们从缝合数据集中总共使用了78个演示。”“但是,每位外科医生的缝合方式都大不相同。”

ICRA的其他值得注意的工作是在网上而不是在巴黎亲自进行的,包括针对下半身外骨骼的步态优化和斯坦福实验室,该实验室设想利用人工智能来利用公共交通来扩展数百架无人机的运输路线。

中国联通:已累计开通5G基站33.2万站 到今年年底预计超过38万个
饿了么现已入驻1000所高校食堂 校园内平均20分钟送达
谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角
我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速
邬贺铨:截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%
苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”
微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁
OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...