华体会体育网页版:甩笔机器人获IROS 2020最佳论文奖;UW实时高分辨率布景抠图

2022-08-12 07:36:35

来源:华体会体育在线登录 作者:华体会hth体育平台

  本周的重要论文包含上海交大与 MIT 的联合项目 SwingBot 以及华盛顿大学晋级版布景抠图 background matting 办法。

  摘要:人类长于运用手指触觉来感知物体的物理特性(包含质量、重心、转动惯量、外表冲突等),然后完结高难度的操控使命。在不远的将来,机器人也会具有触觉剖析才能。在刚刚完毕的机器人顶会 IROS 2020 上,上海交大 & MIT 联合项目 SwingBot 为咱们展现了怎么让机器人经过触觉传感器来学习感知物体杂乱的物理特性(tactile exploration),然后完结一个高难度的甩笔使命(in-hand object swing-up)。

  该项目经过对多种触觉探究动作的信息交融,让机器人端到端的去学习归纳手中物体的物理特性,并依托这个物理特征来完成高难度的手上操控使命(in-hand swing-up)。多触觉探究动作的信息交融模型。GelSight 触觉传感器动图展现。将物体上甩至相对于传感器 90 度的视点方位。

  摘要:自注意力网络现已彻底改变了天然语言处理,并在图画分类和方针检测等图画剖析使命中取得了令人瞩目的前进。受此成功启示,来自牛津大学、香港中文大学和英特尔实验室的研讨者深入剖析了自注意力网络在三维点云处理中的运用。他们规划了点云的自注意力层,并运用这些层来结构比方语义场景切割、方针组件切割和方针分类等使命的自注意力网络。本文提出的 Point Transformer 规划改善了以往跨范畴和跨使命的研讨工作。Point transformer 层示意图。用于语义切割(上)和分类(下)的 Point transformer 网络。Point Transformer 能够作为方针分类、各类 3D 点云了解使命的主干网络。

  引荐:论文一作 Hengshuang Zhao 为牛津大学博士后研讨生。

  摘要:了解方针是核算机视觉的中心问题之一。传统办法而言,了解方针使命能够依赖于大型带注释的数据集,而无监督办法现已消除了对标签的需求。近来,研讨人员企图将这些办法扩展到 3D 点云问题上,但无监督 3D 学习范畴却发展寥寥。

  近来,包含 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等来自英属哥伦比亚大学、谷歌研讨院、多伦多大学的研讨者提出了用于 3D 点云的无监督胶囊网络。详细而言,研讨者经过摆放等变(permutation-equivariant)的注意力核算方针的胶囊分化,并经过练习成对的随机旋转方针来自监督该进程。本研讨的中心思维是将注意力掩模聚合为语义要害点,并运用它们来监督满意胶囊不变性或等方差的分化。这不仅能够练习语义上共同的分化,还能够学习以方针为中心的推理的规范化操作。在这种情况下,既不需求分类标签,也不需求手动对齐的练习数据集进行练习。结构。定量剖析的成果,本文办法在对齐和未对齐的设置下均取得了 SOTA 的功能成果。定性剖析的成果,研讨者给出了依据分化的 3D 点云重建办法以及 3D-PointCapsNet [58]、AtlasNetV2 [13] 的重建成果。

  引荐:Hinton 对此表明:在不受监督的情况下找到一个方针的天然组件以及这些组件的内涵参照系是学习将解析图画转化为部分全体层级结构的重要一步。假如以点云开端,则能够做到。

  摘要:近年来,网络特征学习(network representation learning)逐步成为机器学习中的一 个抢手的研讨方向。网络特征学习企图为一个网络中的每一个节点学习得到一个低维表 示向量,一起坚持其原有的结构信息。因为引荐体系中天然存在着许多的网络结构,因 此,将网络特征学习与引荐体系相结合,用网络特征学习的办法去处理引荐体系中的相 关特征,能够有效地增强引荐体系的学习才能,进步引荐体系的精确度和用户满意度, 然后为现实生活中的各类互联网运用供给更优秀的用户体会,从而减轻信息爆破带来的 负面影响,提高全体经济功率。本文的主题为依据网络特征学习的个性化引荐体系。猜测微博用户对名人的情感所运用的三个网络结构示意图。从左到右别离为:(a)情感网络 (交互图);(b)交际网络;(c)常识图谱。将一个网络经过特征学习得到不同粒度的特征表明的示意图。本文安排结构。

  摘要:布景替换是电影特效中的要害一环,在 Zoom、Google Meet 和 Microsoft Teams 等视频会议东西中得到广泛运用。除了添加文娱作用之外,布景替换能够增强隐私维护,特别是用户不肯在视频会议中向别人共享本身方位以及环境等细节时。而这面临着一项要害应战:视频会议东西的用户一般无法取得电影特效布景替换所运用的绿幕或其他物理条件。

  为了运用户更方便地替换布景,研讨人员连续开发了一系列抠图办法。本年 4 月份,华盛顿大学研讨者提出了 background matting 办法,不在绿幕前拍照也能完美转化视频布景,让整个国际都变成你的绿幕。可是,这项研讨无法完成实时运转,只能以低帧率处理低分辨率下(512×512)的布景替换,有许多需求改善的当地。

  八个月曩昔,这些研讨者推出了 background matting 2.0 版别,并表明这是一种彻底自动化、实时运转的高分辨率抠图办法,别离以 30fps 的帧率在 4k(3840×2160)和 60fps 的帧率在 HD(1920×1080)图画上完成 SOTA 成果。架构图。不同办法在实在图画上的定性比较成果。这位小哥将自己乱糟糟的房间布景替换成了下雪场景。

  引荐:单块 GPU 完成 4K 分辨率每秒 30 帧,华盛顿大学实时视频抠图再晋级,毛发细节到位。

  摘要:布朗大学 David Abel 在其博士论文中提出了强化学习中的笼统理论。详细而言,他首要提出了履行笼统进程的函数的三个需求,别离是保存近似最优行为的表征;高效地学习和构建;削减规划或学习时刻。然后提出了一系列新的算法和剖析,以说明智能体怎么依据这些需求来学习笼统。笼统进程。MDP 中不同方式的笼统。运用状况笼统(state abstraction)的终身强化学习。

  摘要:现有的有监督解耦办法,比方把中心表征解耦成品种相关的表征和品种无关的表征,大多依据交流生成的经验性结构,缺少理论指导,无法确保品种相关表征中不包含品种无关的信息。在本文中,来自上海交通大学的研讨者测验树立信息瓶颈(Information Bottleneck, IB)和有监督解耦之间的联络,为有监督解耦供给理论指导。研讨者给出了关于优化方针的最大化紧缩共同性的性质界说。研讨者验证了所提办法在 IB 平面(横轴代表 I(X;T),纵轴代表 I(T;Y))上的体现行为。经过可视化成果,本文办法能够较好地展现出解耦作用。

  引荐:有监督解耦与信息紧缩相结合,上交新式信息瓶颈算法完成杰出的泛化、鲁棒功能。

  机器之心联合由楚航、罗若天建议的ArXiv Weekly Radiostation,在 7 Papers 的基础上,精选本周更多重要论文,包含NLP、CV、ML范畴各10篇精选,并供给音频方式的论文摘要简介,概况如下: