您现在的位置是：首页 >技术教程 >Franka 科研版机器人二次开发和研究案例——法国普瓦埃大学网站首页技术教程

本次系列介绍Franka科研版机器人FR3在科学研究中的案例。本文为中文翻译，请参考原文，论文解释权和所有权属于原作者。

通过远程操作系统的半自动控制来重新表达 人工专业知识

Erwann Landais1, Nasser Rezzoug 2 and Vincent Padois11

INRIA，法国塔伦斯33400 2公共卫生研究所（CNRS，普瓦埃大学，ISAE-ENSMA），UPR 3346,86360普瓦埃埃， 法国

摘要

虽然在化学工业中寻找新的溶剂在环境考虑方面是最重要的，但这一领域仍然与专家对危 险产品的高度手工和目视检查密切相关。为了保证这项任务的安全和高效的执行，我们的 建议是将产品操作映射到Franka机械臂上，而用户对机械臂的控制有限。这一提议在一个实验中 进行了测试，实验邀请参与者通过直接处理执行类似的任务，然后在由保护屏障保护的条 件下，最后使用不同的轨迹调制变体进行远程操作。恢复的数据表明，虽然该任务确实可 以通过所提出的接口来实现，但所提出的变体在执行时间方面未能达到令人满意的性能。

关键词：人类专长、远程操作、实验评估

介绍动机

在一种化学溶液上市之前，必须找到一种符合环境和健康标准并使溶质溶解的 溶剂。在化学工业中，这通常是通过视觉评估所考虑的溶质在一系列溶剂中的 偿付能力来实现的。这需要相当多的专业知识（Abbott等人，2008年）。由于 所处理的化学品可能意味着重大危险（CMR物质、爆炸或热释放），因此使用  了机械防护屏障（通风柜、手套箱）。因此，专家们在危险和困难的条件下工 作，在身体和认知方面都有相当大的限制。

使用远程控制机器人执行这项任务，重现含有化学溶液的小瓶的运动，是我 们的一个潜在的解决方案，可以缓解这些限制，同时保留用户视觉和认知专业 知识的贡献。这个解决方案只有在它直观地转录了用户的手工专业知识（以避 免任何视觉和认知专业知识的退化），并且尊重该任务的手工要求(i。e.在受 保护罩限制的空间中进行的大振幅定向运动，而不会无意中降低物体的视觉特 征)。

在有限的工作空间中，使用机器人在线生成一个先验未知的运动序列并非没 有风险，特别是在性能受到威胁的情况下。我们的建议是将运动的控制分为两 部分：路径的控制（空间姿态的集合）和与该路径相关的轨迹的控制（沿着路 径的速度）。然后，用户就可以部分地控制机器人的功能运动，通过选择通用路径的类型，并通过在线轨迹生成器实时调制在该路 径上执行的轨迹，如在（Berscheid & Kroger，2021）中提出的轨迹。为 了验证这种交互可能性有限的远程操作系统是否能够像直接操作一样有效 地执行这种观察任务，我们进行了一项用户研究，比较了参与者在不同类 型的轨迹调制和直接操作方面的表现。

相关工作

远程操作是一种控制模式，通常用于处理放射性产品，如危险产品（Tokatli  等人，2021），或减少手术任务的认知和身体约束（Santos Carreras，2012  ) 。其中一个主要问题是以一种安全和有效的方式转录用户的移动。通常会选 择让用户直接控制机器人的动作，同时管理这些动作可能造成的安全风险。这 可以通过向用户传达任何超过限制的风险，并禁止任何可能导致这种情况的命 令来实现。这种交流可以通过显示虚拟双体（Pan等人，2021）或触觉（Lin等 人，2018）进行视觉化。为了确保达到所需的运动，所使用的工具甚至可以是 与用于操作的手臂相同的手臂（Singh等人，2020年）。这个解决方案的主要  限制是，它通常只传达执行任务的不可能性，而不是实现该任务的解决方案。对于定向上的大振幅运动，找到这样的解决方案通常是不直观的，需要重新学 习如何通过平台具体执行任务（Sakr et al.，2018）。然而，对于相对简单  的任务，移动可以分为一小部分，提前计划它们，让用户从中选择是很有趣的 。这种方法特别应用于（Aleotti & Caselli，2012），其中用户可以直观地  从预先计划的可用方法列表中选择捕获对象的方法。

此外，我们只能通过性能标准来衡量所提出的解决方案的有效性。经典的方 法是在系统被一组用户使用时，测量两种类型的指标。一方面，客观标准e。g. 完成任务所需的时间（Naceri等人，2021年），使用测量仪器进行记录。另一  方面，与界面质量相关的主观标准是通过由用户完成的标准化问卷来测量的，

如SUS（1995）或NASA TLX（Hart，2006）。的标准评估界面的性能  高度依赖于选择的任务可接受的感觉（布鲁克，1995）和他们的相关性很难保 证先验如用户敏捷的感觉（Sagheb et al.，2023），一组标准经常用于评估。

用户研究

实验任务的选择

应用程序任务包括对危险产品进行视觉分类和物理处理。鉴于这项任务是 危险的，需要一个很高的要求专业知识水平、测试队列的规模和对它们进行测试的机会太小，无法正确地评 估接口的性能。这就是为什么我们需要使用与应用程序任务具有相似特征的任 务，其中尽可能多的人拥有专业知识。

我们选择的任务是阅读放在圆柱形小瓶（尺寸16毫米x 70毫米）中的白色胶 囊（尺寸6 x 12毫米）上的单词。与应用程序任务一样，这个任务需要观察一 个移动物体的一个小瓶中的视觉特征（需要缓慢、精细的运动）来进行视觉分 类。此外，很可能大多数参与者都有阅读专业知识；因此，直接处理性能和通 过界面实现的性能之间的显著差异可以更容易地说明。

平台描述

该平台是基于ROS中间件的。如图所示。一只弗兰卡米卡熊猫的机械臂在罗技  Brio 4K单目摄像机前操纵着小瓶。使用Optitrack运动捕获系统获得了小瓶与 单眼相机相关的三维姿态。

机器人所遵循的路径是根据摄像机光学中心的位置预先定义的，无论机器人 的固定能力（速度、加速度）如何，都可以实现， 以及执行任务所必需的。可 以选择两种不同的路径，并使用MoveIt软件进行计算。一旦通过在线轨迹发生 器从其中一条路径中计算出一个可行的轨迹，就将其用作机器人控制器的输入。

如图1所示，用户与坐在由一台电脑和两个屏幕组成的工作站前的平台进行 交互。用户被要求进行调整

工作站的元素，以确保最佳的姿势舒适（办公桌高度，屏幕方向）。第一个屏 幕用于通过不同的界面观察小瓶。第二个屏幕被用来显示一个提醒，提醒人们 如何使用不同的所提议的模式。

图1：小瓶操作平台（左）和用户侧（右）。

研究设计和程序

因此，我们想要检查具有轨迹调制的远程操作模态是否与直接操作模态一 样好，以及在远程模态中提出的交互类型的贡献。向检查这一点，我们进行了一项被试内研究，被试必须使用5种模式中的每一种  执行阅读任务：一种采用直接操作，一种在类似于应用任务的安全条件下，3  种通过不同的远程处理方法。37名参与者参加了这个实验（年龄：27名±5,20 名女性），由伦理委员会批准（Inria Coerle 313 AUCTUS）。纳入的条件是  , 该用户年龄超过18岁，隶属于一个社会保障计划，没有慢性生理病理，也没 有任何未经纠正的重大视觉问题。在实验开始时，参与者被告知他们的个人数 据的保密性，并收到了一份研究报告，并签署了一份同意书。

参与者执行的第一种方式是直接阅读（DIR变体）；参与者用手拿着小瓶，

并把里面的内容涂成红色。在第二种模式中，参与者拿走了放置在保护玻璃 ( 80 x 50厘米）后面的小瓶（变体SEC）。玻璃的放置方式是为了再现由用于应 用任务的通风柜（玻璃的高度）所引起的限制。前两种模式使参与者能够掌握 任务的特征（特别是胶囊对运动的反应）。一旦这些模式被实施，参与者就被 邀请通过问卷来评估它们。

然后，对三种方式进行随机测试：视频被动观察（POV）；视频主动观察（A OV）；以及在平台上实时操纵的小瓶（MANP）。AOV和POV模式包括观察在实验 前制作的由平台操作的小瓶的运动视频。在这些视频中，机器人遵循了一个最 小的通用路径，能够以固定的速度读取小瓶中的内容。因此，无论视频内容如 何，机器人的路径和轨迹都是相同的。这些视频是从一个视频数据集中随机选 取的，并使用VLC软件进行观察。在变体AOV中，参与者可以通过多种方式与视 频互动：暂停（然后称为“pauseB ”），缩放特定的点（缩放），加速或减慢 视频（ “speeB ”），向前或向后移动视频10秒（ “时间跳跃 ”）。这些交互  是通过软件的图形界面执行的（除了Ubuntu操作系统提供的“缩放 ”）。在变 体POV中，参与者被要求观察视频而不与它互动。

在MANP模式中，一个由机械臂拿着的小瓶在照相机前沿着一系列预先确定的 几何路径行进。参与者被邀请仅通过摄像机的视觉反馈来阅读小瓶中的内容。它们可以基于Rviz软件，通过图形界面与小瓶的轨迹进行交互，并分为三个部 分（如图2所示）。第一部分对应于来自摄像机的视觉反馈， 以小瓶为中心，

并适应于小瓶-摄像机的距离。第二部分展示了机器人运动中的一个数字孪生  兄弟。最后一部分（右上角）是控制机器人运动轨迹的图形界面。可用的交互 作用是：加速或减速速度作为绝对值（称为下一个“速度C ”；值=为最大关节 速度的0-30%），停止（ “pauseC ”），改变当前路径的方向（ “反向方向 ” ) , 从一个几何路径改变到另一个几何路径（ “改变边 ”），放大一个特定的 点（ “缩放 ”）。缩放功能由Ubuntu操作系统提供。

图2：MANP模态界面表示：视觉反馈（左）、数字双胞胎（右下）、交互界面（右上）。“速度 系数 ”、“暂停运动 ”、“逆轨迹 ”、“停止周期Mvt ”分别对应于“速度C ”、“pauseC ”、“ 逆轨迹 ”、“变侧 ”。

在参与者开始使用这些变体之前，他们被快速介绍了变体AOV和MANP的界 面。参与者还在每个POV、AOV和MANP变异后完成了一份问卷。对于每种模  式，4瓶，每个瓶随机包含4粒胶囊，由参与者口服红色。参与者每瓶最多  有120秒的时间来完成任务。这个时间对应于机器人在AOV和POV模式下预编 程的运动序列的持续时间。当参与者觉得他们已经完成了阅读任务，或者  当他们超过了最大的观察时间时，从一个小瓶到另一个小瓶的转变就发生  了。

数据收集

收集以下数据以评估每种模态的性能。记录的客观数据是完成4瓶任务所需的  平均时间（称为“总时间 ”）；如果在此模式中取得了完美成功（ “完美成功 ” ) ; 以及AOV和MANP模式中每个小瓶进行的每种互动的数量。一个完美的成  功对应于完美地阅读4瓶中的所有单词。

记录的主观数据与参与者在每种模式后完成的问卷相对应。本问卷的灵感来 自（Naceri et al.，2021），特别用于评估压力和不适的概念，评估了界面  的4个特征。该界面的视觉性能被评估为两个音符的平均值：阅读小瓶中的单  词的容易程度和视觉反馈质量。界面的时间性能是作为完成任务所需时间的满 意度和机器人速度的平均值。界面的易用性被评估为正确预测机器人行为的能 力，没有压力（定义为使用平台时的焦虑水平）和姿势不适，以及完成任务的 容易程度。最后，该接口的可接受性为使用标准化的SUS问卷进行评估（1995）。除了界面的可接受性（从0 -100开始评估）外，这些问题还采用李克特5分制（1：坏；5：好）进行评估。

与使用问卷评估姿势不适的补充是，我们使用RULA（麦卡塔姆尼和奈杰尔 · 科莱特，1993）和REBA（希格尼特和麦卡塔姆尼，2000）人体工程学网格对其 进行评估。由于我们获得的数据证实了受试者在不同变体中所采用的姿势差异 太大，无法使用人体工程学评分进行比较而不相关，因此我们只通过问卷来评 估姿势不适。

统计分析

我们的第一个假设是，其中一种轨迹调制模式与直接操作模式（Ha）表现相同 。为了验证这一假设，我们比较了所有受试者在所有模式之间获得的总体时间 、完美成功和主观得分。为了能够解释总体时间数据（具体来说，短时间是否 与良好的表现相关），我们评估了总体时间、完美成功和主观分数之间的相关 性。

我们的第二个假设是，在AOV和MANP模式中提出的相互作用对这些模式（Hb ) 的表现有积极的影响。我们测试这个假设结合3标准，排名在升序的重要性  ：使用交互的频率，使用之间的相关性的频率和瓶的顺序，和使用之间的相关 性的频率和其他数据记录。互动频率的比较表明了一种互动是否或多或少被欣 赏，因为所有的参与者都对试验前的训练课程很清楚所有的互动。使用频率和 使用顺序之间的相关性使我们能够确定参与者增加的经验是否导致他们偏爱某 些互动，而不是其他互动。最后，使用频率和其他数据之间的相关性水平可以 用来评估交互作用的使用是否会导致这些标准的改善或恶化。

对数据应用的Shapiro-Wilk检验拒绝了正态性假设（p < 0.05）。因此，弗 里德曼的方差分析（Field et al.，2012）被应用于数据（除了二进制数据的 “完美成功 ”，其中应用了科克伦的Q检验）。显著检验之后进行Winforroni  校正的Wilcoxon事后检验。相关检验采用斯皮尔曼相关检验。

结果

关于跨模式的客观数据和主观数据的结果

对客观数据的分析表明：

.完美成功的比例没有显著差异

变体之间的(χ2科克伦的变体(4) = 7.08，p= 0.13)；每种变体的完 美成功率最高（POV和AOV模式为0.756，MANP，DIR，SEC模式为0.567 ) 。

.“总时间 ”在不同模式(χ2弗里德曼(4) =118，p < 0.001)；特别是在DIR/SEC模式和POV/AOV/MANP模式之间 ( 如图3所示）。

.“总时间 ”和“完美时间 ”之间呈负相关成功 ”（R（35）= -0.19，p = 0.047）。除了对机器人速度的满意度 （没有发现显著的相关性）外，“总体时间 ”与各种主观得分之间也  存在显著的负相关关系（-0.52 < R（35）< -0.34；p < 0.05）。

图3：完成任务所需的平均时间，包括所有变体。（图例：NS。: p ≥ 0.05 ; (*) : p ≤ 0.05 ; (**) : p ≤ 0.01 ; (***) : p ≤ 0.001).箱线图对应于中位数、上/下四 分位数和数据的范围。

关于主观数据：

.两种变异之间唯一有显著差异的标准是：

对机器人速度(χ2弗里德曼(2) = 10.5, p < 0.AOV/MANP和POV模式的 01)（p<0.05；中位数：4、4、3），无姿势不适(χ2弗里德曼(3) =   35.6，p < 0.001)在模式SEC和POV/AOV/MANP之间（p < 0.001；中位  数：3、4、4、4）。

.在POV/AOV/MANP变异中，获得的中位数得分为

每个接口评估标准分别为：时间性能为3.5/4/4/4；视觉性能为

3.5/4/4；4.25/4.25/4为易用性；通过SUS评分评估的接口的可接受性 为85/85/80。与直接处理相比，最差的主观得分对应于执行任务的估  计容易程度（中位数POV/AOV/MANP：3/3/2）。

关于跨交互作用的客观数据和主观数据的结果

AOV和MANP的类型

表1和表2显示了AOV和MANP模式的相互作用类型的3个分析轴。

表1。根据提出的轴分析模态AOV的不同类型的相互作用。：不显著；“主观 ”在这里对应于界面的易用性、界面的时间和视觉性能)。

表2。根据提出的轴分析模态MANP的不同类型的相互作用。：不显著的；“主观的 ”对应的在这里易于使用、时间性能和接口的可接受性)。

讨论和未来的工作

这些结果表明，我们的任务确实可以使用该界面来执行。所有模式之间的 成功比例是相似的，通过主观问卷获得了平台的各个方面的高评分（时间 、视觉表现和易用性> 3/5，可接受性高于SUS定义的可接受阈值（70），无论变量如何；变异体的姿势不适比安全条件下的操作少）。然而，我们 的研究结果也显示，该平台的性能与直接处理平台的性能并不匹配。这可 以通过相比于直接处理，估计执行任务的容易程度的低分数来发现。与DIR/SEC变体相比，POV/AOV/MANP变体完成任务所需的时间也说明了这一点 ; 考虑到更短的时间与更高比例的成功和更好的主观分数，更短的时间可能与更好的表现有关。（Ha）假设无法被验证。

对AOV和MANP模式提出的相互作用的贡献也可能受到质疑。这些相互作用似 乎与更好的结果没有联系，但甚至与这些结果的恶化有关。这可以通过POV和  AOV变异之间没有任何显著差异来发现，而这些模式之间的主要差异是相互作  用的存在。这也可以通过与某些交互有关的几个因素的组合来说明：例如，“ 缩放 ”交互（变体AOV/MANP），它不仅使用很少，而且其使用频率也与主观分 数的恶化成正比。同样，假设（Hb）也无法被验证。关于MANP模式，测试还表 明，所提出的交互并不总是能弥补接口中的缺陷。其中之一是可用的几何路径 数量有限，因为很难获得它们（ 目前通过经验实现，以保证无论机器人的速度 和加速度如何执行运动）。这一点可以通过没有震动运动来打开小瓶中的胶囊 来说明；不同类型的互动并不总是允许这种解除阻塞，这可能会阻止观察任务 的执行。在我们的研究中，这导致了7名参与者被拒绝，最终的37名参与者被  拒绝，因为这个事件不能发生在应用任务中。

因此，这些结果似乎表明，直接操纵机器人的运动可以提高任务的执行性能 。使用传统的工业机器人会导致这样的操作的执行时间太长；因此，有必要使 用为这项任务设计的串行操作器。这样的操纵器将在一个新的实验中进行测试 ，在一个更困难的任务上， 以确保处理问题可以反映在执行任务的能力上。

结论

我们测试了一种推迟观察被操纵物体的新方法，即只允许用户控制持有该 物体的机械臂的轨迹。我们的假设是，这种有限的控制模式足以保证更安 全的操作，但至少与直接操作一样有效。我们使用一个受工业化学处理任 务启发的阅读任务来测试这个假设。性能分析表明，所提出的轨迹控制不 如直接操纵有效。一个允许对小瓶运动反应更强的界面似乎是必要的，并 将在未来的实验中进行测试。

确认

该项目由法国“新阿基坦 ”地区在与索尔威合作的“米勒 ”项目框架内资 助。我们要感谢卢卡斯 ·约瑟夫对机器人实验设置的帮助，以及本杰明 · 坎布洛在研究设计上的帮助。