論文の内容の要旨

論文題目	Teleoperation via Bilateral Behavior Media: Visually based Control, Accumulation, and Assistance (和訳　双方向行動メディアを利用するテレオペレーション：視覚に基づいた制御、蓄積と支援)
氏名	Stephen R. PALM パーム　スティーブン

１. 緒論：

遠隔作業ロボットは、危険環境や微細環境など人が直接手を下せない世界での作業に不可欠であるが、操作者の熟練や経験に頼っているのが現状である。一方、実世界において働く遠隔作業ロボットにとって、センサ情報、特に視覚情報を利用することは重要なことである。本論文では視覚センシングを制御手法に本質的にとりこんだ使いやすいテレオペレーション環境を提案する。提案するテレオペレーション環境は、双方向行動メディア (Bilateral Behavior Media) と呼ぶパラダイムに基づいており、操作者にとって直観的な視覚情報に基づいた作業の記述･蓄積と作業の実施および蓄積された作業情報の再利用による作業支援を可能とするものである。

２. 双方向行動メディア：

2-1. ステータスドリブン制御法：

本論文のテレオペレーション法は、マスターマニピュレータでスレーブマニピュレータを操るというマニピュレータ情報に基づくロボットの制御ではなく、コンピュータスクリーン上で操作者が視覚センサから得られる情報に基づく作業状況(ステータス) を指示することによって作業を教示し実行する方法である。ステータスは、センシングポイントと呼ばれる点の集合の関係（位置と角度関係）によって指定される。センシングポイントには、作業対象物や作業環境において特異な視覚特徴の現れている点が操作者によって選ばれる。そのような初期のセンシングポイントが、どのセンシングポイントとどういう位置関係になって欲しいのかを指定することにより，作業が指定され実行される。センシングポイントは、いったん指定されると対象物や環境が視覚システムに対して移動しても対象物や環境と一定の位置を保つようにシステムにより自動的に視覚追跡される、環境変動に強い制御手法となっている。

2-2. ビヘービアサンプリング：

遠隔作業においては、前述のステータスドリブン制御が提供する即応的な制御機能とともに、比較的時間スパンの長い一連の作業実施や記述・蓄積機能が求められる。ビヘービアサンプリングはそれを可能とする情報表現法であり、視覚制御のためのデータ表現とその実施、実施した一連の制御の記録と蓄積メカニズムを実現している。具体的には、映像データや制御データからなる制御シーケンスの生データから情報を抽出し記録するメカニズム(情報抽出レベル) とともに、その情報を構造化して整理するメカニズム(構造化レベル) と人間が必要とする場合には意味情報を付加するメカニズム(抽象化レベル) が具現化された。

ビヘービアサンプリングが対象とする入力情報は作業環境を表現する視覚情報とロボットを動かす制御情報であり、出力情報は後で検索可能な構造化された視覚および制御系列のストリーム情報である。このストリーム情報は，ファイル等として記録保存したり，伝送することが可能である。視覚情報は、視覚オブジェクトと呼ばれる対象物の視覚表現とそのシーン中の時間空間位置表現で記述され、作業映像シーンの意味を考えない低レベルな視覚処理によって構造化される。制御情報には、対象物の位置や制御の方法が含まれている。これらの視覚および制御情報は、追記可能な階層ツリー構造として表現されている。

2-3. ステータスオンデマンド：

ビヘービアサンプリングによって蓄積された作業情報は、ステータスオンデマンド機能によって再利用され遠隔作業の支援が実現される。ステータスオンデマンド機能では、操作者が過去の作業のシーケンスを理解できる形でみられるようにするために、映像やグラフィックス、テキストによってステータスの変遷が表示される。操作者は、表示情報を参考にしながらそれを作業の再実行に利用する。ステータスオンデマンド機能には、３つのレベルの機能がある。下位のレベルの短期機能としては、作業の一部を修正して実行を支援したりすることを可能としている。例えばアンドゥ機能は、今のセンシングポイントの状態を一つ前の状態にもどす働きをする。拡張リドゥ機能は、先だっての作業のステータス変化を再実行することで、同様の作業を繰り返す。中間のレベルの機能としては，作業の編集を可能としている。例えば作業のパラメータの編集や意味情報の付加を行う。上位のレベルの長期機能では、実施した作業の分析や、以前の作業手続きの新しい環境での再実行を可能としている。具体的には、過去に実行された膨大な作業シーケンスをステータスの変化をつかって要約し提示してみせる機能などによって、ビヘービアサンプリングによって保存されたデータファイルを効果的に分析することを可能としている。操作者が、ある形の対象物やある作業シーケンスを含む過去の作業の映像を探してみる事、それを再実行することに利用できる。

図 1. Bilateral Behavior Media Overview Diagram

３. 細胞操作への応用：

3-1. 細胞操作の必要性：

最近の生物学研究においては、個々の細胞分析の重要性が増している。このような微小な作業世界は、我々の日常経験とはかけはなれた世界であり、いくつかの試行の経験が有効に活かせる遠隔作業法が求められている。そこで、第 2 章で述べた概念の応用作業例としてマトウ細胞操作が、細胞操作システム(CHS) によって実現された。マトウ細胞は脳内の血管壁中に存在する細胞で、それが細胞内に蓄積する顆粒物質が老化に関係するといわれており、その顆粒物質を分析するに十分な量を収集するために多数の細胞の収集作業が求められている。

3-2 細胞操作システム：

システムは、白色と紫外光を切り替えられる光学顕微鏡、それにつけられたＣＣＤカメラ、映像入力および画像処理装置、並進 3 自由度の作業台と並進２軸自由度を有するマニピュレータとから構成されている。マトウ細胞は、プレパラート上にストレッチ標本として顕微鏡下におかれ作業に付される。

図 2. Cell Handling System (CHS)

４. 作業実験：

4-1. ステータス駆動制御実験：

マトウ細胞の輪郭と沿った軌道を指定し、なるべくロボットマニピュレータにつけられた針先の軌道がそれに一致するように動かす作業を、ステータスドリブン制御とジョイスティックによる手動制御とによって実施する比較実験が実施された。その結果、ステータス駆動制御は手動制御に比較して作業時間で約 1/3 に短縮されることがわかった。

図 3. Status Driven Performance Results

4-2. ビヘービアサンプリング実験：

いくつかのマトウ細胞の周辺を削り取る作業の記録が、ビヘービアサンプリングの手法によって可能であることが示された。マトウ細胞の収集作業時の顕微鏡画像および作業台とマニピュレータの制御指令から視覚オブジェクトの抽出を行い，視覚情報と制御情報を構造化して記述・蓄積可能であることを確認した。

図 4. Status Driven and Behavior Sampling

4-3. ステータスオンデマンド実験：

a) 拡張リドゥ機能と、 b) カスタマイズの機能、 c) 要約機能の各実験により，ステータスオンデマンドの機能が実現可能であることが実証された。
a) 拡張リドゥ機能実験：
マトウ細胞の周辺を削り取る作業においては、最初マトウ細胞の輪郭に近いところを削り取り、その後徐々に周辺にひろげて削り取る機能が求められる。初期段階の削り取り作業実行のデータを修正利用することによって周辺の削り取り作業が容易に実現できる拡張リドゥ機能の有効性が実証された。
b) カスタマイズ機能：
削りとったマトウ細胞をピペットで吸い取る作業が追加された時、その作業の教示が容易にカスタマイズ機能によって実施できる事が確認された。
c)要約機能：
作業中の変化を示す映像を構造化処理に基づいて選択し，複数枚提示することが、その作業の要約提示として有効であることを実験により確認した。

図 5. Long Term Status on Demand

５.結論：

本論文では、テレオペレーション環境として、視覚情報に基づいた作業の制御、蓄積と支援システムを提案した。このテレオペレーション環境は、双方向行動メディア（Bilateral Behavior Media）と呼ばれるパラダイムに基づいており、 1) 視覚センサから得られる作業状況 (ステータス) によって作業を教示し実行する制御方法であるステータスドリブン制御法 2)作業環境の視覚情報とマニピュレータの制御情報をベースとして操作情報を計算機へ入出力するデータ表現法およびインタラクション手法であるビヘービアサンプリングと、 3)そのようにして貯えられた操作情報を作業支援に利用するステータスオンデマンドの機能による作業支援手法から構成されている。

論文では、双方向行動メディアの具体的な実現形として、細胞操作システムを構築し、マトウ細胞の分離･収集作業のように我々のもつ日常行動の経験が生かされない微細作業を対象としてその有効性を検証した。具体的には、 a)ステータスドリブン制御とジョイスティックによる手動制御とを比較した場合、作業時間にしてマトウ細胞の削り取り作業においては約 1/3に短縮されうること、 b)そのようなマトウ細胞の周辺を削り取る作業の記録が、ビヘービアサンプリングの手法によって可能であること、 c)マトウ細胞の最初の削り取り作業実行のデータを修正して周辺に再利用できること、作業中の変化を示す映像を複数枚提示することでその作業の要約提示ができることが示された。以上により、双方向行動メディアの考え方は、視覚情報に基づいた遠隔作業方法として有効であると結論づけられる。