東北大学 電気通信研究所 准教授
Associate Prof., Research Institute of Electrical Communication, Tohoku University
Google Scholar / researchmap / Twitter
Contact: k-fujita [at] riec.tohoku.ac.jp
2010年 大阪大学 大学院情報科学研究科 マルチメディア工学専攻 博士前期課程 修了.2013年 同研究科 情報システム工学専攻博士 後期課程修了.同年 株式会社イトーキ.2018年より東北大学 電気通信研究所 助教(2023年より東北大学プロミネントリサーチフェロー).2024年より同准教授.博士 (情報科学).ヒューマンコンピュータインタラクションおよびバーチャルリアリティに関する研究,具体的には,人の活動を取り巻く「ワークスペース」に着目し,空間全体またはその構成要素とのインタラクションを通して人のさまざまな活動を支援する「ヒューマン・ワークスペース・インタラクション」の研究に取り組んでいます.
I, Kazuyuki FUJITA, am an Associate Professor of Research Institute of Electrical Communication (RIEC) at Tohoku University. I received my Ph.D. in Information Science and Technology from Osaka University in 2013. I worked for ITOKI, an office space design company, and was engaged in research and development on future offices for 2013-2018. From 2018 to the present, I have been working at RIEC, Tohoku University (as Assistant Professor in 2018-2024 and as Associate Professor from 2024). I have also been granted the title of Prominent Research Fellow at Tohoku University from 2023. My research interests include human-computer interaction and virtual reality. More specifically, I focus on "workspaces" that surrounds human activities, and research Human-Workspace Interaction, which supports various human activities through interaction with the computerized or virtualized workspaces and their components.
SwapVidは,講義動画のような資料のプレゼン動画のためのユーザインタフェースです.動画ビューアと資料ビューアを1つの画面に統合して互いに関連づけることにより,互いを参照しながらの探索タスクを効率化しています.
SwapVid is a user interface for presentation videos of documents such as lecture videos. The video viewer and document viewer are integrated into one screen and associated with each other to streamline the task of exploring while referring to each other.
InflatableBotsは,VRにおける新たな触覚提示デバイスです.インフレータブル機構を搭載したモバイルロボットを複数台使って、狙った位置・高さに触覚対象物を配置できるシステムを実現しました.
InflatableBots is a encounter-type haptic device in VR. The system consists of several mobile robots with inflatable structures that allow to locate haptic objects in arbitrary position/height.
RedirectedDoors+は,VR空間内に配置された複数のドアを開けて歩行する際に,ドアノブの触覚フィードバックを再現するとともに,ユーザの進行方向を操作することで現実世界の限られた空間を有効活用するようユーザを誘導するシステムです.このシステムでは,全方位自走式ロボットの上にドアノブ型プロップを搭載した「ドアロボット」,このロボット複数台の配置を適応的に決定するための「ロボット配置アルゴリズム」,および,ユーザの歩行経路が物理空間内に収まるようユーザを誘導する「ユーザステアリングアルゴリズム」によって実現されています.
RedirectedDoors+ is a robot-based system that permits consecutive door-opening redirection with haptics. The system is mainly achieved with the use of three components: (1) door robots, a small number of wheeled robots equipped with a doorknob-like prop, (2) a robot-positioning algorithm that arbitrarily positions the door robots to provide the user with just-in-time haptic feedback during door opening, and (3) a user-steering algorithm that determines the redirection gain for every instance of door opening to keep the user away from the boundary of the play area.
本研究では,現実空間から発せられる音手がかり(例:テレビの音,洗濯機の音)が,VR空間内でのリダイレクテッドウォーキング(体を回転させたときの視覚のズレ)への知覚に与える影響について調査しました.実験の結果,現実空間内の特定位置に固定された音源を提示した場合,リダイレクテッドウォーキングの効果が高まる(視覚のズレに気づきにくくなる)可能性が示されました.
This study investigated the effect of sound cues emitted from the real space (e.g., the sound of a TV and a washing machine) on the perception of redirected walking (visual manipulation when the body is rotated) in VR. The experimental results suggested potential enhancement of redirected walking (i.e., visual manipulation was less noticeable) when a fixed sound source was presented at a specific location in the real space.
HandyGazeは,環境内にセンサやマーカを設置せず,スマートフォンを持つだけで利用できる6自由度の視線トラッキング手法です.本手法では,スマートフォンの前面カメラと背面カメラを同時に使用しており,前面カメラでスマートフォンに対するユーザの視線ベクトルの推定を,背面カメラ(および深度センサ)ではあらかじめ取得した環境の3Dマップを復元することで自己位置推定をそれぞれ行うことにより実現しています.この手法は,例えば美術館・博物館での案内アプリケーションへ応用できると期待されます.
HandyGaze is a 6-DoF gaze tracking technique that can be carried out by simply holding a smartphone naturally without installing any sensors or markers in the environment. Our technique simultaneously employs the smartphone’s front and rear cameras: The front camera estimates the user’s gaze vector relative to the smartphone, while the rear camera (and depth sensor, if available) performs self-localization by reconstructing a pre-obtained 3D map of the environment. This technique could be used e.g., for gaze-based guidance applications in museums.
TetraForceは,スマートフォンの2つの面(タッチ面と背面)に対する2種類の方向(垂直方向と剪断方向)の力による入力を可能にするスマートフォンケース型の磁気式ユーザインタフェースです.本インタフェース,は3DoFで可動する背面パネルに磁石を配置し,その変位をスマートフォン内蔵の地磁気センサにより推定することで力の方向や強さを取得しています.プロトタイプを用いたユーザスタディの結果,ユーザによる4種類の入力が平均97.4%の精度で意図通りに検出できることを確認しました.また,ワークショップでは本インタフェースを用いた多数のアプリケーション例が提案され,応用範囲の広さを示しました.
TetraForce is a novel phone-case-shaped interface, which enables four types of force input consisting of two force directions (i.e., pressure force and shear force) and two force-applied surfaces (i.e., touch surface and back surface) in a single device. Force detection is achieved using the smartphone’s built-in magnetometer by estimating the displacement of a magnet attached to a 3-DoF passively movable panel at the back. Our user study demonstrated that the input using the interface was detected as intended by the participants with a success rate of 97.4% on average for all four input types. An ideation workshop also derived a variety of useful application ideas.
WaddleWallsは,オフィス等の作業スペースにおける視覚的な開放性を状況に応じて調節するために,移動または高さ・幅の変更が可能な自走型パーティションシステムです.本研究では,上下昇降スタンド,ロールスクリーン,移動ロボットを用いてWaddleWallsのプロトタイプを実装し,これを用いた応用シナリオの例を示しました.
WaddleWalls is a self-actuated stretchable partition system whose physical height, width, and position can dynamically change to regulate openness of the workplace. We implemented the prototype with a height-adjustable stand, a roll-up screen, and a mobile robot. We then show some example application scenarios to discuss potential future actuated-territorial offices.
ConfusionLensは,機械学習による画像分類結果をインタラクティブに可視化するユーザインタフェースです.従来の混同行列にFocus+Contextによる可視化を適用することで,1画面上で全てのインスタンス画像を表示しながら,タスクに合わせて表示レイアウトをシームレスに切り替えることを可能としました.初期プロトタイプとして,数百のインスタンスをサポートするインタフェースに加え,インスタンスのソート,フィルタリング,活性化マップの可視化といった実用的な拡張機能を実装しました.
ConfusionLens is a dynamic and interactive visualization interface that augments a conventional confusion matrix with focus+context visualization. This interface allows users to seamlessly switch table layouts among different views while observing all of the instance images in a single screen. Our initial prototype provides a user interface that supports hundreds of instances and its several practical extensions such as activation map visualization and instance sorting/filtering.
RedirectedDoorsは,VR空間内でドアを開ける動作中にユーザの進行方向を操作するリダイレクション手法です(リダイレクション手法とは,歩行を伴うVR体験を限られた物理空間内で楽しむために,ユーザに気づかれないように移動量や方向をだますことで物理空間を有効活用しようとする手法のことをいいます).具体的には,開扉時のユーザとドアの間の位置関係を保ちながら,開扉角度に合わせてVR空間全体を一定の倍率で回転させることにより,ユーザの進行方向操作を実現しています.
RedirectedDoors is a novel space-efficient technique for redirection in VR focused on door-opening behavior (Redirection is a methodology to subtly manipulate the user's movement distance and/or direction for compressing the VR experience within a limited physical space). This technique manipulates the user’s walking direction by rotating the entire virtual environment at a certain angular ratio of the door being opened, while the virtual door’s position is kept unmanipulated so that a realistic door-opening user experience can be ensured.
PseudoJumpOnは,平坦な場所でもVR空間内で擬似的に段差に跳び乗ったような感覚を与える手法です.この手法は,跳躍動作中の上昇量と下降量に異なる倍率をかけるゲイン操作手法と,上昇時間が下降時間よりも長くなるように操作するピークシフト手法を組み合わせることにより実現されています.ユーザスタディ(N=20)の結果,ユーザは物理的な段差がないことを知りながらも,段差に飛び乗る感覚のリアリティや自然さに関して概ねポジティブな評価であったことがわかりました.
PseudoJumpOn is a novel locomotion technique using a common VR setup that allows the user to experience virtual step-up jumping motion. This technique is achieved by combining two viewpoint-manipulation methods: gain manipulation, which differentiates the ascent and descent height, and peak shifting, which delays the peak timing. Results of a user study (N=20) showed that the users in most conditions felt positively in terms of reality and naturalness of actually jumping onto steps, even though knowing no physical steps existed.
ヘッドマウントディスプレイ(HMD)ユーザがVR体験への没入と周囲へのアウェアネスのバランスをうまくとる方法を探るため,近接者の位置と向きをHMDの視界に可視化する3つの手法(Avatar View, Radar, and Presence++)を設計し実装しました.3つの異なるタイプのVRコンテンツを用いたユーザスタディ(N=20)の結果,近接者のアバタをVR空間内に半透明表示する手法であるAvatar Viewがアウェアネスの向上に有効であったものの,VRコンテンツへの没入感をやや低下させることがわかりました.この結果を踏まえ,HMDユーザの没入感の低下を緩和するために今後どのような可視化技術を設計すべきか考察しました.
To explore how to balance VR immersion and bystander awareness for HMD users, we adapted and implemented three visualization techniques (Avatar View, Radar, and Presence++) that share bystanders' location and orientation with headset users. Our user study (N=20) with three different types of VR content (high, medium, low interactivity) reveals that a see-through avatar representation of bystanders was effective, but led to slightly reduced immersion in the VR content. Based on our findings, we discuss how future awareness visualization techniques can be designed to mitigate the reduction of immersion for the headset user.
ModularHMDは,手動で再構成可能なモジュラー機構を用いた新たなモバイルヘッドマウントディスプレイ(HMD)です.この HMD では,市販の HMD のフェイスカバー部に 3 つの着脱可能なディスプレイモジュールを設置することで,没入感の高い VR 体験を可能にしつつも,必要に応じてモジュールの着脱により視界周辺部での実物体や近接者とのアドホックなインタラクションを可能にします.
ModularHMD is a new mobile head-mounted display concept, which allows a user to perform ad-hoc peripheral interaction with real-world devices or people during VR experiences. The device is comprised of a central HMD and three removable modules installed in the periphery of the HMD cowl and each module has four main states: occluding, extended VR view, video see-through (VST), and removed/reused. A user can quickly setup the HMD forms, functions, and real-world visions for ad-hoc peripheral interactions as needed.
TiltChairは,デスクワークにおける長時間の座位を解消するため,オフィスチェア座面を前傾させることでユーザの姿勢を誘導するシステムです.空気圧制御を用い,前傾角度とその動作速度を調整することにより,ユーザが遂行中のタスクを邪魔せずに立位姿勢を促せることを示しました.
We propose TiltChair, an actuated office chair that physically manipulates the user’s posture by actively inclining the chair’s seat to address problems associated with prolonged sitting. The system controls the inclination angle and motion speed with the aim of achieving manipulative but unobtrusive posture guidance. Experimental results show the system's potential to change the users posture even during tasks, without loss of task performance.
PinpointFlyは,モバイルARを用いることで,タッチ操作でドローンの位置制御が可能な操縦インターフェイスです.ユーザは,画面に表示されたドローンのバーチャルな影やスライダバーを用いて,ドローンの位置・方向・高さを制御することできます.実験により,この手法が従来のジョイスティック操作に比べて早く,正確に,少ない負荷でドローンの制御を実現することを示しました.
We propose PinpointFly, an egocentric interface that allows users to arbitrarily position and rotate a flying drone by position control interactions on a see-through mobile AR where the drone position and its direction are visually enhanced with a virtual cast-shadow. A user study demonstrated that PinpointFly makes the drone positioning and inspection operations faster, more accurate, simpler and fewer workload than a conventional joystick interface.
BouncyScreenは,ユーザが平面ディスプレイに表示された物体と間接インタラクションする際,映像と連動して平面ディスプレイを物理的に奥行き方向へ運動させることで疑似触覚を提示することでコンテンツの表現を拡張する手法です.心理物理実験の結果,ディスプレイ自体の物理的な移動は,平面ディスプレイ内に表示された視覚的なコンテンツの移動と同程度に奥行方向への近くに影響を与えることがわかりました.
We propose BouncyScreen, an actuated 1D display that enriches indirect interaction with a virtual object by pseudo-haptic feedback mechanics enhanced through the screen's physical movements. The psychophysical study confirmed that the screen's synchronous physical motions offers identical pseudo-force feedback to the vision-based pseudo-haptic technique.
ルームスケールVRにおける壁やドア等の空間インフラに関する触覚を,複数の自走する壁型プロップを用いてユーザに提示する方法であるZoomWallを提案しています.本研究では,ユーザの動きから触れそうな壁を予測するアルゴリズム,および,その場所へ利用可能な壁面プロップを配置するための経路計画アルゴリズムを設計し,ユーザスタディによりこの有効性を検証しています.
We propose ZoomWalls, autonomous robotic encounter-type wall-shaped props that simulate the haptic infrastructure (i.e. walls, doors) in room-scale virtual reality. Based on a user's movement through the physical space, ZoomWall props are coordinated through a predict-and-dispatch architecture to provide just-in-time haptic feedback for objects the user is about to touch.
本研究では,植物の成長度合いを制御することにより,日々蓄積されていく情報(例えば,タスクの進捗状況や貯金箱の金額など)を可視化する植物ディスプレイ「PlanT」を提案しています.実験では,カイワレ大根に与える水分や日光の量の変化により,主観的な成長度合いを制御できる可能性を示しています.
We propose PlanT, a plant display that visualizes information accumulating over time (e.g., task progress, piggy bank amounts, etc.) by controlling the growth rate of the plant. Our experiments show the possibility to control the growth rate (perceived by users) of white radish sprouts by changing the amount of water and sunlight provided to them.
複数階層にわたる2.5D地図情報のグラフデータを編集するための,グラフ要素のオクルージョン(遮蔽)を解決するユーザインタフェースを提案しています.提案手法Repel Significationは,オクルージョン箇所を振動するようなモーションで可視化します.2つ目の提案手法Repel Expansionは,カーソル付近のオクルージョンを解決するように,重なっていた要素を出現させ可視化します.
We propose an interface to visualize occluded graph elements that help the user edit map data with a 2.5D geographical structure (e.g., multi-floor indoor maps). The proposed technique named Repel Signification employs oscillating motion to signify the occluded elements. The other technique named Expansion Interaction visualizes occluded elements around cursor.
StickyTouchは,表面の一部の粘着性をコンピュータによって制御でき,画像情報(2D)に粘着性(1D)を追加し表示できるディスプレイです.温度によって粘着性が変化する特殊なポリマーシートをディスプレイスクリーン上に配置し,局所的な温度変化を制御することで,表面の粘着性を局所的に制御することを実現しています.
StickyTouch is a novel tactile display that represents adhesive information on a surface. Adhesion control can be achieved by a temperature sensitive adhesive sheet whose temperature is locally controlled by peltier devices arranged in a grid.
Pursuit Sensingは,カメラによるハンドトラッキング可能な領域を拡大するために,3軸ジンバルを用いてカメラアングルを手の動きに追従させるセンシング手法です.アクションカメラ用3軸ジンバルとLeap Motionセンサーを組み合わせたウェアラブルなセンサを胸部に固定し,VRでのハンドインタラクションを実現するアプリケーションを開発しました.
Pursuit Sensing is a technique to considerably extend the tracking volume of a camera sensor through self-actuated reorientation using a customized gimbal, thus enabling a Leap Motion to dynamically follow the user’s hand position in mobile HMD scenarios.
ShearSheetは,導電性素材を貼付した透明シートをタッチスクリーン上でスライドさせることで,通常のタッチ入力に影響を与えずに,ジョイスティックのような速度制御による機構を追加のセンサ無しで付加する新たなインタフェースです.
ShearSheet is a low-cost and power-free method that enables tangential (shear) force input on a touchscreen using a rubber-mounted slim transparent sheet. The sheet has tiny conductive material(s) attached to the underside so that displacement of the sheet is recognized as touch input(s).
本インタフェースは,空間的に連動する2台のドローンを利用して従来のドローン操縦インタフェースを拡張します.操縦対象のドローン(主ドローン)カメラによる一人称視点に加えて,主ドローンに空間連動する副ドローンを用いて広域な三人称視点を提供することで,パイロットのドローン周囲への理解(SituationalAwareness)を高め,ドローンの操縦や飛行経路計画をより簡単にします.
We propose Third-Person Piloting, a novel drone manipulation interface that increases situational awareness using an interactive third-person perspective from a second, spatially coupled drone. The pilot uses a controller with a manipulatable miniature drone. This allows the pilot to obtain various third-person perspectives by controlling a changing the orientation of the miniature drone while maintaining standard primary drone control using the conventional controller.
本研究は,VR空間において,ユーザによる跳躍移動量(水平距離,高さ,回転量)を知覚されない程度のゲインにより拡大(または縮小)することで,限られた物理空間内でより自由度の高い跳躍体験を実現する枠組みであるRedirected Jumpingを提案しています.
We explore Redirected Jumping, a novel redirection technique which enables us to purposefully manipulate the mapping of the user’s physical jumping movements (e.g., distance and direction) to movement in the virtual space, allowing richer and more active physical VR experiences within a limited tracking area.
デジタル写真を閲覧する機会が増えていますが,写真の数が多くなるにつれ,それらの関連付けを考慮することは難しくなります.本研究では,写真のメタデータを利用しさまざまなコンテンツを状況に応じて動的に,またインタラクティブに表示する新しい手法を提案しています.
D-FLIP dynamically and flexibly visualizes digital photos and their metadata. We design various dynamic photo visualizations with up to four-dimensional meta-information, allowing users to dynamically and effectively manage photos by selecting meta-information of user's current needs and interest.
オフィスの会議において,参加者の発想支援や合意形成を目的とし,空間自体が「もうひとりの参加者」となり会議を支援する空間型インタフェースを提案しています.参加者の発話内容に関連する情報を,壁面にリアルタイムに表出させる仕組みを実際の会議室に実装し,その有用性を検証しています.
AI-Supported Meeting Space itself behaves as “another participant” to make the meeting more productive. The system periodically provides the participants with some information related to their discussion topics on the surface of the table and walls.
紙や布を指で縮めようとしたときに発生する「撓(たわ)み」のメタファを,スクロールおよびズーム操作に適用したインタラクション手法を提案しています.この手法は表示するコンテンツを伸縮性の柔らかい材質と捉えており,スクロール・ズームの際に従来は画面外へ押し出されていた領域が画面内に一時的に留まることにより,元の場所に戻る操作を支援します.
Elastic Scroll and Zoom is a viewport control method using metaphor of flexible materials. When a user scrolls or zooms the content to acquire a new area, originally displayed area remains in the viewport with distortion, which helps users decide next operation.
パラパラ漫画を電子的に楽しむことを可能にする本型デバイス「パランガ」では,本を曲げたり親指でページを押さえたりすることで連続的なページめくりを入力し,それに伴い紙のページがめくれる触覚・聴覚フィードバックを実現しています.また,ページめくりの速度によってコンテンツが変わるインスタレーションを実装し,新たな電子パラパラ漫画体験を実現しました.
Paranga is a book-shaped device that brings e-books into physical features like paper-like texture and page-flipping sensation. Paranga detects how quickly a user is turning pages and provides the tactile feedback of turning pages on his/her thumb by employing a rotatable roller mechanism with pieces of real paper.
多人数でのコミュニケーションを支援するための情報環境Ambient Suiteは,マイクやモーショントラッカ等を用いて会話の状況を推定するとともに,床や壁に配置されたディスプレイ群から様々な情報を表示させることで,会話の活性化を促します.101名の参加者による評価実験の結果,これらの情報提示が参加者の会話を活性化したことを示しました.
Ambient Suite enhances communication among multiple participants. In Ambient Suite itself works as both sensors to estimate the conversation states of participants from nonverbal cues and displays to present information to stimulate conversation.
撫でる,かきむしるなど様々な動作を想起させる毛状物体の特性に着目し,毛状表面での映像提示とマルチタッチ認識が可能な大画面毛状ディスプレイFuSA2 Touch Displayを提案しています.このシステムでは,プラスチック製の光ファイバを用い,プロジェクタによる映像提示と赤外線を利用したタッチ認識を実装しています.
FuSA2 Touch Display is a furry and scalable multi-touch display which affords various interactions such as stroking or clawing. The system utilizing the feature of plastic fiber optics realizes a furry-type texture and a simple configuration that integrates the input and output.
Googleマップ等の地図を操作するための新たな手法であるAnchored Navigationを提案しています.この手法では,ユーザの決めた注目点が画面内に必ず留まるように,ユーザのドラッグ操作に合わせて自動的にズームやチルトがなされることにより,シンプルな操作で注目点との距離・方向感覚を失わない操作を可能としています.
Anchored Navigation is a novel map navigation technique which allows users to manipulate a viewport without mode-switching among pan, zoom, and tilt while maintaining a sense of distance and direction by coupling users' panning displacements with zooming and panning so that the anchor point (determined by users) always remains in the viewport.
降雨体験を再現するために傘の手元に伝わる振動触覚に着目し,この振動を記録・再生可能な傘型デバイス「アソブレラ」を提案しています.このデバイスでは,ダイナミックマイクまたはスピーカの原理を利用したシンプルな機構により振動の記録・再生の両方を実現し,雨以外の様々なモノが降り注ぐ体験が可能なインスタレーションを実装しました.
Funbrella is an umbrella-like device that entertains people by reproducing various kinds of vibration perceived through an umbrella's handle while raining. We implemented a vibration-giving mechanism with an extremely simple structure based on a microphone / speaker so that the device can record the vibrations and plays them.