米谷　竜（よねたに　りょう）

情報科学分野において、主にコンピュータビジョンと機械学習の研究に従事しています。 京都大学で博士号取得後、東大生産技術研究所助教、カーネギーメロン大学訪問研究員、オムロンサイニックエックスのPIを経て、現在はCyberAgent AI Labのリサーチサイエンティストとして働いています。

学歴

  • 博士（情報学）
  • 2013.11 京都大学　大学院情報学研究科　知能情報学専攻　博士課程　期間短縮修了
    • “Modeling Spatiotemporal Correlations between Video Saliency and Gaze Dynamics”（主査: 松山隆司先生）
  • 2011.3 京都大学　大学院情報学研究科　知能情報学専攻　修士課程　修了
    • 「映像の顕著性変動と視線運動の時空間相関分析に基づいた集中度推定」（主査: 松山隆司先生）
  • 2009.3 京都大学　電気電子工学科　卒業
    • 「提示イベントと眼球動作との同期構造分析に基づく注視対象推定」（指導教員: 松山隆司先生）

職位

  • 2023.4-現在 CyberAgent AI Lab リサーチサイエンティスト
  • 2021.4-現在 慶應義塾大学 特任講師
  • 2020.4-2023.3 オムロンサイニックエックス株式会社 PI
  • 2019.1-2022.3 東京大学生産技術研究所 協力研究員
  • 2019.1-2020.3 オムロンサイニックエックス株式会社 シニアリサーチャー
  • 2014.4-2018.12 東京大学生産技術研究所 助教
  • 2016.9-2017.8 Visiting Scholar at Carnegie Mellon University, Robotics Institute
  • 2012.4-2014.3 日本学術振興会特別研究員（DC2/PD）

受賞

本人によるもの

  • 教育功労賞（パターン認識・メディア理解研究会「研究メンターシッププログラム」立案・運営への貢献）, 電子情報通信学会, 2023
  • MIRUインタラクティブ賞, 画像の認識・理解シンポジウム, 2019
  • CVPR2017 Outstanding Reviewer, IEEE Conference on Computer Vision and Pattern Recognition, 2017
  • 山下記念研究賞, 情報処理学会, 2016
  • 情報・システムソサイエティ論文賞, 電子情報通信学会, 2014
  • H25 PRMU研究奨励賞, 電子情報通信学会パターン認識とメディア理解研究会, 2014
  • MIRU優秀学生論文賞, 画像の認識・理解シンポジウム, 2012
  • IBM Best Student Paper Award (Track IV: Biometrics and Human Computer Interaction), International Conference on Pattern Recognition, 2010

共著学生によるもの

  • 杉田祐樹, インタラクティブ発表賞, インタラクション2017, 2017
  • 村上晋太郎, CVIM奨励賞, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016
  • 樋口未来, CVIM奨励賞, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016

研究助成

代表者

  • JST戦略的創造研究推進事業（ACT-I）, “プライバシー保護一人称ビジョン”, 2016 - 2018
  • 生産技術研究奨励会特定研究奨励助成, “一人称視点映像の共通注目シーン解析”, 2016 - 2017
  • 科学研究費補助金若手研究B, “映像コンテンツの顕著性変動解析による特徴ベース視線推定”, 2015 - 2017
  • 栢森情報科学振興財団助成, “複数装着型カメラ映像からのインタラクション認識技術の開発”, 2015 - 2017
  • 大川情報通信基金研究助成, “ディスプレイを高原として用いた視線計測技術に関する研究”, 2015 - 2016
  • 日本学術振興会特別研究員研究助成, “時区間ハイブリッドダイナミカルシステムを用いた心の分析とモデル化”, 2012-2014

共同研究者, 研究協力者

  • 科学研究費助成事業 基盤研究（B）, “多様な環境に適用可能なコンピュータビジョンと無線通信のクロスモーダルセンシング”（代表: 西尾 理志）, 2022-2025
  • JST戦略的創造研究推進事業（CREST）, “集合視による注視・行動解析に基づくライフイノベーション創出”（代表: 佐藤洋一）, 2014-2018
  • JST戦略的国際共同研究プログラム（SICORP）, “多様なカメラを活用した群衆行動の変化検出”（代表: 佐藤洋一）, 2016-2018

学会活動

招待講演，講義

  • Federated Learningにおける典型的な課題と最近の展開, 第25回情報論的学習理論ワークショップ（IBIS 2022）チュートリアル, 2022 (資料)
  • 人の動きを予測する機械学習技術, 慶応義塾大学理工学部：情報工学特別講義, 2021
  • 非集中環境における深層学習, 精密工学会 画像応用技術専門委員会 招待講演, 2019
  • サーベイ論文の書き方 ～視覚的注意モデルのサーベイを題材に～, パターン認識とメディア理解研究会, 2018（資料（10.8MB））
  • 一人称ビジョンと集合視, 【第22回AIセミナー】 「コンピュータービジョンとAI　～人とロボットの視覚～」, 産総研 人工知能研究センター, 2018（資料 (146MB)）
  • グランドチャレンジは誰がやるのか, 特別セッション「今後の研究会のあり方を考える」, パターン認識とメディア理解研究会, 2018（資料）
  • 一人称ビジョン, 人工知能とメディア, はこだて未来大学, 2017
  • 一人称視点映像解析の最先端, 画像の認識・理解シンポジウム, 2016
  • Recognizing Micro-Actions and Reactions from Paired Egocentric Videos, 画像の認識・理解シンポジウム, 2016
  • Ego-Surfing First-Person Videos, 画像の認識・理解シンポジウム, 2015

発表論文

Peer-reviewed papers

  • Hikaru Asano, Ryo Yonetani, Mai Nishimura, Tadashi Kozuno, “Counterfactual Fairness Filter for Fair-Delay Multi-Robot Navigation”, International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS), 2023 [paper] [project page]
  • Kazumi Kasaura, Shuwa Miura, Tadashi Kozuno, Ryo Yonetani, Kenta Hoshino, Yohei Hosoe, “Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints”, IEEE Robotics and Automation Letters (RA-L), 2023 [paper] [project page]
  • Masafumi Endo, Tatsunori Taniai, Ryo Yonetani, Genya Ishigami, “Risk-aware Path Planning via Probabilistic Fusion of Traversability Prediction for Planetary Rovers on Heterogeneous Terrains”, International Conference on Robotics and Automation (ICRA), 2023 [paper] [Project]
  • Kazumi Kasaura, Ryo Yonetani, Mai Nishimura, “Periodic Multi-Agent Path Planning”, AAAI Conference on Artificial Intelligence (AAAI), 2023 [paper] [project page]
  • Kazumi Kasaura, Mai Nishimura, Ryo Yonetani, “Prioritized Safe Interval Path Planning for Multi-Agent Pathfinding With Continuous Time on 2D Roadmaps”, IEEE Robotics and Automation Letters (RA-L), 2022 [paper] [project page]
  • Keisuke Okumura, Ryo Yonetani, Mai Nishimura, Asako Kanezaki, “CTRMs: Learning to Construct Cooperative Timed Roadmaps for Multi-agent Path Planning in Continuous Spaces”, International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS), 2022 [paper] [project page]
  • Ryo Yonetani, Tatsunori Taniai, Mohammadamin Barekatain, Mai Nishimura, Asako Kanezaki, “Path Planning using Neural A* Search”, International Conference on Machine Learning (ICML), 2021 [paper] [project page]
  • Kazutoshi Tanaka, Ryo Yonetani, Masashi Hamaya, Robert Lee, Felix von Drigalski, Yoshihisa Ijiri, “TRANS-AM: Transfer Learning by Aggregating Dynamics Models for Soft Robotic Assembly”, International Conference on Robotics and Automation (ICRA), 2021 [paper] [project page]
  • Felix von Drigalski, Masashi Hayashi, Yifei Huang, Ryo Yonetani, Masashi Hamaya, Kazutoshi Tanaka, Yoshihisa Ijiri, “Precise Multi-Modal In-Hand Pose Estimation using Low-Precision Sensors for Robotic Assembly”, International Conference on Robotics and Automation (ICRA), 2021 [paper]
  • Hiroaki Minoura, Ryo Yonetani, Mai Nishimura, Yoshitaka Ushiku, “Crowd Density Forecasting by Modeling Patch-based Dynamics”, IEEE Robotics and Automation Letters (RA-L), 2020. [paper]
  • Jiaxin Ma, Ryo Yonetani, Zahid Iqbal, “Adaptive Distillation for Decentralized Learning from Heterogeneous Clients”, International Conference on Pattern Recognition (ICPR), 2020 [paper]
  • Mai Nishimura, Ryo Yonetani, “L2B: Learning to Balance the Safety-Efficiency Trade-off in Interactive Crowd-aware Robot Navigation”, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020 [paper]
  • Mohammadamin Barekatain, Ryo Yonetani, Masashi Hamaya, “MULTIPOLAR: Multi-Source Policy Aggregation for Transfer Reinforcement Learning between Diverse Environmental Dynamics”, International Joint Conference on Artificial Intelligence (IJCAI), 2020 [paper] [project page]
  • Rie Kamikubo, Naoya Kato, Keita Higuchi, Ryo Yonetani, Yoichi Sato, “Studying Effective Agents in Remote Sighted Guidance for People Navigating with Visual Impairments”, ACM Conference on Human Factors in Computing Systems (CHI), 2020
  • Navyata Sanghvi, Ryo Yonetani, Kris Kitani, “Modeling Social Group Communication with Multi-Agent Imitation Learning”, International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS), 2020 [paper]
  • Naoya Yoshida, Takayuki Nishio, Masahiro Morikura, Koji Yamamoto, Ryo Yonetani, “Hybrid-FL for Wireless Networks: Cooperative Learning Mechanism Using Non-IID Data”, IEEE International Conference on Communications (ICC), 2020 [paper]
  • Takayuki Nishio, Ryo Yonetani: “Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge”, IEEE International Conference on Communications (ICC), 2019 [paper]
  • Nathawan Charoenkulvanich, Rie Kamikubo, Ryo Yonetani, and Yoichi Sato, “Assisting Group Activity Analysis through Hand Detection and Identification in Multiple Egocentric Videos”, ACM Conference on Intelligent User Interface (IUI), 2019.
  • Ryo Yonetani, Kris Kitani, Yoichi Sato: “Ego-Surfing: Person Localization in First-Person Videos Using Ego-Motion Signatures”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), Vol.40, Issue 11, pp.2749-2761, 2018. [paper]
  • Yuki Sugita, Keita Higuchi, Ryo Yonetani, Rie Kamikubo, Yoichi Sato, “Browsing Group First-Person Videos with 3D Visualization”, accepted to ACM International Conference on Interactive Surfaces and Spaces (ISS), 2018
  • Takuma Yagi, Karttikeya Mangalam, Ryo Yonetani, Yoichi Sato, “Future Person Localization in First-Person Videos”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR, spotlight presentation), 2018 [paper] [code]
  • Rie Kamikubo, Keita Higuchi, Ryo Yonetani, Hideki Koike, Yoichi Sato, “Exploring the Role of Tunnel Vision Simulation in the Design Cycle of Accessible Interfaces”, International Cross-Disciplinary Conference on Web Accessibility (Web4All), 2018
  • Ryo Yonetani, Vishnu Naresh Boddeti, Kris M. Kitani, Yoichi Sato, “Privacy-Preserving Visual Learning Using Doubly Permuted Homomorphic Encryption”, International Conference on Computer Vision (ICCV), 2017 [paper]
  • Keita Higuchi, Ryo Yonetani, Yoichi Sato, “EgoScanning: Quickly Scanning First-Person Videos with Egocentric Elastic Timelines”, ACM Conference on Human Factors in Computing Systems (CHI), 2017
  • Ryo Yonetani, Kris Kitani, Yoichi Sato, “Visual Motif Discovery via First-Person Vision”, European Conference on Computer Vision (ECCV), 2016 [paper]
  • Ryo Yonetani, Kris Kitani, Yoichi Sato, “Recognizing Micro-Actions and Reactions from Paired Egocentric Videos”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016 [paper]
  • Keita Higuchi, Ryo Yonetani, Yoichi Sato, “Can Eye Help You?: Effects of Visualizing Eye Fixations on Remote Collaboration Scenarios for Physical Tasks”, ACM Conference on Human Factors in Computing Systems (CHI), 2016
  • Ryo Yonetani, Kris Kitani, Yoichi Sato, “Ego-Surfing First-Person Videos”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015 [paper]
  • Ryo Yonetani, Hiroaki Kawashima, Takashi Matsuyama, “Predicting Where We Look from Spatiotemporal Gaps”, International Conference on Multimodal Interaction (ICMI), 2013
  • Ryo Yonetani, Akisato Kimura, Hitoshi Sakano, Ken Fukuchi: “Single Image Segmentation with Estimated Depth”, British Machine Vision Conference (BMVC), 2012
  • Ryo Yonetani, Hiroaki Kawashima, Takashi Matsuyama, “Multi-mode Saliency Dynamics Model for Analyzing Gaze and Attention”, Eye Tracking Research & Applications (ETRA), 2012
  • Ryo Yonetani, Hiroaki Kawashima, Takatsugu Hirayama, Takashi Matsuyama, “Gaze Probing: Event-Based Estimation of Objects Being Focused On”, International Conference on Pattern Recognition (ICPR, IBM Best Student Paper Award), 2010

Workshop papers, extended abstracts, and preprints

  • Toshinori Kitamura, Ryo Yonetani, “ShinRL: A Library for Evaluating RL Algorithms from Theoretical and Practical Perspectives”, NeurIPS Deep RL Workshop, 2021 [paper] [code]
  • Ryo Yonetani, Tomohiro Takahashi, Atsushi Hashimoto, Yoshitaka Ushiku, “Decentralized Learning of Generative Adversarial Networks from Multi-Client Non-iid Data”, arXiv preprint, 2019 [paper]
  • Navyata Sanghvi, Ryo Yonetani, Kris Kitani, “Learning Group Communication from Demonstration”, RSS Workshop on Models and Representations for Natural Human-Robot Communication, 2018
  • Seita Kayukawa, Keita Higuchi, Ryo Yonetani, Maanori Nakamura, Yoichi Sato, Shigeo Morishima: “Dynamic Object Scanning: Object-Based Elastic Timeline for Quickly Browsing First-Person Videos”, ACM Conference on Human Factors in Computing Systems Late Breaking Work (CHI-LBW), 2018
  • Keita Higuchi, Ryo Yonetani, Yoichi Sato: “EgoScanning: Quickly Scanning First-Person Videos with Egocentric Elastic Timelines”, ACM SIGGRAPH Asia Emerging Technologies (SIGGRAPH-ASIA-ETECH), 2017
  • Yifei Huang, Minjie Cai, Hiroshi Kera, Ryo Yonetani, Keita Higuchi, Yoichi Sato: “Temporal Localization and Spatial Segmentation of Joint Attention in Multiple First-Person Video”, International Workshop on Egocentric Perception, Interaction, and Computing (EPIC), 2017
  • Rie Kamikubo, Keita Higuchi, Ryo Yonetani, Hideki Koike, Yoichi Sato: “Rapid Prototyping of Accessible Interfaces with Gaze- Contiguent Tunnel Vision Simulation”, ACM SIGACCESS International Conference on Computers and Accessibility (ASSETS), 2017
  • Ryo Yonetani, Vishnu Naresh Boddeti, Kris Kitani, Yoichi Sato: “Privacy-Preserving Visual Learning Using Doubly Permuted Homomorphic Encryption”, International Workshop on The Bright and Dark Sides of Computer Vision: Challenges and Opportunities for Privacy and Security (CV-COPS), 2017
  • Hiroshi Kera, Ryo Yonetani, Keita Higuchi, Yoichi Sato: “Discovering Objects of Joint Attention via First-Person Sensing”, IEEE CVPR Workshop on Egocentric (First-Person) Vision (EGOV), 2016
  • Kei Shimonishi, Hiroaki Kawashima, Ryo Yonetani, Erina Ishikawa, Takashi Matsuyama: “Learning Aspects of Interest from Gaze”, ICMI Workshop on Eye Gaze in Intelligent Human Machine Interaction: Gaze in Multimodal Interaction (GazeIn), 2013
  • Ryo Yonetani: “Modeling Video Viewing Behaviors for Viewer State Estimation”, ACM Multimedia Doctoral Symposium (ACMMM-DS), 2012
  • Erina Ishikawa, Ryo Yonetani, Hiroaki Kawashima, Takatsugu Hirayama, Takashi Matsuyama: “Semantic Interpretation of Eye Movements Using Designed Structures of Displayed Contents”, ICMI Workshop on Eye Gaze in Intelligent Human Machine Interaction: Eye Gaze, Multimodality (GazeIn), 2012

国内会議論文

  • 八木 拓真, マンガラムカーティケヤ, 米谷 竜, 佐藤 洋一, “一人称視点映像における人物位置予測”, 情報処理学会研究会資料 CVIM, 2018
  • 粥川青汰, 樋口啓太, 中村優文, 米谷竜, 佐藤洋一, 森島繁生, ”一人称視点動画の高速閲覧に有効なキューの自動生成手法”, インタラクティブシステムとソフトウェアに関するワークショップ, 2017
  • 粥川青汰, 樋口啓太, 中村優文, 米谷竜, 佐藤洋一, 森島繁生, ”物体検出とユーザ入力に基づく一人称視点映像の高速閲覧手法”, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2017.
  • Yifei Huang, Minjie Cai, Hiroshi Kera, Ryo Yonetani, Keita Higuchi, Yoichi Sato: “Spatial-temporal Segmentation of Joint Attention in Multiple First-Person Videos”, 第20回 画像の認識理解シンポジウム, 2017
  • 杉田祐樹, 樋口啓太, 米谷竜, 佐藤洋一: “複数一人称視点映像閲覧における行動空間とカメラ位置姿勢の3次元可視化による効果”, 情報処理学会シンポジウム　インタラクション2017, 2017（インタラクティブ発表賞）
  • 中野雄介, 米谷竜, 樋口啓太, 佐藤洋一: “視線を考慮した一人称視点映像からの頷き検出”, 電子情報通信学会総合大会, 2017
  • 杉田祐樹, 樋口啓太, 米谷竜, 佐藤洋一: “複数一人称視点映像閲覧における行動空間とカメラ位置姿勢の3次元可視化による効果”, 情報処理学会ヒューマンコンピュータインタラクション研究会, 2017
  • 樋口啓太, 米谷竜, 佐藤洋一: “伸縮タイムライン生成による一人称視点映像の高速閲覧支援”, 第24回インタラクティブシステムとソフトウェアに関するワークショップ, 2016
  • 樋口未来, 米谷竜, 木谷クリス, 佐藤洋一: “一人称視点映像を用いたランキング学習による相対的地位の推定”, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016（情報処理学会CVIM研究会奨励賞）
  • Hiroshi Kera, Ryo Yonetani, Keita Higuchi, Yoichi Sato: “Discovering Objects of Joint Attention via First-Person Sensing”, 第19回 画像の認識理解シンポジウム,2016
  • 樋口啓太, 米谷竜, 佐藤洋一: “手の動作に基づく複数一人称視点作業映像のアラインメント”, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016
  • 松本大輝, 米谷竜, 佐藤洋一: “滑動性眼球運動を用いた視線計測の自動校正”, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016
  • 村上晋太郎, 米谷竜, 佐藤洋一: “視線を利用した二人称視点動作認識”, 情報処理学会コンピュータビジョンとイメージメディア研究会, 2016（情報処理学会CVIM研究会奨励賞）
  • Ryo Yonetani, Kris Kitani, Yoichi Sato: “Ego-Surfing First-Person Videos”, 第18回 画像の認識理解シンポジウム, 2015
  • 松本 大輝, 米谷 竜, 佐藤 洋一, “滑動性眼球運動を用いた視線計測の自動校正”, 第18回 画像の認識理解シンポジウム, 2015
  • 杉田 祐樹, 米谷 竜, 佐藤 洋一, “一人称視点映像における視線情報を活用した自己アクティビティ認識”, 第18回 画像の認識理解シンポジウム, 2015
  • 樋口 未来, 木谷 クリス 真実, 米谷 竜, 佐藤 洋一, “一人称視点映像を用いた話者間の相対的地位の推定”, 第18回 画像の認識理解シンポジウム, 2015
  • 樋口啓太, 米谷竜, 佐藤洋一: “遠隔作業支援シナリオにおける注視位置可視化の効果”, 第23回インタラクティブシステムとソフトウェアに関するワークショップ, 2015
  • 神窪利絵, 樋口啓太, 米谷竜, 小池英樹, 佐藤洋一: “弱視者のための視線計測を用いたウェブアクセシビリティの向上”, 電子情報通信学会福祉情報工学研究会, 信学技報WIT2015-75, 2015
  • Ryo Yonetani, Hiroaki Kawashima, and Takashi Matsuyama: Modeling Spatiotemporal Correlations between Video Saliency and Gaze Dynamics”, 研究報告コンピュータビジョンとイメージメディア, 2014-CVIM-192(32), pp. 1-16, 2014
  • 米谷竜, 川嶋宏彰, 松山隆司: “映像閲覧行動の時空間ずれ構造モデルを用いた注視点予測”, 信学技報, vol. 113, no. 196, PRMU2013-41, pp. 57-62, 2013（2013年度PRMU研究奨励賞）
  • Ryo Yonetani, Hiroaki Kawashima, Takashi Matsuyama: “Learning Spatiotemporal Gaps between Where We Look and What We Focus on”, 第16回 画像の認識理解シンポジウム, 2013
  • 下西慶, 川嶋宏彰, 米谷竜, 松山隆司: “視線運動解析による興味アスペクトの推定”, 信学技報, vol. 113, no. 75, PRMU2013-28, pp. 53-58, 2013
  • 石川惠理奈, 米谷竜, 川嶋宏彰, 平山高嗣, 松山隆司: “提示コンテンツのデザイン構造を用いた視線運動の意味理解”, 電子情報通信学会技術報告, PRMU2012-60, vol. 112, no. 225, pp.47-52, 2012
  • 米谷竜, 川嶋宏彰, 加藤丈和, 松山隆司: “映像の顕著性変動モデルを用いた視聴者の集中状態推定”, 第15回 画像の認識・理解シンポジウム, 2012（MIRU優秀学生論文賞）
  • 石川惠理奈, 米谷竜, 平山高嗣, 松山隆司: “Gaze Mirroringによる注視模倣効果の分析”, ヒューマンインタフェースシンポジウム2011, pp.561-566, 2011
  • 米谷竜, 川嶋宏彰, 平山高嗣, 松山隆司: “映像の顕著性変動と視線運動の時空間相関分析に基づいた集中状態推定”, 情報処理学会研究会資料, CVIM178-16, 2011
  • 米谷竜, 川嶋宏彰, 平山高嗣, 松山隆司: “注視オブジェクト推定のための動的コンテンツデザインとその評価”, 情報処理学会創立50周年記念（第72回）全国大会, 32N-1, pp. 5-141-142, 2010
  • 米谷竜, 川嶋宏彰, 平山高嗣, 松山隆司: “Gaze Probing, “イベント提示に基づく注視対象推定”, 第12回画像の認識・理解シンポジウム, pp.1713-1720, 2009
  • 米谷竜, 川嶋宏彰, 平山高嗣, 松山隆司: “提示イベントと眼球動作との同期構造分析に基づく注視対象推定”, 情報処理学会研究会資料 CVIM 167-16, 2009