ここでは,私達の研究成果をテーマごとに紹介します.各テーマのページでは,個々の研究の背景と成果,関連する論文をまとめています.
CMA-ES をはじめとする進化計算が「なぜうまく働くのか」を数理的に明らかにし,その理解を新しいアルゴリズムの設計に生かしています.
最新の CMA-ES である dd-CMA-ES をはじめ,高次元の問題,ハイパーパラメータの自動調整,離散変数と連続変数が混在する問題など,CMA-ES が扱える問題の範囲を広げています.
シミュレーションのモデル誤差や環境の不確かさがあっても性能が保証される解を求める最悪ケース最適化やリスクを考慮した最適化と,上位の決定が下位の最適化の結果を通して評価される二段階の最適化を,ブラックボックスの設定で研究しています.
上位の設計者がインセンティブや環境を決め,それに応じて学習する下位のエージェントの振る舞いを通して設計の良し悪しを評価する問題を扱います.下位のエージェントの学習過程は設計者から見ればブラックボックスであり,少ない試行で設計を改善する方法を研究しています.
大規模言語モデルを人の好みや安全性の要求に合わせる,人の選好からの強化学習(RLHF)とアラインメントの方法を研究しています.人の評価や選好データもまたブラックボックスであり,制約を守りながら選好に合わせる方法や,選好データの偏りや攻撃に対する弱さを分析しています.
実世界で強化学習を使うために,学習から実際の運用までを通して安全性の制約を守る方法や,シミュレータと実環境の違いに対して最悪ケースでも性能を保つ方法を研究しています.
国内外の大学や企業と共同で,船舶の自動運航,クローキングデバイスや構造のトポロジー最適化,CO₂ 地中貯留,データ分析など,さまざまな応用に私達の最適化技術を用いています.
現在は主なテーマではありませんが,これまでに取り組んできた研究です.ニューラルネットワークの構造探索,深層生成モデルによる制約付き最適化,シミュレーション精度の自動選択を紹介します.
This page introduces our research findings by theme. Each theme page describes the background and results of individual studies, together with related publications.
We study mathematically why evolutionary algorithms such as CMA-ES work, and use this understanding to design new algorithms.
Starting from dd-CMA-ES, the latest version of CMA-ES, we broaden the problems CMA-ES can handle, including high-dimensional problems, automatic hyperparameter adaptation, and problems with mixed discrete and continuous variables.
We study, in black-box settings, worst-case and risk-aware optimization for solutions whose performance is guaranteed despite simulation model errors and environmental uncertainty, and bilevel optimization in which an upper-level decision is evaluated through the outcome of a lower-level optimization.
We study problems in which an upper-level designer sets incentives or environments, and the quality of the design is judged through the behavior of a lower-level agent that learns in response. The agent's learning process is a black box to the designer, and we develop methods that improve the design with few trials.
We study reinforcement learning from human feedback (RLHF) and alignment methods that make large language models follow human preferences and safety requirements. Human evaluations and preference data are also black boxes; we work on aligning models to preferences while respecting constraints, and on analyzing their vulnerability to biases and attacks in preference data.
Toward real-world use of reinforcement learning, we develop methods that satisfy safety constraints throughout, from learning to deployment, and methods that keep worst-case performance under discrepancies between simulators and real environments.
Together with universities and companies in Japan and abroad, we apply our optimization techniques to a range of applications, including autonomous ship navigation, topology optimization of cloaking devices and structures, CO₂ geological storage, and data analysis.
These are topics we have worked on in the past, though they are not our main focus at present, including neural architecture search, constrained optimization with deep generative models, and automated selection of simulation fidelity.