疑似シミュレータで強化学習（事例・応用例） こんにちは。 前回のPart 1では強化学習の概要についてお話をしました。今回は強化学習の事例を紹介したいと思います。 ～関連ブログ～ 　「強化学習でボールを自由に動かす　～ネズミを追いかけるボール～　Part 3 実際の機材を使用した強化学習（事例・応用例）」   １　ボールの自動転がし 　ここで紹介する事例は、 「ボールの自動転がし」です（図１）。 図１　工事用一輪車（手押し車） 　図１のように、工事用の一輪車に平らな板を載せ、その板の上にボールを置きます。この一輪車を左右の手で上下させることにより、板の上のボールを自由自在に転がそうというものです。ボールを板の上でピタッと静止させたり、「８の字」の形にボールを転がしたいと考えています。 　ここでは本物の一輪車は使いません。図２のような機材を用います。人の眼をカメラに、人の手をサーボモータに置き換えて、ステージの上のボールを自動的に、自在にコントロールすることを目標にしています。 図２　ボール転がし機 　このような技術はシステム制御工学の「フィードバック制御」と呼ばれる中の一つのようですが、ここでは強化学習を用いてボールの...

強化学習の概要 こんにちは。 前回は「倒立振り子」を例に、強化学習を用いた自動操作について紹介しました。 今回は強化学習と自動操作について、もう少し深くお話しをしたいと思います。 しかしその前に、このPart 1では強化学習の概要を紹介します。 ～関連ブログ～ 　「強化学習でボールを自由に動かす　～ネズミを追いかけるボール～　Part 2 疑似シミュレータで強化学習（事例・応用例）」 　「強化学習でボールを自由に動かす　～ネズミを追いかけるボール～　Part 3 実際の機材を使用した強化学習（事例・応用例）」 Deep Learning(深層学習)を用いた強化学習としてはDQN が有名ですが、最近では次のように様々なアルゴリズムが提案されています。 DQN　（Deep Q Learning） DDQN　（Double DQN） DDPG　（Deep Deterministic Policy Gradient） NAF　　（Continuous DQN （CDQN ）） CEM　　（Cross-Entropy Method） Dueling DQN　（Dueling network DQN） Deep SARSA A3C　　（Asynchronous Advantage Actor-Criti...