Недавние работы ETH Zurich [1] [2] показывают как многокомпонентный робот ANIMAL успешно справляется с задачами после обучения в симуляции. Вдохновившись этими работами, я решил опробовать этот концепт на простом примере. Я попробую научить реального робота гоняться за лазерной указкой и перемещять куб на кнопку, используя только изображение с камеры, закрепленной на потолке.
Для этого я создал игру, похожую на изображение получаемое с камеры, и обучил на этой игре DQN алгоритм. Вскоре я применю этот алгоритм к реальному изображению и роботу.
[1] Curiosity-Driven Learning of Joint Locomotion and Manipulation Tasks https://youtu.be/Qob2k_ldLuw
[2] DTC: Deep Tracking Control DOI: 10.1126/scirobotics.adh5401
- Настройка реальной среды, робота и камеры
- Калибровка камеры
- Создание класса Object и Game
- Создание уровня Laser
- Создание уровня Cube
- Добавить генерацию препятсвий
- Создание окружения PyGame для тестирования
- Создание среды Gymnasium
- Реализация DQN
- Обучение DQN на уровне Laser
- Обучение Mlp PPO на упрощенном уровне Laser
- Обучение CNN PPO на уровне Laser 100х100
- Обучение DQN на уровне Cube
- Тестирование переноса из симуляции в реальность
- ...