Skip to content

Commit

Permalink
amend
Browse files Browse the repository at this point in the history
  • Loading branch information
@vmoens
vmoens committed Feb 2, 2024
1 parent 651b1cb commit 8516540
Showing 1 changed file with 152 additions and 69 deletions.
221 changes: 152 additions & 69 deletions tutorials/sphinx-tutorials/torchrl_demo.py
View file
Original file line number Diff line number Diff line change
Expand Up @@ -32,75 +32,158 @@
# **Content**:
# .. aafig::
#
# "torchrl"
# │
# ├── "collectors"
# │ └── "collectors.py"
# ├── "data"
# │ ├── "tensor_specs.py"
# │ ├── "postprocs"
# │ │ └── "postprocs.py"
# │ └── "replay_buffers"
# │ ├── "replay_buffers.py"
# │ └── "storages.py"
# ├── "envs"
# │ ├── "common.py"
# │ ├── "env_creator.py"
# │ ├── "gym_like.py"
# │ ├── "vec_env.py"
# │ ├── "libs"
# │ │ ├── "dm_control.py"
# │ │ └── "gym.py"
# │ └── "transforms"
# │ ├── "functional.py"
# │ └── "transforms.py"
# ├── "modules"
# │ ├── "distributions"
# │ │ ├── "continuous.py"
# │ │ └── "discrete.py"
# │ ├── "models"
# │ │ ├── "models.py"
# │ │ └── "exploration.py"
# │ └── "tensordict_module"
# │ ├── "actors.py"
# │ ├── "common.py"
# │ ├── "exploration.py"
# │ ├── "probabilistic.py"
# │ └── "sequence.py"
# ├── "objectives"
# │ ├── "common.py"
# │ ├── "ddpg.py"
# │ ├── "dqn.py"
# │ ├── "functional.py"
# │ ├── "ppo.py"
# │ ├── "redq.py"
# │ ├── "reinforce.py"
# │ ├── "sac.py"
# │ ├── "utils.py"
# │ └── "value"
# │ ├── "advantages.py"
# │ ├── "functional.py"
# │ ├── "pg.py"
# │ ├── "utils.py"
# │ └── "vtrace.py"
# ├── "record"
# │ └── "recorder.py"
# └── "trainers"
# ├── "loggers"
# │ ├── "common.py"
# │ ├── "csv.py"
# │ ├── "mlflow.py"
# │ ├── "tensorboard.py"
# │ └── "wandb.py"
# ├── "trainers.py"
# └── "helpers"
# ├── "collectors.py"
# ├── "envs.py"
# ├── "loggers.py"
# ├── "losses.py"
# ├── "models.py"
# ├── "replay_buffer.py"
# └── "trainers.py"
# ├── "torchrl"
# │ │
# │ ├── "collectors"
# │ │ └── "collectors.py"
# │ │ │
# │ │ ├── "distributed"
# │ │ │ └── "default_configs.py"
# │ │ │ └── "generic.py"
# │ │ │ └── "ray.py"
# │ │ │ └── "rpc.py"
# │ │ │ └── "sync.py"
# │ │
# │ ├── "data"
# │ │ │
# │ │ ├── "datasets"
# │ │ │ └── "atari_dqn.py"
# │ │ │ └── "d4rl.py"
# │ │ │ └── "d4rl_infos.py"
# │ │ │ └── "gen_dgrl.py"
# │ │ │ └── "minari_data.py"
# │ │ │ └── "openml.py"
# │ │ │ └── "openx.py"
# │ │ │ └── "roboset.py"
# │ │ │ └── "vd4rl.py"
# │ │ │
# │ │ ├── "postprocs"
# │ │ │ └── "postprocs.py"
# │ │ │
# │ │ ├── "replay_buffers"
# │ │ │ └── "replay_buffers.py"
# │ │ │ └── "samplers.py"
# │ │ │ └── "storages.py"
# │ │ │ └── "transforms.py"
# │ │ │ └── "writers.py"
# │ │ │
# │ │ ├── "rlhf"
# │ │ │ └── "dataset.py"
# │ │ │ └── "prompt.py"
# │ │ │ └── "reward.py"
# │ │ └── "tensor_specs.py"
# │ │
# │ ├── "envs"
# │ │ └── "batched_envs.py"
# │ │ └── "common.py"
# │ │ └── "env_creator.py"
# │ │ └── "gym_like.py"
# │ │ │
# │ │ ├── "libs"
# │ │ │ └── "brax.py"
# │ │ │ └── "dm_control.py"
# │ │ │ └── "envpool.py"
# │ │ │ └── "gym.py"
# │ │ │ └── "habitat.py"
# │ │ │ └── "isaacgym.py"
# │ │ │ └── "jumanji.py"
# │ │ │ └── "openml.py"
# │ │ │ └── "pettingzoo.py"
# │ │ │ └── "robohive.py"
# │ │ │ └── "smacv2.py"
# │ │ │ └── "vmas.py"
# │ │ │
# │ │ ├── "model_based"
# │ │ │ └── "common.py"
# │ │ │ └── "dreamer.py"
# │ │ │
# │ │ ├── "transforms"
# │ │ │ └── "functional.py"
# │ │ │ └── "gym_transforms.py"
# │ │ │ └── "r3m.py"
# │ │ │ └── "rlhf.py"
# │ │ │ └── "transforms.py"
# │ │ │ └── "vc1.py"
# │ │ │ └── "vip.py"
# │ │ └── "vec_envs.py"
# │ │
# │ ├── "modules"
# │ │ │
# │ │ ├── "distributions"
# │ │ │ └── "continuous.py"
# │ │ │ └── "discrete.py"
# │ │ │ └── "truncated_normal.py"
# │ │ │
# │ │ ├── "models"
# │ │ │ └── "decision_transformer.py"
# │ │ │ └── "exploration.py"
# │ │ │ └── "model_based.py"
# │ │ │ └── "models.py"
# │ │ │ └── "multiagent.py"
# │ │ │ └── "rlhf.py"
# │ │ │
# │ │ ├── "planners"
# │ │ │ └── "cem.py"
# │ │ │ └── "common.py"
# │ │ │ └── "mppi.py"
# │ │ │
# │ │ ├── "tensordict_module"
# │ │ │ └── "actors.py"
# │ │ │ └── "common.py"
# │ │ │ └── "exploration.py"
# │ │ │ └── "probabilistic.py"
# │ │ │ └── "rnn.py"
# │ │ │ └── "sequence.py"
# │ │ │ └── "world_models.py"
# │ │
# │ ├── "objectives"
# │ │ └── "a2c.py"
# │ │ └── "common.py"
# │ │ └── "cql.py"
# │ │ └── "ddpg.py"
# │ │ └── "decision_transformer.py"
# │ │ └── "deprecated.py"
# │ │ └── "dqn.py"
# │ │ └── "dreamer.py"
# │ │ └── "functional.py"
# │ │ └── "iql.py"
# │ │ │
# │ │ ├── "multiagent"
# │ │ │ └── "qmixer.py"
# │ │ └── "ppo.py"
# │ │ └── "redq.py"
# │ │ └── "reinforce.py"
# │ │ └── "sac.py"
# │ │ └── "td3.py"
# │ │ │
# │ │ ├── "value"
# │ │ │ └── "advantages.py"
# │ │ │ └── "functional.py"
# │ │ │ └── "pg.py"
# │ │
# │ ├── "record"
# │ │ │
# │ │ ├── "loggers"
# │ │ │ └── "common.py"
# │ │ │ └── "csv.py"
# │ │ │ └── "mlflow.py"
# │ │ │ └── "tensorboard.py"
# │ │ │ └── "wandb.py"
# │ │ └── "recorder.py"
# │ │
# │ ├── "trainers"
# │ │ │
# │ │ ├── "helpers"
# │ │ │ └── "collectors.py"
# │ │ │ └── "envs.py"
# │ │ │ └── "logger.py"
# │ │ │ └── "losses.py"
# │ │ │ └── "models.py"
# │ │ │ └── "replay_buffer.py"
# │ │ │ └── "trainers.py"
# │ │ └── "trainers.py"
# │ └── "version.py"
#
#
# Unlike other domains, RL is less about media than *algorithms*. As such, it
# is harder to make truly independent components.
Expand Down

0 comments on commit 8516540

Please sign in to comment.