箱庭ドローンシミュレータをお試し中、ニューヨーク上空を飛んでみたい。

[yamati-kz]

@tmori さん、こんにちは。いろいろ教えていただいてありがとうございます。

つまずきながら、なんとかUnityアプリでドローンシミュレータを動かすことができました。
Unity Editorはまだでこれからになります。OSは、Ubuntu 22.04(Native)です。
PS4ではなくPS5コントローラ(DualSense)をUSB接続しました。
QGroundControl とのデータのやり取りが心配でしたが、JoyStick操作で上昇下降や旋回も動作しています。

試している中でマニュアルの記載で少々気になったといいますか、まあわかるでしょうレベルの内容ですが。
cd (change directory)が抜けている、一箇所Directory名が違っている程度で流れに問題があるわけではないです。
Fork後のMainリポジトリの中に手をいれたubuntu22.04_install&operation_PX4編.mdが入ってますので、
もしよかったら使っていただけたらとおもます。
修正内容ご参考 .

徐々にニューヨーク上空にチャレンジしていきますので、ご報告がてらまた書き込みさせてください。

今後ともよろしくおねがいします。

追記 : ついに飛べました!! 大袈裟ですが... @tmori さんのおかげです。本当に感謝!!
箱庭ドローンシミュレータでニューヨーク上空を飛べた！ (PS5 Controller DualSense使用)

[tmori]

@yamati-kz さん、箱庭ドローンシミュレータをご利用いただきありがとうございます！
また、ご指摘もありがとうございます。

ご指摘いただいた点含めて、修正検討進めたいと思いますので、
今後ともどうぞよろしくお願いいたします。

[yamati-kz]

ありがとうございます。ではPRさせていただきます。

[yamati-kz]

@tmori さん、お忙しい中ご返信ありがとうございます！

ubuntu22.04_install&operation_PX4編.md に python3-devの追加 もご検討くださいますと嬉しいです！
pyhton関連では当たり前かとは思いますが.

もしPullRequestさせていただくとすると、hakoniwa-px4sim/tree/developでよろしいでしょうか？

[tmori]

ありがとうございます！
PR大歓迎です。ご推察の通り、developにPRいただけますと大変ありがたいです。
現状、developは開発用のブランチとして管理しており、品質安定したタイミングでmainにマージする形で運用を進めております。

[yamati-kz]

@tmori さん

小姑のようですみません。
ubuntu22.04_install&operation_PX4編.md 0.5版にて試したところ、以下の部分で引っかかりましたので、ご検討いただけたら幸いです。

[tmori]

ご連絡ありがとうございます！
修正しましたので、ご確認くださいませませ。

toppers/hakoniwa-px4sim@811f69a

[yamati-kz]

ご対応ありがとうございました。該当ファイルを落として確認いたしました。

[yamati-kz]

@tmori さん　おはようございます。

急ぎませんので少々教えていただければと思います。
新規に自作した ps5-control-lnx.json をデフォルトで読み込ませる便利な仕組みがありますでしょうか？
諸々追いきれておりません、すみません。

PS5コントローラ(DualSense)のindex確認のために rc_control.py を使わさせていただいております。

[yamati-kz]

素早いご対応ありがとうございます。試してみます。

[yamati-kz]

ただし、カメラの上下の説明がまだ入れてなかったです。。
ご提示いただいた下図の認識であっております。

Generalではなく、Q&Aの方が良いでしょうか？ 新規自作PS5用Jsonファイル(ps5-control-lnx.json)編集に関してなのですが？
どうすれば、下の画像と合わせられるのかご教示いただけると嬉しいです。。

下のはhakoniwa-px4sim/drone_api/sample/rc_debug/rc_control.pyの上図の部分を取り込むところかなと想像しております。

       if e.type == pygame.locals.JOYHATMOTION:
            if e.value[0] == 0:
                if e.value[1] == 1:
                    print("十字キー：上")
                elif e.value[1] == 0:
                    print("十字キー：ー")
                else:
                    print("十字キー：下")
            elif e.value[0] == 1:
                if e.value[1] == 0:
                    print("十字キー：右")
                elif e.value[1] == 1:
                    print("十字キー：右上")
                else:
                    print("十字キー：右下")
            else:
                if e.value[1] == 0:
                    print("十字キー：左")
                elif e.value[1] == 1:
                    print("十字キー：左上")
                else:
                    print("十字キー：左下")

この部分をps5-control-lnx.jsonにどうのように落とし込むと十字キーを使ってカメラのアップダウンができるようになるのか？
といったところを知りたいです。

hori4mini-control-lnx.jsonのように設定すれば図とは割当が違いますが、第一弾のお試しはできるのかなとは思っております。

[tmori]

すみません、自分は、rc_control.pyはよくわかってないのですが、ポイントとしては、
PS5コントローラのキー割当てがどうなっているかを調べることができるかどうかだと思っております。

PS5コントローラの上ボタンと下ボタンを押下すると、pythonライブラリがevent.buttonにインデックス番号を詰めてきます。

そのインデックス番号を jsonファイルに書いておくこということですね。
下図は、PS4コントローラ（Linux版）のモノです。11と12が反応していたので、その値を埋めているという感じですね。

        "CameraMoveUp": {
            "index": 11,
            "type": "switch",
            "off": "up",
            "on": "down"
        },
        "CameraMoveDown": {
            "index": 12,
            "type": "switch",
            "off": "up",
            "on": "down"
        }

[yamati-kz]

@tmori さん
ご対応いただきました toppers/hakoniwa-px4sim@df6a687 ですが、環境変数を設定する方法でps5-control-lnx.jsonを読んで問題なく動いています。下図です。

そして。
ps5-control-lnx.jsonに十字キー(カメラ上下動)を割り当てる件ですが、現状では十字キーに割り当てできません。
buildko89さんにみていただいたところLinux OSではWindowsと違って十字キーの取り込み方が違うためとのことです。

ps5-control-lnx.jsonですが中身はps4-control-lnx.jsonと全く同じですが、実機で動作確認がとれましたので後ほど#320にて PRさせていただきました。

いろいろとありがとうございました。

[tmori]

ありがとうございました！とっても嬉しいです！！

[buildko89]

@yamati-kz さん
@tmori さんのアドバスであってます。

十字キーの上下でも、LRのボタンでも良いのですが、rc_control.pyで取れた値をindexに設定してみてください。

[buildko89]

@yamati-kz さん
確かに、上下ボタン押したときの挙動が違う見たいです。手元にPS4/PS5のコントローラがないので、お手数ですが、以下の手順
確認頂けると良いかと思います。
rc_control.pyは、お試しで作ったので、値が取れない場合があるかもしれません。

/dev/input/jsxは見えているでしょうか？例えばですが...

$ ls -l /dev/input/js0
/dev/input/js0
と見えているなら、値が取れるはずです…

もし、見えているようでしたら、以下の手順試して頂けると良いかと思います。
$ sudo apt install joystick
$ jstest /dev/input/js0

以下参考リンクです。
PS4コントローラを使う

[yamati-kz]

@buildko89 さん
$ jstest /dev/input/js0 を試してみました。
SONY純正PS4/SONY純正PS5コントローラでは同じ動きをし、十字キーの上下左右はButtonではなくAxes 7とAxes 6が変化します。

・十字キー、上を押下したとき(純正PS5)

・十字キー、下を押下したとき(純正PS5)

・十字キー、左を押下したとき(純正PS5)

・十字キー、右を押下したとき(純正PS5)

テスト環境ですが、最小限の状態にしております。
ubuntu 22.04.4 LTS : Native, Clean install (ISOファイルより)
$ sudo apt install joystick

[buildko89]

@yamati-kz さん
私の方での確認ミスでした。すみません。
OSによって、値の取れ方が変わるので、ボタンで認識したのはWindowsでの確認でした。
Linuxでやると、同じ現象になることが分かりました。

pygameの値の取れ方が違うようで、Linuxの場合は、pygame.locals.JOYHATMOTIONで値を取るようです。
一方、Windowsの場合は、pygame.locals.JOYBUTTONDOWN/pygame.locals.JOYBUTTONUPで値が取れているようです。

ただ、rc-custom.pyの仕様では、pygame.locals.JOYHATMOTIONでの対応ができていないので、対応をするしかなさそうです。
現状は、pygame.locals.JOYBUTTONDOWN/pygame.locals.JOYBUTTONUPで対応できるボタンをカメラの上下操作に割り当て
て対応ください。

[yamati-kz]

@buildko89 さん
調査いただきましてありがとうございます。

現状は、pygame.locals.JOYBUTTONDOWN/pygame.locals.JOYBUTTONUPで対応できるボタンをカメラの上下操作に割り当てて対応ください。

はい、試してみます。お教えいただいてありがとうございます。
PS5(DualSense)では、L1 ボタンとR1ボタンに割付ようかと思います。
ご参考 : DualSense Wireless Controller Instruction Manual

[buildko89]

ご対応ありがとうございます！

[buildko89]

@yamati-kz さん
Ubuntuのマニュアルの修正にご協力頂きありがとうございます。
カメラの制御部分は、マニュアルに反映させておきます。

[yamati-kz]

@buildko89 さん
いえ、重箱の隅をつついてすみません。
今後も何かの形でお手伝いさせていただければと存じます。

[yamati-kz]

ubuntu22.04_install&operation_pythonAPI編.mdの一箇所のみ修正しました,
#321にてご確認いただければと思います。

[buildko89]

ありがとうございます。確認します。

[yamati-kz]

@tmori さん　すみません、こちらに失礼します。

Unityエディタのコンソールに出ているエラーを取りたいのですが、どうすれば良いでしょうか？

Hakoniwa-drone-unityをみながら
com.unity.nuget.newtonsoft-jsonとNO_USE_GRPCは追加してます。

[yamati-kz]

@tmori さん　こんにちは。おてすきのときに教えていただけたら嬉しいです。
ニューヨークのアセットを読み込み済みで試しているのですが、どうもうまくいきません。
ubuntu22.04_install&operation_PX4編.md の手順でUnityアプリの代わりにUnity Editorを使う流れで良いでしょうか？
Core i7 12th(ADL GT2), 32G, SSD:500Gにubuntu 22..04.5をクリーンインストールしたNative環境です。

# Terminal-1
# 1.4.1. PX4の起動
$ cd ~/work/hakoniwa-px4sim/px4/PX4-Autopilot
$ bash ../sim/simstart.bash

# Terminal-2
# 1.4.2. 箱庭コア機能の起動
$ cd ~/work/hakoniwa-px4sim/hakoniwa
$ bash run.bash

# 1.4.3. Unityアプリの起動 -> Unity Editorを起動
# STARTボタンが押せない (Unity Editor内の右三角をクリックし緑色に変わった)

# Terminal-3
# 1.5.3. QGCとPX4の動作確認
$ cd ~/work/qgc
$ ./QGroundControl.AppImage

下図は、Unity Editorコンソールに赤ビックリマークが多数でているものです。

QGCの状態がDisconnectで状態です。Unityアプリを使ったときは、問題なく操作できます。

[tmori]

Unityエディタで、Generateは実施されてますでしょうか？

エラーログに、core_config.jsonが見つからないと言われておりますので、箱庭のコンフィグファイルが生成されていないような気がしました。

[yamati-kz]

@tmori さん　ニューヨークを飛べました、ありがとうございます！！
Generateしておりませんでした。恥ずかしながら諸々の資料を読み切れてませんでした。
いろいろ試したことをのちほどまとめてみます。

[tmori]

素晴らしい！

[yamati-kz]

一番最初のスレッドにニューヨーク絡みのqiita記事を追記しておきました。
ほんとうにありがとうございました。