Sahi Algoritmasına Video Desteğin Eklenmesi

[kadirnar]

Merhaba @fcakyon Hocam,

Gerçek zamanlı nesne tespit modellerinde donanım yetersizliğinden dolayı küçük modeller tercih edilmektedir. Bu modellerde ne kadar veri setinde işlem yapsak da gerçek dünya veri setiyle test edildiğinde istenen sonuçlar alınamamaktadır. Burada sahi algoritması bizim için kurtarıcı olabilir diye düşünüyorum.

Kullanılacak Araçlar:

• Python, Pytorch, Sahi, Yolo(v1,v2,v3,v4)

İzlenilecek Adımlar:

1. Sahi algoritmasına Yolo desteğinin getirilmesi
2. Sahi algoritmasına video desteğin eklenmesi
3. Sahi algoritmasını hızlandıran algoritmaların eklenmesi(?)

Çözümler:

1. Yolo modelin pip versiyonun yayınlanması ve model.py dosyasına yolodetectionmodel class'ının eklenmesi
2. predict.py dosyasındaki predict class'ına video input ve export parametrelerin kodlanılması
3. ?

İzlenilecek yöntemler konusunda @fcakyon rehberlik edebilir misiniz? Diğer merak ettiğim konu ise sahi bir takip algoritması ile eş zamanlı çalışabilir mi? Sahiye bir kalman filtesi eklenebilir mi? Veya arka planda buna benzer bir algoritma çalışıyor mu? Sahiyi hızlandırmak için ne tarz çalışmalar yapabiliriz?

[fcakyon]

Selamlar @kadirnar, oncelikle sahiye olan ilginden dolayi cok tesekkurler!

sahi reposu su anda yolov3/yolof/yolox (mmdet paketi uzerinden) ve yolov5 (yolov5 paketi uzerinden) destegi sunuyor. yolov4/scaled yolov4/yolor destekleri eklemek istersen severek kabul ederiz prlarini 🚀 .

video destegi eklemek icin pr acabilirsen severek yardimci oluruz 🚀 . predict.py icindeki predict fonksiyonuna eklenebilir bu ozellik. opencv nin videoyu framelere bolme ve video olarak birlestirme fonksiyonlari kullanilabilir 👍

sahinin standard inference ozelligi gercek zamanli calisabilse de sliced inference ozelligi gercek zamanli calismasi icin tasarlanmadi. hizini arttirabilmek icin tum slicelar yerine objenin olma ihtimali en yuksek olan slicelara tespit uygulama ozelligi getirilebilir ama cok zor bir problem bu (optical flow veya onceki framedeki tespitler kullanilabilir).

sahinin uzerine tracker da eklenebilir ama getirecegi gelistirme yukunden dolayi tracker uygulamasinin sahi reposu disinda yapilmasini tercih ediyoruz (sahinin uzerine tracker ekleyen bir paket olusturabilirsin ayri bir repo uzerinde).

[kadirnar]

Geri dönüşleriniz için ben çok teşekkür ederim.

Video desteği için sadece input ve output fonksiyonların yazılması gerekiyor diye düşünmüştüm. Sahi kullanan topluluğun artması için video desteğin önemli olduğunu düşünmüştüm. Fakat çok sağlıklı degil galiba.

Yolo modellerin desteği için ise torchyolo reposu üzerine çalışıyorum. Şuan yolo3-4 modellerinde çalışıyor. Fakat yolov4-mish.cfg, yolov4-csp.cfg modellerinde detect ediyor fakat resimlerin boyut ve box'lar ile ilgili problem var. Bu problemin sebebinin nms algoritması oldugunu düşünüyorum.

İssues kismindan yaşanan problem ve uygulamakta olduğum çözüm yöntemlerini yazdim. Oradan projenin durumunu takip edebilirsiniz. Yoğunluğundan dolayi proje biraz yavas ilerlemektedir. Geliştirmeleri branchler üzerinden yapiyorum.

[fcakyon]

sahiye video desteginin eklenmesi bence de faydali olabilir, o konuda pr'lara acigiz 👍

yolov4 icin aceleye gerek yok, istedigin gibi calisabilirsin o konuda :)

Su anda sahi kullanicilari tarafindan en cok istek yapilan konu torchvision detection modelleri destegi, ilgini cekerse belki o konuya da bakabilirsin uygun bir vakitte 🚀

[kadirnar]

Torchvision modellerin hepsi şuan sahide kullanılabilir olduğu için yakın zamanda düşünmüyorum. Yolor modeli için:
https://github.com/WongKinYiu/yolor/tree/mmdet bir çalışmaları var bu yüzden öncelliğim yolov4 ve scaled-yolov4 modeli. Eğer daha kapsayıcı bir araç varsa onları sahiye eklemek için bir çalışma yapabilirim.

Yolo model desteği geldikten sonra, DIoU desteğini getirmek için planlarım var. Öncelliğim sahiye ciddi mana da katkı sağlayacak işler yapmak. Video konusunun zorlayıcı olduğundan dolayı bu fikrimden vazgeçtim bu tartışmayı kapatabilirsiniz. Yeni Pr tavsiyelerinize açığım

[fcakyon]

@kadirnar son versiyondan itibaren video destegi var artik: #442

[kadirnar]

Son gelişmeleri takip ediyordum. En kısa zamanda test edeceğim🚀🚀🚀 Vakit bulabilirsem video tarafıyla istediğim özellikleri de eklemeyi deneyeceğim.