Le dataset

Voici la dataset utilisée pour le premier modèle de détection de ballons (non-spécifique à la couleur pour l’instant).

Création d’un modèle avec YoloV5

Mohamed Kanali et Hamza Jakouk travaille sur le dataset de ballons génériques (ce ne sont pas des ballons rouges seulement), mais on verra pour cela quand on aura les ballons et espéciallement avec des données de vol.

Voici le travail qui a été fait. C’est un ipynb, downloadé le et uploadé le soit dans votre google colab ou dans VS code, mais il vous faudra bien installé votre environnement python. Si vous rencontrer des problêmes, poser vos questions à Mohamed Kanali ou Hamza Jakouk:

BalloonsDetection.ipynb

Il vous faudra un bon GPU ou TPU pour exécuter les cellules du Colab, voici comment faire:

Points à améliorer

Ce modèle est déjà un bon point de départ pour ce qui concerne les ballons. Voici les améliorations à faire:

Changer vers YoloV11 (Une amélioration, mais un peu le même processus alors que c’est dans la série YOLO:

YOLO11 🚀 NEW

Un fichier .engine est généré. Il faut comprendre que c’est un fichier optimiser pour le hardware, par contre, c’est optimiser pour le hardware des gpu utilisez chez Google Colab. Par contre, nous voulons optimiser pour notre Jetson Orin NX qui sera l’ordinateur companion à bord de notre drone et qui fera l’intelligence artificielle. Ceci veut dire que le processus est plutôt de donner le modèle pytorch au Jetson et laisser le Jetson utiliser TensorRT pour optimiser le modèle pour le roulement sur le Jetson en créant un fichier .engine
Pour installer Pytorch sur le Jetson, il faut voir la version de Jetpack. Pour s’y faire, on a utiliser https://github.com/rbonghi/jetson_stats. Voici le lien pour bien installer Pytorch sur le jetson pour la version de jetpack qu’on avait sur le Jetson (6.0):

Pytorch for JetPack 6.0

Prochaines Étapes

Tester le modèle pytorch pour la détection de ballons et voir le temps d’inférence pour une image. Avec l’optimisation TensorRT, voir le temps d’inférence et comparer.
YoloV11
Faire la détection des tanks d’eau avec OpenCV (cercles)
Faire la détection des émetteurs 940nm (plus facile quand ils arrivent le 15 Novembre selon shipping time aliexpress, mais quand même commencable)