Grazie Daniel per il bellissimo video, e complimenti per il livello!!! Ho messo un bel like sperando di arrivare a 100! E' già qualche giorno che sto cercando di far girare YOLOv11 su Orin Nano usando il docker ufficiale per jetpack 6 di ultralytics , ma non ci sono ancora riuscito... prima o poi ce la faro! A fine video perchè non utilizzi jtop per monitorare le risorse in modo più leggibile?
Grazie mille! In realtà non serve per forza usare i loro container, puoi crearti il tuo. Ti basta prendere un container per jetpack e installare quei 4 pacchetti (più pytorch) che ho messo nei requirements. Comunque hai ragione, jtop sarebbe stato meglio (me n'ero dimenticato in quel momento), grazie per il consiglio! :)
@@ProjectoOfficial Ho visto ora il tuo video sull' orin nano di un paio di settimane fa.. Ti confermo, poichè l'ho testato sul mio, che la versione da 2B di Gemma 2 gira da paura, tiene tranquillamente i 16 tokens al secondo ed occupa circa la metà dei 7,4 GB di RAM disponibili, quindi si potrebbe tranquillamente far girare contemporaneamente altro... Ti posso assicurare, poichè l'ho testato sul mio, che nel video di Asier Arranz (che credo fosse quello che menzionavi, del canale di google for developer) usano propio una orin nano da 8GB e non un'AGX!
Roba spaziale. Sei a livelli altissimi. Per fare esperimenti stavo cercando qualcosa di semplice per riconoscere delle immagini o figure sullo schermo del pc. Ho però poca potenza di calcolo, adesso ho preso ryzen 5700x ma ho solo rx580. hai qualche suggerimento su qualche progetto? Non so se è corretto usare una webcam che inquadra
il supporto per gpu amd non è dei migliori, penso che un modo per far si che funzioni si riesca a trovare sia per pytorch e sia per onnx, però non è banale. Per quanto riguarda il task, dipende se con riconoscimento intendi trovare anche la posizione dell'oggetto. In tal caso è necessario fare fine tuning di un object detector, altrimenti si può usare una semplice rete neurale per classificazione di immagini. l'input è il problema minore, in qualche modo si riesce ad acquisire la schermata in python. Il problema principale è riallenare un metodo di AI, a meno che non trovi un dataset che contiene già immagini annotate degli oggetti che ti interessano, devi crearlo tu
bellissimo video, il tuo ultimo commento mi ha scoraggiato perchè ho appena comprato una Jetson Nano e vorrei imparare a fare object detection con una piccola scheda (tipo la Nano) montandola su un drone. Quindi sconsigli la Nano per le applicazioni embedded? la Orin per le mie poche finanze è irragiungibile al momento 😢
Grazie! Purtroppo nvidia non supporta la linea jetson a lungo termine, di conseguenza la nano supporta soltanto ubuntu 18 con cuda 10 e cudnn 8, con python 3.6. Anche le versioni di pytorch e torchvision sono piuttosto vecchie. Io ci ho lavorato molto con la nano negli ultimi mesi per inserirla in un articolo di ricerca, ma visti i tanti problemi incontrati l'ho lasciata perdere, e la sconsiglio. Nonostante ciò, credo che se si riuscisse a creare un container con onnxruntime-gpu funzionante (necessita di cuda e cudnn) e TensorRT (serve cudnn), allora il problema si potrebbe in parte risolvere. PyTorch GPU su nano non è molto efficiente, inoltre la GPU che monta non ha tensor core, perciò i modelli in inference hanno tanta latenza. TensorRT ottimizza il codice in modo specifico attorno all'hardware su cui deve essere eseguito, quindi le performance aumenterebbero di molto, e ciò consente di far fronte anche ad applicazioni real-time. ti lascio qualche link utile per le jetson: elinux.org/Jetson_Zoo github.com/NVIDIA/TensorRT/tree/release/10.6/quickstart github.com/dusty-nv github.com/ProjectoOfficial/ai-base-docker
![ประสบการณ์ จ้าง Developer ที่ผมจะไม่มีวันลืม [ภาค2]](http://i.ytimg.com/vi/pZbsSDRrmXA/mqdefault.jpg)
Grazie Daniel per il bellissimo video, e complimenti per il livello!!! Ho messo un bel like sperando di arrivare a 100! E' già qualche giorno che sto cercando di far girare YOLOv11 su Orin Nano usando il docker ufficiale per jetpack 6 di ultralytics , ma non ci sono ancora riuscito... prima o poi ce la faro! A fine video perchè non utilizzi jtop per monitorare le risorse in modo più leggibile?
Grazie mille! In realtà non serve per forza usare i loro container, puoi crearti il tuo. Ti basta prendere un container per jetpack e installare quei 4 pacchetti (più pytorch) che ho messo nei requirements. Comunque hai ragione, jtop sarebbe stato meglio (me n'ero dimenticato in quel momento), grazie per il consiglio! :)
@@ProjectoOfficial Ho visto ora il tuo video sull' orin nano di un paio di settimane fa.. Ti confermo, poichè l'ho testato sul mio, che la versione da 2B di Gemma 2 gira da paura, tiene tranquillamente i 16 tokens al secondo ed occupa circa la metà dei 7,4 GB di RAM disponibili, quindi si potrebbe tranquillamente far girare contemporaneamente altro... Ti posso assicurare, poichè l'ho testato sul mio, che nel video di Asier Arranz (che credo fosse quello che menzionavi, del canale di google for developer) usano propio una orin nano da 8GB e non un'AGX!
Commento tattico
Roba spaziale. Sei a livelli altissimi.
Per fare esperimenti stavo cercando qualcosa di semplice per riconoscere delle immagini o figure sullo schermo del pc. Ho però poca potenza di calcolo, adesso ho preso ryzen 5700x ma ho solo rx580. hai qualche suggerimento su qualche progetto? Non so se è corretto usare una webcam che inquadra
il supporto per gpu amd non è dei migliori, penso che un modo per far si che funzioni si riesca a trovare sia per pytorch e sia per onnx, però non è banale. Per quanto riguarda il task, dipende se con riconoscimento intendi trovare anche la posizione dell'oggetto. In tal caso è necessario fare fine tuning di un object detector, altrimenti si può usare una semplice rete neurale per classificazione di immagini. l'input è il problema minore, in qualche modo si riesce ad acquisire la schermata in python. Il problema principale è riallenare un metodo di AI, a meno che non trovi un dataset che contiene già immagini annotate degli oggetti che ti interessano, devi crearlo tu
bellissimo video, il tuo ultimo commento mi ha scoraggiato perchè ho appena comprato una Jetson Nano e vorrei imparare a fare object detection con una piccola scheda (tipo la Nano) montandola su un drone. Quindi sconsigli la Nano per le applicazioni embedded? la Orin per le mie poche finanze è irragiungibile al momento 😢
Grazie! Purtroppo nvidia non supporta la linea jetson a lungo termine, di conseguenza la nano supporta soltanto ubuntu 18 con cuda 10 e cudnn 8, con python 3.6. Anche le versioni di pytorch e torchvision sono piuttosto vecchie. Io ci ho lavorato molto con la nano negli ultimi mesi per inserirla in un articolo di ricerca, ma visti i tanti problemi incontrati l'ho lasciata perdere, e la sconsiglio.
Nonostante ciò, credo che se si riuscisse a creare un container con onnxruntime-gpu funzionante (necessita di cuda e cudnn) e TensorRT (serve cudnn), allora il problema si potrebbe in parte risolvere. PyTorch GPU su nano non è molto efficiente, inoltre la GPU che monta non ha tensor core, perciò i modelli in inference hanno tanta latenza. TensorRT ottimizza il codice in modo specifico attorno all'hardware su cui deve essere eseguito, quindi le performance aumenterebbero di molto, e ciò consente di far fronte anche ad applicazioni real-time.
ti lascio qualche link utile per le jetson:
elinux.org/Jetson_Zoo
github.com/NVIDIA/TensorRT/tree/release/10.6/quickstart
github.com/dusty-nv
github.com/ProjectoOfficial/ai-base-docker
@@ProjectoOfficial Grazie!!1