ฝัง
- เผยแพร่เมื่อ 11 ก.ย. 2024
- Chào mừng bạn đến với video "Model Quantization - Model nhẹ, nhanh hơn trên Raspberry Pi và Jetson Nano"! Bạn đã bao giờ gặp phải vấn đề hiệu suất khi chạy các mô hình máy học sâu trên các thiết bị như Raspberry Pi và Jetson Nano chưa? Video này sẽ giới thiệu cho bạn khái niệm Model Quantization và cách áp dụng nó để tạo ra các mô hình nhẹ và nhanh hơn trên những thiết bị có tài nguyên hạn chế.
Trong video này, chúng tôi sẽ giới thiệu với bạn khái niệm Model Quantization - quá trình giảm kích thước và tài nguyên của mô hình máy học sâu. Bằng cách áp dụng các kỹ thuật như Quantized Inference, Weight Quantization và Activation Quantization, chúng ta có thể giảm kích thước của mô hình và tăng tốc độ tính toán mà không ảnh hưởng đáng kể đến hiệu suất.
Chúng tôi sẽ hướng dẫn bạn cách thực hiện Model Quantization trên Raspberry Pi và Jetson Nano. Bạn sẽ được hướng dẫn về cách chuyển đổi mô hình máy học sâu có sẵn sang định dạng Quantized, cách đánh giá hiệu suất của mô hình Quantized và cách triển khai mô hình đã Quantized trên Raspberry Pi và Jetson Nano.
Nếu bạn đang tìm kiếm giải pháp để tạo ra các mô hình nhẹ và nhanh hơn trên các thiết bị như Raspberry Pi và Jetson Nano, video này sẽ cung cấp cho bạn kiến thức và hướng dẫn chi tiết. Hãy cùng khám phá cách thực hiện Model Quantization để tối ưu hiệu suất trên các thiết bị có tài nguyên hạn chế như Raspberry Pi và Jetson Nano!
Link github: github.com/tha...
--------------------------------------------
Xin chào các bạn, rất vui vì các bạn đã ghé thăm vlog Mì AI của tôi!
Hãy join cùng cộng đồng Mì AI nhé!
🎯🎯🎯#MìAI
Fanpage: / miaiblog
Group trao đổi, chia sẻ: / miaigroup
Website: miai.vn
TH-cam: / miaiblog
cảm ơn anh
Cảm ơn em. Cần thêm gì cứ lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup nhé!
Nếu chuyển sang số nguyên vậy vấn đề tràn số họ xử lý thế nào vậy nhỉ. Ví dụ chuyển sang int8 thì phép toán 127 + 127 = ???. Lấy cái gì để biểu diễn được kết quả ?. Mong bạn tìm hiểu giúp mình vấn đề này với, cảm ơn bạn.
Haha. Bạn nói chuẩn. Như trong clip mình có nói là mình chỉ ví dụ như vậy, còn lại chi tiết mình không tìm hiểu đó. Chỉ ứng dụng thực tế thôi.
Hehe bạn thông cảm nhé, vì nhóm Mì ăn liền nên mình ko đi sâu phần toán :P
Bạn cần chi tiết có thể post lên Group trao đổi, chia sẻ: facebook.com/groups/miaigroup xem có bạn nào biết ko nhé?
@ ok bạn, nhưng ăn mì thì lâu lâu cũng phải có tý hải sản, tôm mực chứ; ăn "chay" hoài cũng ngán. :)
@ Yeah. Nhà mình chuyên mì úp cho các bạn đói. Sau đó các bạn no rồi chạy sang quán khác ăn hải sản =))
Hiểu đơn giản là nó sẽ tính toán range của tensor output của mỗi layer dựa vào thống kê rồi tính ra một số hệ số scale để rescale số float về range int8 nhé bạn
Anh ơi ở giây 10:10 hình như nhầm ạ. FP32 dùng 4 byte (32bit) và int8 là 1 byte (8bit) mới đúng
Yeah đúng rồi em. Anh có để sub để chữa lại phần đó hehê. Thanks em nhé!
Anh Thắng có thể cho em xin các poster về món này đc không ạ
Poster là sao em?
Em nhầm, các bài báo cáo về quantization model ạ
E cũng đang bị vướng vấn đề training chậm model MTCNN và facenet trên con Jetson nano. A có thể hướng dẫn model đó cho e dc k ạ
Okie em. Chắc đợi ra Tết nhé. Giờ nhiều việc quá ko biết anh có bố trí được không? Nếu được anh sẽ làm trong Tết.
@ thanks a
thay vì train trên thiết bị IoT thì mình nghĩ bạn nên trainning ở trên các thiết bị khác như PC, laptop hoặc trên colab, rồi optimize model rồi mới đưa file model đó vào thiết bị IoT sau
@ em cũng gặp vấn đề tương tự bạn này. Mong đc a hướng dẫn
anh Thắng ơi anh làm video về TensorRT đi anh
Okie em. Anh đang mượn Jetson Nano :D
@ dạ oke anh :)))
@ Anh có cần mượn không. Em có con B01 4GB. Có camera luôn
@@nghiatranvan2422 Thanks em rất nhiều. Anh vừa mượn được xong rồi. Đang chuẩn bị ra bài :D