LLMs for RockChip. Guide for RKLLM. RK3588 vs RK3576 comparision

แชร์
ฝัง
  • เผยแพร่เมื่อ 17 ธ.ค. 2024

ความคิดเห็น • 7

  • @Rushil69420
    @Rushil69420 3 หลายเดือนก่อน

    Great stuff here!

  • @gregherlein2381
    @gregherlein2381 หลายเดือนก่อน

    would love to see tests of computer vision speed between the two chips!

  • @guiguicoco2740
    @guiguicoco2740 4 หลายเดือนก่อน +2

    Hi Anton, thanks for your feedback on rk llm.
    I have a question, I didn’t understand how you could flash the RK3588 to run the tiny llm ?

    • @AntonMaltsev
      @AntonMaltsev  4 หลายเดือนก่อน +1

      For RK3588, I used NanoPC-T6 from Friendly Elec. Partially I described the flashing process here - th-cam.com/video/pN8mKZ5wpdQ/w-d-xo.html
      And you can use the same RKLLM, or it's a fork to install LLM.

    • @guiguicoco2740
      @guiguicoco2740 4 หลายเดือนก่อน

      @@AntonMaltsev hi again Anton, on the rock ship doc, they say :
      1) Download the rknpu_driver_0.9.6_20240322.tar.bz2.
      2) Unzip the compressed file and overwrite the RKNPU driver code into the current kernel code
      directory.
      3) Recompile the kernel.
      4) Flash the newly compiled kernel to the device.
      But I think it’s not so easy 😊 I will try, I am just worried because of the retro compatibility with my yolov8 vision application

    • @AntonMaltsev
      @AntonMaltsev  4 หลายเดือนก่อน

      I did not do anything with kernal reconpailing for any of these platforms.

  • @mal-avcisi9783
    @mal-avcisi9783 หลายเดือนก่อน

    Why do people always say their names at the beginning of the video, who cares about the name, what does it matter, what value does it add to the video?