TensorRT-LLM: Quantization and Benchmarking

แชร์
ฝัง
  • เผยแพร่เมื่อ 1 ธ.ค. 2024

ความคิดเห็น • 4

  • @PrasadNair-b7f
    @PrasadNair-b7f 5 หลายเดือนก่อน

    Is there a way to completely turn off quantization in TensorRT-LLM

  • @PrasadNair-b7f
    @PrasadNair-b7f 5 หลายเดือนก่อน

    Why TensorRT-LL reports token throughput in negative

  • @PrasadNair-b7f
    @PrasadNair-b7f 5 หลายเดือนก่อน

    Is there a way to completely turnoff quantization ?

    • @Gerald-xg3rq
      @Gerald-xg3rq 4 หลายเดือนก่อน

      yes - dont run the quantization script