Enabling Cost-Efficient LLM Serving with Ray Serve

แชร์
ฝัง
  • เผยแพร่เมื่อ 24 พ.ย. 2024

ความคิดเห็น • 4

  • @elephantum
    @elephantum 4 หลายเดือนก่อน +4

    It should be noted, that since this talk, Anyscale deprecated Ray LLM and now recommend vLLM

    • @_nitingoyal_
      @_nitingoyal_ 23 วันที่ผ่านมา

      vLLM requires Ray Serve to provide distributed inference.

  • @yukewang3164
    @yukewang3164 8 หลายเดือนก่อน +3

    awesome talk, with useful insights!

  • @MrEmbrance
    @MrEmbrance 3 หลายเดือนก่อน

    no thanks