vLLM Office Hours - Deep Dive into Mistral on vLLM - October 17, 2024

แชร์
ฝัง
  • เผยแพร่เมื่อ 14 พ.ย. 2024

ความคิดเห็น • 1

  • @micuentadecasa
    @micuentadecasa 20 วันที่ผ่านมา +1

    Hi, great video, I would like to know if it is possible to use e5-mistral-7b-instruct in VLLM for embedding and completions with only one instance of VLLM?

ต่อไป
เล่นอัตโนมัติ
vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 202452:35vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024
vLLM Office Hours - Advanced Techniques for Maximizing vLLM Performance - September 19, 2024Neural Magic
มุมมอง 1.2K
vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 202459:55vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 2024
vLLM Office Hours - SOTA Tool-Calling Implementation in vLLM - November 7, 2024Neural Magic
มุมมอง 154
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral30:25Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral
Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO MistralMLOps.community
มุมมอง 16K
RoV : รีวิว Satoru Gojo ในแรงค์ Supreme !16:56RoV : รีวิว Satoru Gojo ในแรงค์ Supreme !
RoV : รีวิว Satoru Gojo ในแรงค์ Supreme !กิต งายย
มุมมอง 315K
EAT อีส มารูอ้วย | EP.128 สุกี้หม้อรวม กับนารา เครปตัวแม่ ทำไมส่งมาสองคน เป็นพี่พี่ตัดหมด นะแบบนี้1:14:46EAT อีส มารูอ้วย | EP.128 สุกี้หม้อรวม กับนารา เครปตัวแม่ ทำไมส่งมาสองคน เป็นพี่พี่ตัดหมด นะแบบนี้
EAT อีส มารูอ้วย | EP.128 สุกี้หม้อรวม กับนารา เครปตัวแม่ ทำไมส่งมาสองคน เป็นพี่พี่ตัดหมด นะแบบนี้Chrrissa Chotijirasathit
มุมมอง 407K
Outsmarted 😂00:14Outsmarted 😂
Outsmarted 😂ILYA BORZOV
มุมมอง 19M
"บิ๊กโจ๊ก" มีลุ้นกลับ ตร. หรือไม่ | Thai PBS News14:37"บิ๊กโจ๊ก" มีลุ้นกลับ ตร. หรือไม่ | Thai PBS News
"บิ๊กโจ๊ก" มีลุ้นกลับ ตร. หรือไม่ | Thai PBS NewsThaiPBSNews
มุมมอง 153K
Llama: The Open-Source AI Model that's Changing How We Think About AI8:46Llama: The Open-Source AI Model that's Changing How We Think About AI
Llama: The Open-Source AI Model that's Changing How We Think About AIIBM Technology
มุมมอง 54K
Making GPUs go brrr on Modal55:12Making GPUs go brrr on Modal
Making GPUs go brrr on ModalModal
มุมมอง 107
The State of vLLM | Ray Summit 202435:23The State of vLLM | Ray Summit 2024
The State of vLLM | Ray Summit 2024Anyscale
มุมมอง 645
vLLM Office Hours - Speculative Decoding in vLLM - October 3, 20241:04:28vLLM Office Hours - Speculative Decoding in vLLM - October 3, 2024
vLLM Office Hours - Speculative Decoding in vLLM - October 3, 2024Neural Magic
มุมมอง 665
Deploy LLMs More Efficiently with vLLM and Neural Magic33:21Deploy LLMs More Efficiently with vLLM and Neural Magic
Deploy LLMs More Efficiently with vLLM and Neural MagicNeural Magic
มุมมอง 941
The Evolution of Multi-GPU Inference in vLLM | Ray Summit 202430:52The Evolution of Multi-GPU Inference in vLLM | Ray Summit 2024
The Evolution of Multi-GPU Inference in vLLM | Ray Summit 2024Anyscale
มุมมอง 432
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 202456:09vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024
vLLM Office Hours - FP8 Quantization Deep Dive - July 9, 2024Neural Magic
มุมมอง 1.4K
Accelerating LLM Inference with vLLM35:53Accelerating LLM Inference with vLLM
Accelerating LLM Inference with vLLMDatabricks
มุมมอง 6K
Has Generative AI Already Peaked? - Computerphile12:48Has Generative AI Already Peaked? - Computerphile
Has Generative AI Already Peaked? - ComputerphileComputerphile
มุมมอง 1M
จับประเด็น | ปานเทพตอบทนายเดชา เรื่อง "หิวแสง" : News Hour 12-11-6709:40จับประเด็น | ปานเทพตอบทนายเดชา เรื่อง "หิวแสง" : News Hour 12-11-67
จับประเด็น | ปานเทพตอบทนายเดชา เรื่อง "หิวแสง" : News Hour 12-11-67News1
มุมมอง 288K
UNLIMITED CHOCOLATE 😲😍| My Dad is a Vending Machine!00:18UNLIMITED CHOCOLATE 😲😍| My Dad is a Vending Machine!
UNLIMITED CHOCOLATE 😲😍| My Dad is a Vending Machine!BRAVO!
มุมมอง 7M
ศึกมวยไทยพลังใหม่ 13/11/20242:04:21ศึกมวยไทยพลังใหม่ 13/11/2024
ศึกมวยไทยพลังใหม่ 13/11/2024True4U
มุมมอง 77K
PASULOL รามเกียรติ์ ตอนที่ 4 นนทกพบรัก19:49PASULOL รามเกียรติ์ ตอนที่ 4 นนทกพบรัก
PASULOL รามเกียรติ์ ตอนที่ 4 นนทกพบรักPASULOL
มุมมอง 1.1M
Smart Parenting Gadget for a Mess-Free Mealtime 🍽️👍 #parenting #gadgets #asmr00:33Smart Parenting Gadget for a Mess-Free Mealtime 🍽️👍 #parenting #gadgets #asmr
Smart Parenting Gadget for a Mess-Free Mealtime 🍽️👍 #parenting #gadgets #asmrCoo-Cool Reacts!
มุมมอง 4.9M
"ทนายตั้ม" ช็อก! "ทนายสายหยุด" ขอไม่ทำคดี | ข่าวมื้อเย็น 12/11/6706:31"ทนายตั้ม" ช็อก! "ทนายสายหยุด" ขอไม่ทำคดี | ข่าวมื้อเย็น 12/11/67
"ทนายตั้ม" ช็อก! "ทนายสายหยุด" ขอไม่ทำคดี | ข่าวมื้อเย็น 12/11/67Dailynews Online
มุมมอง 355K
حلوى علقت في حلقي مباشرةً 🫣00:26حلوى علقت في حلقي مباشرةً 🫣
حلوى علقت في حلقي مباشرةً 🫣Buzzy Bug Arabic
มุมมอง 2.8M
消防避险训练，消防员用“水盾”逼退烈火！这是训练，也是他们可能面对的日常。致敬！#熱門 #中国00:16消防避险训练，消防员用“水盾”逼退烈火！这是训练，也是他们可能面对的日常。致敬！#熱門 #中国
消防避险训练，消防员用“水盾”逼退烈火！这是训练，也是他们可能面对的日常。致敬！#熱門 #中国M档案
มุมมอง 477K