Running a RAG App in Your Browser: Why Not? (Really... Don't Do it!)

แชร์
ฝัง
  • เผยแพร่เมื่อ 23 ม.ค. 2025

ความคิดเห็น • 4

  • @jonathanvalenciabolanos2009
    @jonathanvalenciabolanos2009 2 หลายเดือนก่อน

    It's very interesting. thanks for sharing. I have one question ¿Can I run this app on a cpu using Webassembly?

    • @BlaizeTech
      @BlaizeTech  2 หลายเดือนก่อน +1

      The models run on Webassembly or WebGPU, depending on which one is there. The JS is just there to bootstrap that process.

    • @jonathanvalenciabolanos2009
      @jonathanvalenciabolanos2009 หลายเดือนก่อน

      @BlaizeTech I believe my issue is related to WebGPU. I'm trying to run the app in a web browser on Linux Mint, but WebGPU is only supported on Windows and macOS in Chrome. I've been attempting to modify the code to work solely with WebAssembly, but so far, without success.

    • @BlaizeTech
      @BlaizeTech  หลายเดือนก่อน +1

      @@jonathanvalenciabolanos2009 Sorry that I can't be much of a help. WebGPU is a pretty new standard.