Open Source RAG running LLMs locally with Ollama

แชร์
ฝัง
  • เผยแพร่เมื่อ 2 ก.พ. 2025

ความคิดเห็น • 53

  • @JohnPamplin
    @JohnPamplin 7 หลายเดือนก่อน +5

    Your "All Your Base Are Belong To Us" ending just earned a subscription from me. WHAT YOU SAY!

  • @divyaraj-rana
    @divyaraj-rana 6 หลายเดือนก่อน

    Really amazing innovation by Weaviate team! Their workshops speaks about their groundbreaking applications and making it open-source.

  • @mohz832
    @mohz832 8 หลายเดือนก่อน +6

    Why the layout of the installed version via pip is not the same as your demo? Also, how can we use PDF files without an API key from Unstructured? I believe this is still a showstopper for most of us.

  • @kapkanfps3694
    @kapkanfps3694 8 หลายเดือนก่อน +6

    Might have to give a try, the ending is hilarious nostalgic 😂

  • @iandanforth
    @iandanforth 8 หลายเดือนก่อน +1

    Very exciting! Thanks for all the hard work. (and fun Easter eggs)

  • @wojciechperchuc2734
    @wojciechperchuc2734 8 หลายเดือนก่อน +1

    Love the background music ❤ You can feel the Berlin vibe ;)

  • @AnugrahPrahasta
    @AnugrahPrahasta 8 หลายเดือนก่อน +1

    One of the best RAG opensource I installed.

    • @Weaviate
      @Weaviate  8 หลายเดือนก่อน +1

      facts 💚

  • @AlangHsu
    @AlangHsu 8 หลายเดือนก่อน +2

    Thank you for the open-source project. It's great.

  • @JenuelDevTutors
    @JenuelDevTutors 8 หลายเดือนก่อน +3

    is their an API where I can use to upload data? rather than uploading it in the admin ui. and also is their a way to access chat through api as well so that I can use the chat inside any website or apps?

    • @kyudechama
      @kyudechama 8 หลายเดือนก่อน +1

      I would like to know as well!

    • @jordan-kz3rx
      @jordan-kz3rx 5 หลายเดือนก่อน +1

      It seems that the chat is calling @app.websocket("/ws/generate_stream") which is ran on the server at localhost:8000

  • @rodericksweet6546
    @rodericksweet6546 8 หลายเดือนก่อน +1

    This is exactly what I have been looking for. However, I install it and none of the variables seem to populate the application. At lease none are showing.

  • @jagrat12354
    @jagrat12354 6 หลายเดือนก่อน +1

    I wonder if it can read data from a sql database directly ?

  • @saulyarhi675
    @saulyarhi675 7 หลายเดือนก่อน

    This is beautiful. I'm working with 5 classmates (electromechanical and software engineering college) on a proyect, we developed a tiny robot able to chat with patients as a co therapist, using a raspberry pi and a LLM. But the hallucinations are way too dangerous here, so i suggested to my team we start implementing RAG. Generating and "validating" the psychology database is really, really, really time consuming, it's hard, tricky and it takes a long time to have good quality examples, but we are pretty sure it's gonna be 100% worth it.
    I just had knowledge of Ollama and i would love to try out Verba in our prototype, so people in need can start getting attention and we can right away start recollecting data from the final model already deployed.
    I would love to collaborate with you guys, I'm such an enthusiast of opensource communities and corporations, and I loved the concept you evoke so much.

  • @Pregidth
    @Pregidth 7 หลายเดือนก่อน

    This is very cool! Thank you! Can I distribute just the chat interface without the configuration behind?

  • @MrAnkitnakra
    @MrAnkitnakra 7 หลายเดือนก่อน

    Very helpful , I am able to set up on local host , however not able to ingest data, trying to upload a PDF

  • @christenjacquottet9799
    @christenjacquottet9799 8 หลายเดือนก่อน +1

    Is it more recommended to break down your markdown blogs into separate files rather than one big file to ingest? I tried with one big file and didn’t get accurate results

  • @stebansb
    @stebansb 8 หลายเดือนก่อน +3

    hey, this is awesome. Also love the end of the video, brings back memories!

    • @philipvollet
      @philipvollet 8 หลายเดือนก่อน

      th-cam.com/video/Qra1oWdJQPs/w-d-xo.htmlsi=outDexl5AGXlNTOW

  • @arpitaingermany
    @arpitaingermany 4 หลายเดือนก่อน +1

    I am not able to view the Overview

  • @freddiechipres
    @freddiechipres 8 หลายเดือนก่อน

    Awesome app you guys. Is it possible to add OCR capability?

  • @blueedu4958
    @blueedu4958 8 หลายเดือนก่อน +1

    all your base are belong to us! Brilliant 🙂😍😎😎😎

    • @Weaviate
      @Weaviate  8 หลายเดือนก่อน

      Yes they are!

    • @philipvollet
      @philipvollet 8 หลายเดือนก่อน

      th-cam.com/video/Qra1oWdJQPs/w-d-xo.html

  • @tusharbhatnagar8143
    @tusharbhatnagar8143 8 หลายเดือนก่อน +2

    Quick question. Does setting up and using Verba support Windows or WSL? Also, what exactly is the process. Does it simply work like a RAG app off the shelf after setup or we need to have weviate DB running on the side as well.

    • @Weaviate
      @Weaviate  8 หลายเดือนก่อน +3

      Weaviate Embedded isn't currently supported on Windows but we're working on it! On other devices, Weaviate Embedded is setup automatically and locally in the background when installing Verba, but you also got other deployment options such as Docker or using a Free Sandbox Cluster Hosted on our Cloud Platform (console.weaviate.cloud/)

    • @tusharbhatnagar8143
      @tusharbhatnagar8143 8 หลายเดือนก่อน +1

      @@Weaviate Got it. Will have to wait it out then to try it on Windows or WSL as those are the primary devices at my org.

    • @benwatson5211
      @benwatson5211 8 หลายเดือนก่อน

      I saw that people were requesting a windows deployment almost 12 months ago. Are you actively working on this or not? @weaviate

    • @tusharbhatnagar8143
      @tusharbhatnagar8143 8 หลายเดือนก่อน +1

      @@benwatson5211 I don't think they are. They just replied to me yesterday about the status and incompatibility.

  • @tlfmcooper
    @tlfmcooper 8 หลายเดือนก่อน

    This looks great. Can I deploy verba to the cloud? Please provide a link to the resource if available

  • @kanunssol1246
    @kanunssol1246 8 หลายเดือนก่อน

    Does this have user limitation (user accounts) like openwebui and Danswer? Please reply. Thanks

  • @MrRaja
    @MrRaja 8 หลายเดือนก่อน

    How do I speed up the Vectorizing of Documents?

  • @TechTrek-su7hl
    @TechTrek-su7hl 8 หลายเดือนก่อน

    Could you let us know how did you create this animation/gif please?

  • @SamiBenSalah
    @SamiBenSalah 8 หลายเดือนก่อน

    the use of GPU is highly recommended but not so clear. I am using Verba on my WSL on Windows but as it is using only CPU, it is kind of slow. How can I plug my GPU to help?

    • @m.c.4458
      @m.c.4458 4 หลายเดือนก่อน

      kuda/ nvidia - check what you have, mske sure of compatibikity with your python version and package - it is a big job for windows users it took me ages to activate kuda. but not with this program.

  • @JimMendenhall
    @JimMendenhall 8 หลายเดือนก่อน +1

    Very nice work!

  • @marilynlucas5128
    @marilynlucas5128 8 หลายเดือนก่อน +1

    Good job guys!

  • @mikestaub
    @mikestaub 8 หลายเดือนก่อน

    Great job!

  • @KOTAGIRISIVAKUMAR
    @KOTAGIRISIVAKUMAR 7 หลายเดือนก่อน

    can anyone help me with the alternatives to the verba?

  • @trvsgrant
    @trvsgrant 8 หลายเดือนก่อน

    How is this different than chatrtx?

  • @igorshingelevich7627
    @igorshingelevich7627 8 หลายเดือนก่อน

    Sounds interesting.

  • @m.c.4458
    @m.c.4458 4 หลายเดือนก่อน

    I have been making my own local rag. for my professon. Just using prompt engineering :P I know how hard this is to achieve.

  • @DerekDickerson
    @DerekDickerson 8 หลายเดือนก่อน +3

    the installer and the env information needs allot of work

  • @Mr6499
    @Mr6499 8 หลายเดือนก่อน +1

    Not free ! you're giving your Base to Weaviate!

  • @botondvasvari5758
    @botondvasvari5758 8 หลายเดือนก่อน +1

    demo is empty

  • @restrollar8548
    @restrollar8548 7 หลายเดือนก่อน +1

    Like the tech, but the health use case is really clunky and very simple. Medical data is messy and you would obviously be asking patients most of these questions, not an LLM!

  • @Adante.
    @Adante. 8 หลายเดือนก่อน

    Can this be connected to via an api for external apps? eg: Automation of emailing facts about ingested data to someone interested/able to receive email responses

  • @martin22336
    @martin22336 8 หลายเดือนก่อน +2

    Useful with small models like phi3.

  • @ApeOfGod1
    @ApeOfGod1 8 หลายเดือนก่อน +1

    3.1.0 != 3.10.0.

  • @arpitaingermany
    @arpitaingermany 4 หลายเดือนก่อน

    But again sharing private info to this company can be dangerous, so uploading documents is a doubt

  • @handler007
    @handler007 8 หลายเดือนก่อน

    ohhh... buttons. NAH

  • @AtomicPixels
    @AtomicPixels 8 หลายเดือนก่อน

    Don’t use rag. Use efficient decision graph networks that actually work like soul reasoning