Don't naive RAG do hybrid search instead (Pinecone Weaviate or pgvector + full text search & rerank)

แชร์
ฝัง
  • เผยแพร่เมื่อ 7 ม.ค. 2025

ความคิดเห็น •

  • @devlearnllm
    @devlearnllm  5 หลายเดือนก่อน +4

    Hey yall, in case you didn't get good full text search results like me, the CEO of Supabase (Paul Copplestone) sent me this to use instead: supabase.com/docs/guides/database/extensions/pgroonga

  • @alienPear
    @alienPear 4 หลายเดือนก่อน +1

    Thanks for sharing, bro! Greetings from Colombia

    • @devlearnllm
      @devlearnllm  4 หลายเดือนก่อน

      My pleasure!

  • @pabloarroyo7952
    @pabloarroyo7952 3 หลายเดือนก่อน +2

    Watching this 2 months later. Great video, thanks for sharing

    • @devlearnllm
      @devlearnllm  3 หลายเดือนก่อน

      Glad you enjoyed it!

    • @blackswann9555
      @blackswann9555 2 หลายเดือนก่อน +1

      3 Months im here and enjoying

    • @UnemployMan396-xd7ov
      @UnemployMan396-xd7ov หลายเดือนก่อน

      4 months here love it gonna put this in my graduate thesis

  • @JamesRBentley
    @JamesRBentley 5 หลายเดือนก่อน +1

    Nice video sir. I have already been experimenting with the colab - sincerest thanks

    • @devlearnllm
      @devlearnllm  5 หลายเดือนก่อน

      Great to hear!

  • @gregmeldrum
    @gregmeldrum 5 หลายเดือนก่อน +1

    Very informative! A great resource. Thanks for sharing your wealth of knowledge!!

  • @ironbondar
    @ironbondar 5 หลายเดือนก่อน +1

    very good workshop. straight to the point

  • @Phoenix-gi3gu
    @Phoenix-gi3gu 4 หลายเดือนก่อน +1

    For experimenting I would recommend using no database at all. You can simply use the cosine similarity (i.e. from torch functional) or quickly implement it and you are nearly done. Just use some argsort to get the best matches. It's like five lines of code or so. For easy store/load you can use pickle to serialize/unserialize the object that holds the embeddings. It is fast on CPU too, but of course you can run it on GPU without any bigger changes.
    No services required.

    • @devlearnllm
      @devlearnllm  4 หลายเดือนก่อน

      good point

  • @oamarkanji3153
    @oamarkanji3153 3 หลายเดือนก่อน

    Incredible content. Thank you.

    • @devlearnllm
      @devlearnllm  3 หลายเดือนก่อน

      Much appreciated!

  • @ThoughtfullySo
    @ThoughtfullySo 5 หลายเดือนก่อน +1

    You should've tried Qdrant.

  • @ofrylivney367
    @ofrylivney367 5 หลายเดือนก่อน +2

    Nice workshop! I'll definitely try out the hybrid search. Do you recon it'll work with nomic text embeddings and ollama?

    • @devlearnllm
      @devlearnllm  5 หลายเดือนก่อน

      Most likely!

  • @magnusjensen5867
    @magnusjensen5867 3 หลายเดือนก่อน +1

    Nice workshop, thank you for sharing! You mentioned early on that you tried decomposing your queries if they were multi-hop queries / abstract queries. Would you still suggest that approach or is there any new research specifically on this matter? Imagine a query in which a user want to retrieve information from multiple documents at get a comparison or summarization.

    • @devlearnllm
      @devlearnllm  2 หลายเดือนก่อน +2

      I'm still doing the same for my app, and what I'm hoping to do eventually is to prompt the query expansion step so it's expanding in a coherent way. E.g question is about how X affects Y -> find X, find Y

    • @magnusjensen5867
      @magnusjensen5867 2 หลายเดือนก่อน

      @@devlearnllm Thank you for your response. How exactly would you go about this? Have you played with knowledge graph (GraphRAG) like Neo4j etc?

  • @samarthsaraogi6088
    @samarthsaraogi6088 3 วันที่ผ่านมา

    How can we store the fitted model? I want to use the fitted BM25 model repeatedly on my app. Is there a way to keep it?

  • @SandeeshCroos
    @SandeeshCroos 2 หลายเดือนก่อน

    Hey, great content! Thanks for sharing your knowledge. However, instead of just using tsvector in PostgreSQL, you can leverage sparse vector search by utilizing the pg_search extension, right?

    • @devlearnllm
      @devlearnllm  2 หลายเดือนก่อน +1

      yup, they're both full text search. Or use pgroonga

  • @ajkdrag
    @ajkdrag 4 หลายเดือนก่อน +1

    Hi. I have a video request. Is there a way to contact you?

    • @devlearnllm
      @devlearnllm  4 หลายเดือนก่อน

      tally.so/r/n9djRQ

    • @ajkdrag
      @ajkdrag 4 หลายเดือนก่อน

      @@devlearnllm done. Thanks

  • @vijishmadhavan6093
    @vijishmadhavan6093 4 หลายเดือนก่อน

    what happens if we use all the 25000 cases, will it work?

    • @devlearnllm
      @devlearnllm  4 หลายเดือนก่อน

      Most likely. Pinecone, Weaviate and pgvector are very performant.

  • @zuowang5185
    @zuowang5185 5 หลายเดือนก่อน

    Is Openai embedding v3 model better than Bert?

    • @devlearnllm
      @devlearnllm  5 หลายเดือนก่อน

      Hard to tell unless experiments are run.
      huggingface.co/spaces/mteb/leaderboard

  • @artur50
    @artur50 5 หลายเดือนก่อน

    is it possible to run it with Ollama?

    • @devlearnllm
      @devlearnllm  5 หลายเดือนก่อน

      Most likely

  • @ArunKumar-bp5lo
    @ArunKumar-bp5lo 5 หลายเดือนก่อน +1

    great

  • @flor.7797
    @flor.7797 5 หลายเดือนก่อน

    I just use Google 🙃