5 tiers of long-term memory and personalization for LLM applications (in-person workshop)

แชร์
ฝัง
  • เผยแพร่เมื่อ 23 ม.ค. 2025

ความคิดเห็น • 25

  • @manfredmichael_3ia097
    @manfredmichael_3ia097 5 หลายเดือนก่อน +4

    I think there should be a microphone in the middle of the audience. You had an insightful discussion with them, amazing audience!

    • @devlearnllm
      @devlearnllm  5 หลายเดือนก่อน

      Great idea!

  • @Bragheto
    @Bragheto 8 หลายเดือนก่อน +2

    This is so valuable! The idea of embedding enrichment with summarizations will be very useful to one of my projects. Thanks a lot for sharing! Congrats from Brazil!

    • @devlearnllm
      @devlearnllm  8 หลายเดือนก่อน +1

      Glad you found it useful

  • @lovehappykk
    @lovehappykk 8 หลายเดือนก่อน +6

    ‌‌Wonderful narration

  • @IdPreferNot1
    @IdPreferNot1 8 หลายเดือนก่อน +1

    Thanks for sharing these meetings!

    • @devlearnllm
      @devlearnllm  8 หลายเดือนก่อน

      Hope you found it useful

  • @som6553
    @som6553 2 หลายเดือนก่อน

    you're a great teacher!

    • @devlearnllm
      @devlearnllm  2 หลายเดือนก่อน

      Thanks! Let me know if you have any feedbacks

  • @ajax_davis
    @ajax_davis 8 หลายเดือนก่อน +1

    Maybe S tier would be using Reranking (Jina) to also select memories based off the users intent.

  • @uddhav.m
    @uddhav.m 7 หลายเดือนก่อน

    Can anyone share the anthropic system prompt different, can't find it anywhere

  • @microburn
    @microburn 8 หลายเดือนก่อน +3

    The camera swivel is an L when you get excited / nervous

    • @devlearnllm
      @devlearnllm  8 หลายเดือนก่อน +1

      Yeah it’s a bit too sensitive

  • @danieldesenna7611
    @danieldesenna7611 6 หลายเดือนก่อน +1

    Great video!! Thanks for sharing the code! One question though:
    Inside A:tier code -> "print_ai_answer" function, you wrote:
    for like in extracted_personality["likes"]:
    text_to_embed = f"The user likes {like}"
    current_embeddings = embedding_client.embed_query(text_to_embed)
    dislike_with_metadata = {
    "id": str(uuid.uuid4()), "values": current_embeddings, "metadata": {"type": "likes", "content": like}
    }
    embeddings.append(dislike_with_metadata)
    Was it not supposed to be something like "likes_with_metadata ={...}" and then "embeddings.append(likes_with_metadata)" ?
    I guess repeating "dislike_with_metadata" does not make a difference for the code functionality, but it was a bit confusing to understand the code for a moment.
    Thanks!

    • @devlearnllm
      @devlearnllm  6 หลายเดือนก่อน

      Good catch!

  • @alx8439
    @alx8439 16 วันที่ผ่านมา

    Mu gut feeling tells me, that the only how you can actually have a long term memory without flaws and scaffolding, which always accompany RAG, is continuous fine tuning.

    • @devlearnllm
      @devlearnllm  12 วันที่ผ่านมา

      Hmmm fine-tuning does not guarantee the model remembering certain facts or details, and moreso for performance tuning. At least from personal experience, fine-tuning has never been a one and done thing, and requires substantial experimenting, unlike RAG.

    • @alx8439
      @alx8439 12 วันที่ผ่านมา

      Yeah, the hype around RAG makes us to believe so. The thing is - what made models to learn the initial set of knowledge is training. We just haven't yet discovered good enough recipes for cheap and effective training.

  • @rexsybimatrimawahyu3292
    @rexsybimatrimawahyu3292 8 หลายเดือนก่อน

    Is the camera automatic tracking to ur face? Im new into machine learning?

    • @devlearnllm
      @devlearnllm  8 หลายเดือนก่อน

      Yeah, it's the DJI Pocket 3

  • @lifeoftomi_
    @lifeoftomi_ 8 หลายเดือนก่อน

    Great stuff man. What’s S-tier though? Maybe I missed it

    • @devlearnllm
      @devlearnllm  8 หลายเดือนก่อน +7

      I forgot to mentioned the S tier at the end. It's

  • @__________________________6910
    @__________________________6910 4 หลายเดือนก่อน +5

    No, I know why you want long-term memory-because your AI girlfriend doesn't remember your past conversations. She forgets you, that's why.