Command R7B in 7 minutes! 💥 Small LLM for Local RAG 💥

แชร์
ฝัง
  • เผยแพร่เมื่อ 14 ม.ค. 2025

ความคิดเห็น • 8

  • @d.d.z.
    @d.d.z. 10 ชั่วโมงที่ผ่านมา +2

    I'd like to see it integrated with OpenWebUI!

  • @zandanshah
    @zandanshah 6 ชั่วโมงที่ผ่านมา +1

    how do i test a LLM ask > Draw a house with ASCII characters?" this LLM is bad

  • @d3mist0clesgee12
    @d3mist0clesgee12 10 ชั่วโมงที่ผ่านมา

    from your test the context window parameters don't look reliable, 😇

  • @alx8439
    @alx8439 7 ชั่วโมงที่ผ่านมา

    Mate, just creating a modelfile is not enough. You should have done one more step - to create a new model with a new name out of that modelfile. In terms of ollama "model" is not a model weights - its weights + parameters. So creating a "new" model out of the existing model, you already have weights for, will not occupy any space on your HDD - it just creates a version of the same model with different parameters (like context size)