Dr. Niraj Kumar (PhD, Computer Science)
Dr. Niraj Kumar (PhD, Computer Science)
  • 123
  • 372 096
Unlocking the Power of LLMs: Why Quantization Matters and How to Master It Effectively
Unlocking the Power of LLMs: Why Quantization Matters and How to Master It Effectively
มุมมอง: 48

วีดีโอ

How Transformers Support Autoregressive Language Model based LLMs
มุมมอง 75หลายเดือนก่อน
How Transformers Support Autoregressive Language Model based LLMs
Revise Your Understanding of Self-Attention
มุมมอง 38หลายเดือนก่อน
Revise Your Understanding of Self-Attention Learn How to transition from Input text to [Query, Key, and Value] Vectors and Ultimately, to the final Context Vector
D0RA: Weight-Decomposed Low-Rank Adaptation
มุมมอง 1805 หลายเดือนก่อน
Contains. 1. DORA Finetuning Step-by-Step 2. Code walkthrough Dora Finetuning Note: Codes are available at: www.quantacosmos.com/2024/07/finetune-large-language-models-with.html
Quantized Low-Rank Adaptation ‘QLORA’
มุมมอง 1095 หลายเดือนก่อน
Contains. 1. LORA Vs QLORA 2. QLORA Explanation Reference. 1. Hu, Edward J., Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. "Lora: Low-rank adaptation of large language models." arXiv preprint arXiv:2106.09685 (2021). 2. Dettmers, Tim, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. "Qlora: Efficient finetuning of quantized llms." Advances...
Finetuning LLMs with LORA
มุมมอง 1155 หลายเดือนก่อน
Contains. 1. Finetuning Strategies. 2. Finetuning Code-Demonstration Code is available at: www.quantacosmos.com/2024/06/lora-qlora-and-fine-tuning-large.html Reference. 1. Hu, Edward J., Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. "Lora: Low-rank adaptation of large language models." arXiv preprint arXiv:2106.09685 (2021). 2. Dettmers, Tim, A...
Low-Rank Adaptation 'LORA'
มุมมอง 1675 หลายเดือนก่อน
Contains. 1. Basics and Requirements of Fine-Tuning. 2. LORA Step-By-Step Reference. 1. Hu, Edward J., Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. "Lora: Low-rank adaptation of large language models." arXiv preprint arXiv:2106.09685 (2021). 2. Dettmers, Tim, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. "Qlora: Efficient finetuning of...
Fine-Tuning Pretrained LLMs Locally
มุมมอง 3376 หลายเดือนก่อน
Contains. Basics and Requirements of Fine-Tuning. System Work-Flow - Fine-Tune Llama-3 Code-Demonstration
Download and Use Llama-3 Locally
มุมมอง 5806 หลายเดือนก่อน
Contains. A few easiest process (other than using Llama-3 through Ollama ) Code-Demonstration Steps to download Meta-Llama3: 1. Install Hugging Face CLI: pip install -U "huggingface_hub[cli]" 2. Create a Hugging Face account if you don’t have one (huggingface.co/) 3. Accept the model’s conditions and privacy policy for Llama-3-8B-Instruct (huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct). Wa...
One-Shot LLM + RAG with Knowledge Graph
มุมมอง 956 หลายเดือนก่อน
Contains. 1. Basics of Knowledge Hyper Graph based One-Shot LLM-RAG Techniques. 2.System Work-Flow 3. Code-Demonstration Source code is available at: www.quantacosmos.com/2024/06/one-shot-llm-rag-with-knowledge-graph.html
Zero-Shot LLM-RAG With Knowledge Graph
มุมมอง 856 หลายเดือนก่อน
Contains. 1. Basics of Knowledge Hyper Graph based Zero-Shot LLM-RAG Techniques. 2. System Work-Flow 3. Code-Demonstration Source code is available at: www.quantacosmos.com/2024/06/zero-shot-llm-rag-with-knowledge-graph.html
Knowledge Hyper Graph with LLM-RAG
มุมมอง 1896 หลายเดือนก่อน
Contains. 1. Basics of Knowledge Hyper Graph based RAG Techniques. 2. System Work-Flow 3. Code-Demonstration Source Code is available at: www.quantacosmos.com/2024/06/knowledge-hyper-graph-with-llm-rag.html
Using Knowledge Graph with LLM-RAG
มุมมอง 916 หลายเดือนก่อน
Contains. 1. Basics of Knowledge Graph based RAG Techniques. 2. System Work-Flow 3. Code-Demonstration Source Code is available at: www.quantacosmos.com/2024/06/using-knowledge-graph-with-llm-rag.html
Graph Based RAG (Retrieval Augmented Generation) Techniques PART-2
มุมมอง 1456 หลายเดือนก่อน
Contains (Implementation). 1. Easy Offline demonstration of Graph Based RAG using LLM (Llama-3). Please find the code at: www.quantacosmos.com/2024/06/rag-retrieval-augmented-generation-llm.html
Graph Based RAG (Retrieval Augmented Generation) Techniques PART-1
มุมมอง 2466 หลายเดือนก่อน
Contains. 1. Basics of Graph based RAG Techniques. 2. GraphRAG Introduction. Please find the code at: www.quantacosmos.com/2024/06/rag-retrieval-augmented-generation-llm.html
How to construct Flow-Diagram by Using LLM + RAG
มุมมอง 6216 หลายเดือนก่อน
How to construct Flow-Diagram by Using LLM RAG
How to use LLM + RAG to Construct Knowledge Graph
มุมมอง 1726 หลายเดือนก่อน
How to use LLM RAG to Construct Knowledge Graph
RAG (Retrieval Augmented Generation) with LLM
มุมมอง 1246 หลายเดือนก่อน
RAG (Retrieval Augmented Generation) with LLM
Wasserstein GAN Part-3 (Architecture and Implementation)
มุมมอง 918 หลายเดือนก่อน
Wasserstein GAN Part-3 (Architecture and Implementation)
Wasserstein GAN Part-2(Wasserstein Distance - Details)
มุมมอง 1028 หลายเดือนก่อน
Wasserstein GAN Part-2(Wasserstein Distance - Details)
Wasserstein GAN Part-1(KL-Divergence Vs Jensen-Shannon Divergence Vs Wasserstein Distance)
มุมมอง 3308 หลายเดือนก่อน
Wasserstein GAN Part-1(KL-Divergence Vs Jensen-Shannon Divergence Vs Wasserstein Distance)
Use of Long Text Sequences with LLM’s Trained on Shorter Part-3 RoFormer-Rotary Positional Embedding
มุมมอง 1039 หลายเดือนก่อน
Use of Long Text Sequences with LLM’s Trained on Shorter Part-3 RoFormer-Rotary Positional Embedding
Use of Long Text Sequences with LLM’s Trained on Shorter, Part-2 (Attention with Linear Biases)
มุมมอง 1559 หลายเดือนก่อน
Use of Long Text Sequences with LLM’s Trained on Shorter, Part-2 (Attention with Linear Biases)
Use of Long Text Sequences with LLM’s Trained on Shorter Text Sequences Part-1
มุมมอง 1549 หลายเดือนก่อน
Use of Long Text Sequences with LLM’s Trained on Shorter Text Sequences Part-1
Generative Adversarial Network GAN Part-1
มุมมอง 1209 หลายเดือนก่อน
Generative Adversarial Network GAN Part-1
Generative Adversarial Network GAN Part-3
มุมมอง 899 หลายเดือนก่อน
Generative Adversarial Network GAN Part-3
Generative Adversarial Network GAN Part-2
มุมมอง 729 หลายเดือนก่อน
Generative Adversarial Network GAN Part-2
"Improved Multi-Step, Multi-Variate, and Spatiotemporal 5G Data Usage Forecasting.."
มุมมอง 80ปีที่แล้ว
"Improved Multi-Step, Multi-Variate, and Spatiotemporal 5G Data Usage Forecasting.."
Trustable-AI Part-2
มุมมอง 79ปีที่แล้ว
Trustable-AI Part-2
Trustable-AI Part-1
มุมมอง 98ปีที่แล้ว
Trustable-AI Part-1

ความคิดเห็น

  • @bhagatpandey369
    @bhagatpandey369 หลายเดือนก่อน

    best mathematics explain video 🙏🙏

  • @ashwinkumar5223
    @ashwinkumar5223 5 หลายเดือนก่อน

    Ver good sir

  • @ravindarmadishetty736
    @ravindarmadishetty736 6 หลายเดือนก่อน

    Dr.Niraj, good video. Even if it is fine tuned can you also extend this video on evaluation of the model along with metrics with explanation?

  • @VLM234
    @VLM234 6 หลายเดือนก่อน

    Great tutorial😊. Could you please make a similar video on QnA fine tuning?

  • @mohammadyahya78
    @mohammadyahya78 6 หลายเดือนก่อน

    fantastic

  • @ashwinkumar5223
    @ashwinkumar5223 6 หลายเดือนก่อน

    Share these steps sir Thank you

  • @Teetanthegamer
    @Teetanthegamer 6 หลายเดือนก่อน

    Awesome content professor. Could you please order the videos chornologically in the playlist with the first video of the course on the top and the last video of the course at bottom. Same for all the other playlists

    • @DrNirajRKumar
      @DrNirajRKumar 6 หลายเดือนก่อน

      Thanks @Teetanthegamer, I, tried to ordered through - website: www.nirajai.com/home/llm

    • @Teetanthegamer
      @Teetanthegamer 6 หลายเดือนก่อน

      @@DrNirajRKumar Can you please do it on youtube as well ?

  • @Trazynn
    @Trazynn 6 หลายเดือนก่อน

    Insanely useful

  • @AjayCoding
    @AjayCoding 6 หลายเดือนก่อน

    Helpful

  • @souravkundu1735
    @souravkundu1735 6 หลายเดือนก่อน

    thank you very much sir... very much enjoyed

  • @tranngoctuan4197
    @tranngoctuan4197 7 หลายเดือนก่อน

    Thank you very much.

  • @23_kinanimaulidia10
    @23_kinanimaulidia10 11 หลายเดือนก่อน

    Please make a coding with python

  • @kmrudula777
    @kmrudula777 11 หลายเดือนก่อน

    Thank you sir for your effort. 🙏🙏 Clear explanation

  • @ravindarmadishetty736
    @ravindarmadishetty736 ปีที่แล้ว

    Good explanation

  • @shob_xyz
    @shob_xyz ปีที่แล้ว

    Sir, thank you for all your efforts. Your videos are very good and useful to understand difficult concepts.

  • @అరుణాచలశివ3003
    @అరుణాచలశివ3003 ปีที่แล้ว

    good explanation

  • @marialuisaargaezsalcido4957
    @marialuisaargaezsalcido4957 ปีที่แล้ว

    Amazing! thank you. Do you know if is there any possible way to put subtitles, because the video is not making the subtitles. Thank you

    • @DrNirajRKumar
      @DrNirajRKumar ปีที่แล้ว

      Thanks. I am trying to solve the subtitle related issue.

  • @pemayangzom1709
    @pemayangzom1709 ปีที่แล้ว

    thank you so much. I was so confused but now got a clear idea

  • @priyankaramathota5437
    @priyankaramathota5437 ปีที่แล้ว

    Thank you sir

  • @atanuchowdhury6582
    @atanuchowdhury6582 ปีที่แล้ว

    very detailed explaination

  • @prafulhambarde8337
    @prafulhambarde8337 ปีที่แล้ว

    Awesome tutorial

  • @ofekmagrafta5994
    @ofekmagrafta5994 ปีที่แล้ว

    Thanks man this helped out👊

  • @ameyagurjar2576
    @ameyagurjar2576 ปีที่แล้ว

    this video is gold

  • @teetanrobotics5363
    @teetanrobotics5363 ปีที่แล้ว

    Could you please reverse the playlist ? it is very difficult to autoplay.

    • @DrNirajRKumar
      @DrNirajRKumar ปีที่แล้ว

      Please go through the following links for - listing of all topics in highly organized way: 1. Deep Learning: www.nirajai.com/home/deep-learning 2. Advanced Deep Learning: www.nirajai.com/home/advanced-deep-learning 3. Deep Learning for Graph: www.nirajai.com/home/deep-learning-for-graph 4. Quantum Deep learning: www.nirajai.com/home/quantum-deep-learning 5. Machine Learning: www.nirajai.com/home/machine-learning

  • @rimjhim5703
    @rimjhim5703 ปีที่แล้ว

    Your way of speaking is professional and just like IIT professors.

  • @ShaonliPalMMA
    @ShaonliPalMMA ปีที่แล้ว

    Thank you Sir!

  • @mohammadyahya78
    @mohammadyahya78 ปีที่แล้ว

    Thank you Doctor. The video I have been waiting for long time.

  • @Krishna16789
    @Krishna16789 ปีที่แล้ว

    Very nice presentation, informative. Thanks. . Can you explain what limits the reversibility in electrical and optical systems?

    • @DrNirajRKumar
      @DrNirajRKumar ปีที่แล้ว

      Noted Thanks

    • @Krishna16789
      @Krishna16789 ปีที่แล้ว

      @@DrNirajRKumar Can u pls tel what limits the reversibility

    • @DrNirajRKumar
      @DrNirajRKumar ปีที่แล้ว

      ​@@Krishna16789 I think.. this person has explained things in a very simple way. Due to time constraints, I may not be able to go into more depth on this topic. But, in the future, I will try to compile this topic with appropriate depth. - www.linkedin.com/pulse/computational-reversibility-quantum-computing-sa%C5%A1a-savi%C4%87 Other resources: 1. arxiv.org/pdf/2301.09679.pdf 2. www.nature.com/articles/s41567-022-01873-9 3. arxiv.org/pdf/2301.06838.pdf and so many deals with the limitation and reversibility of entanglement and other quantum components (useful for quantum computation)

  • @karanaggarwal4211
    @karanaggarwal4211 ปีที่แล้ว

    While calculating revised probability some people add learning rate*weight to previous log Odds, is it correct. Do we add to residuals or log odds

  • @jamilaakhter560
    @jamilaakhter560 2 ปีที่แล้ว

    Please can you share python code

  • @seewhatisee15
    @seewhatisee15 2 ปีที่แล้ว

    can we impliment HAN on sentence classifications ?

  • @supriyamishra39
    @supriyamishra39 2 ปีที่แล้ว

    Nice explanation! I was looking for such an explanation of this papers. Thank you!

  • @bonadio60
    @bonadio60 2 ปีที่แล้ว

    Great explanation! Thanks

  • @bonadio60
    @bonadio60 2 ปีที่แล้ว

    Fantastic explanation!! Thanks so much. Unbelievable you got so few likes for the best self-attention explanation on the internet.

  • @bonadio60
    @bonadio60 2 ปีที่แล้ว

    Very good explanation, thanks

  • @arvindmewada7355
    @arvindmewada7355 2 ปีที่แล้ว

    Very good sir but please try to take example of dataset

  • @vairachilaisnenbagavel8157
    @vairachilaisnenbagavel8157 2 ปีที่แล้ว

    Good

  • @azereldukali941
    @azereldukali941 2 ปีที่แล้ว

    Thank you for such a nice video, But there's something not yet clear to me, when you have an imbalanced dataset, which is better macro or micro f1-score?

  • @anujpatel6438
    @anujpatel6438 2 ปีที่แล้ว

    Nice work sir

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made videos on vgg16 and 19 ,resnet, inception architectures plz 🙏 sir

  • @AbhisekDutta94
    @AbhisekDutta94 2 ปีที่แล้ว

    During inferencing (predicting for new test data points), can we use parallelization to get the output from each individually constructed tree?

    • @DrNirajRKumar
      @DrNirajRKumar 2 ปีที่แล้ว

      Generally, boosting is known for sequential learning.. but during the prediction process, even during the training process, you can achieve parallelization. For example: 1. ieeexplore.ieee.org/document/8890990 2. scikit-learn.org/stable/modules/ensemble.html So - many other references are available..

  • @guptagaurav916
    @guptagaurav916 2 ปีที่แล้ว

    Great explanation sir!

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made detailed videos on vgg16 and 19 ,resnet & inception architecture plz 🙏 sir

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made detailed videos on vgg16 and 19 ,resnet & inception architecture plz 🙏 sir

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made detailed videos on vgg16 and 19 ,resnet & inception architecture plz 🙏 sir

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made detailed videos on vgg16 and 19 ,resnet & inception architecture plz 🙏 sir

  • @piyushpathak7311
    @piyushpathak7311 2 ปีที่แล้ว

    Sir plz made detailed videos on vgg16 and 19 ,resnet & inception architecture plz 🙏 sir

    • @DrNirajRKumar
      @DrNirajRKumar 2 ปีที่แล้ว

      Thanks, I will try ..but too much busy these days.. hope will start posting videos soon. Thanks Again.

  • @limike1489
    @limike1489 2 ปีที่แล้ว

    Excellent explanation!

  • @rimjhim5703
    @rimjhim5703 2 ปีที่แล้ว

    Nice one sir

  • @malik_msn
    @malik_msn 3 ปีที่แล้ว

    Can i get these slides sir