台大資訊 深度學習之應用 | ADL TA Recitation: LLM Basics & Architecture 大型語言模型基礎與架構

2023/11/09 Applied Deep Learning
Lectured by Yen-Ting Lin 林彥廷 @ NTU CSIE

[@infinirc]

教授好：我是資工系大一的學生，近期在GitHub上看到您們的Taiwan LLaMa項目很感興趣，使用體驗相當好，在暑假時我有用一些資料及去fine tuning LLaMa模型，但效果不是很好，我用家中自建的NVIDIA T4(顯存太小)與線上的Colab A100 GPU一直被中斷，想請問教授如果方便有推薦的GPU或是雲端嗎，AWS跟GCP價格好高而且資料中心幾乎都滿了，目前再試RunPod與RTX A4500。
謝謝教授

[@droidcrackye5238]

Colab中断这个问题直接谷歌可以解决，因为colab每隔一段时间页面会检测用户是否在操作，假如没有会自动中断

[@user-kz3mt9hm1d]

可以考慮llama factory 做微調，實測rtx titan (24 GB) 可以微調到13B 模型