Hướng dẫn chạy AI LLM miễn phí, offline trên PC, cả Windows / Mac đều dùng tốt
ฝัง
- เผยแพร่เมื่อ 11 ก.ย. 2024
- Đây là cách mà cách bạn có thể dùng LM Studio, một ứng dụng cho phép chạy nhiều model AI dạng LLM (mô hình ngôn ngữ lớn) trên máy tính cá nhân, cụ thể là laptop và desktop của mình. Nó hỗ trợ tăng tốc bằng GPU nên dùng cực ngon, và cả Windows, macOS hay Linux đều có thể dùng. Đa số các model nổi tiếng hiện nay như Llama2, CodeLlama, Mistral, Vistral, Phi-2... đều được support.
Tải về LM Studio tại đây: lmstudio.ai/
Tải app LightSum: tóm tắt thông tin công nghệ lightsum.app
Tham gia membership TH-cam để ủng hộ mình: / @duyluandethuong
Anh em có thể theo dõi mình tại:
- Facebook: / duyluandethuong
- TikTok: / duyluandethuong
Tham gia group Cùng chơi Công nghệ để hỏi đáp, chia sẻ kinh nghiệm về công nghệ, smarthome, điện gia dụng:
- Facebook: / cungchoicongnghe
Mấy món đồ mình đang dùng có thể mua tại duyluandethuon.... Anh em mua ủng hộ cho mình có tiền mua Porsche Taycan về review cho anh em xem nha :))
Nhìn quả bàn làm việc với 4 con laptop xịn đã vãi. Ước j đc như anh ấy
Cám ơn anh về những kiến thức mà anh chia sẻ trong video, có một lưu ý là LLM Studio chỉ hỗ trợ cho dòng M1 trở về sau, hơi buồn xíu vì em đang dùng MBP 2019
Em cảm ơn anh Luân đã chia sẽ, anh có thể ra tương tự phát triển chạy thử model trên điện thoại được ko ạ? Em thấy điện thoại bây h cũng có nhân NPU khá thích hợp để làm project nhỏ ạ 🎉
Maấy cái trên điện thoại thì nhiều app đã làm từ lâu rồi bạn hehe
@@duyluandethuong hôm nào bạn làm video hướng dẫn xây dựng server từ LMStudio này và 1 client nhỏ kết nối với LM Studio server này được không :D
@@minhthanhnguyen3268 này bạn xài VS code plugin như Continue gắn vô là xong rồi á, không cần làm gì phức tạp đâu
CẢM ƠN Duy Luân
So về chất lượng/dung lượng thì Q5_K_M đạt chất lượng tốt hơn hẳn các model kia
ăn cấu hinhf cao ko ạ?
quá tiện anh ơi anh cảm ơn anh chia sẽ những công nghệ hữu dụng cho việc học và đi làm của dev newbe như em 🥰🥰🥰🥰🥰🥰
Cảm ơn bạn, tuy nhiên khi mình cái LMStudio trên windows 10 , khi bấm load model thì báo lỗi Failed to load the model Attempt to pull a snapshot of system resources failed. Error: 'Cannot read properties of undefined (reading 'pullReport')' . Bạn có kinh nghiệm hỗ trợ với.
A Luân edit với quay màn hình bằng phần mềm gì v, hay quá
Ủa anh có phần mềm ai nào dùng máy mình để tạo ảnh không ạ
nếu muốn chuyển văn bản thành ảnh thì tìm kiếm 1 con model có khả năng đó đúng không anh , nếu anh biết có con nào có khả năng đó thì chỉ em với ạ
a Luân cho e hỏi có model nào có thể upload file lên để đọc và phân tích không a
Chatgpt plus nha bạn
Có cách nào tải model AI về sau đó chuyển toàn bộ vào máy offline sau đó dạy dữ liệu cho model đó không bạn. vì mình cần tính bảo mật.
còn này mà chạy dạng server xong mình kết nối app riêng thì tuyệt
Xin hỏi dung lượjng VRAM trên RTX có tương ứng với số lượng tham số mà model có thể chạy hay không ? Ví dụ 8 Gb VRAM tương ứng với 7B, 16Gb VRAM tương ứng với 13B, 128 Gb VRAM tương ứng với 128 B tỷ tham số của model ? Xin cám ơn
Xin hỏi model LLM nào chuyên phân tích số liệu trên báo cáo tài chính của các công ty trên thị trường chứng khoán? Xin cảm ơn
Cám ơn anh đã giới thiệu
LM Studio không support Mac chip Intel. A có gợi ý phần mềm nào tương tự k a?
Cho mình hỏi làm sao để Model AI này chỉ dùng dữ liệu nội bộ của công ty vậy bạn. Mình cám ơn
Luân cho mình hỏi card 1080ti vs 4g vram dùng được modem nào tốt để viết tiểu thuyết vậy ak
Xin hỏi laptop chạy model AI thì card RTX 4090 hay card RTX™ 5000 Ada Generation Laptop GPU 16GB GDDR6 card nào tốt hơn ? Xin cám ơn.
anh Luân giới thiệu cho model để phân tích dữ liệu kế toán
quá tuyệt vời anh ơi
Có model nào dùng để vẽ hình giống Chat GPT không ạ?
Anh cho em hỏi em muốn tạo AI giúp học tiếng hàn thì nên cài sao ạ. Em cảm ơn
Chạy kiểu này có bị giới hạn số lượng từ như chatGPT hoặc Google Gemi không anh ?
Em tải về mà k thể cài đặt bấm vào vài cđặt thì nó chạy vô trình soạn ln ạ
Nếu có internet thì dữ liệu được trao đổi theo client, server. Còn nếu chạy offline (không có internet) thì nó lấy dữ liệu ở đâu vậy anh Luân, em chưa hình dung ra được nó nén dữ liệu kiểu gì mà có thể chạy ở local 😨
nó chỉ đơn giản là serve cái model đó ra cho giao diện sử dụng thui bạn, cũng y như client, server. Server thực chất nó cũng server model đó ra dạng API để web xài
MacBook Pro 16 inch M3 Max 128GB RAM có chạy được model có độ lớn gần bằng 128GB RAM không bạn ? Xin cám ơn.
Anh Duy ơi làm sao để em sử dụng điện thoại android có thể xuất màn lên máy mac ạ mong anh trl
Cảm ơn Duy Luân và Video chia sẻ của bạn. Cho mình hỏi thêm, có thể thêm bổ xung thêm thông tin Private cho Model đang sử dụng ko ?
Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ
Bạn ơi, Model giúp viết tiểu thuyết là gì ạ?
Chào anh Luân! Laptop của mình nó bị gì mà hay bị mất hình ảnh mình cài vô để làm lịch và hay bị treo máy
Dạ a Duy Luân ơi cho em hỏi , e đang xài Pro M2 13" thì có tải model Vistral giống anh để xài thì họ yêu cầu MacOS 13.6 or later thì phải update MacOS lên mới sử dụng được ạ?. Với cho em hỏi có thông tin nào để research các model để sử dụng trong LM Studio không. Em cảm ơn anh ạ
Vụ macos thì cứ phải theo thôi, còn model thì nó có tên và model nền nếu có nên bạn cần thì search thêm về nó nha
@@duyluandethuong Vâng e cảm ơn thông tin của a ạ
Mình cũng bị, mình ở Macos monterey 12.6, vừa nâng cấp lên 14.3 xong. Tính giữ zin os máy mà giờ phải phá zin thôi kkk
apple intel không xài được hả Luân ơi
mình đang xài M2 pro 12CPU-19GPU 32GB ram, số lượng tokens gen ra /s gần 15tokens, mình có thể tối ưu tốc độ hơn được không ạ? mình cảm ơn
sao em cài LM Studio báo lỗi javascript a có hướng giải quyết không anh.
Mọi ngừoi ai giúp e dới ạ, Em tải model vistral xong bấm qua chat thì nó hiện chưa tải model về :(((. E xài macbook M1
Luân cho hỏi xíu là có cần phải xài card ndivia không? Hay card amd cũng chạy được?
Amd cũng được bạn, mà amd đang beta
Vì sao tiện lợi vậy mà nó miễn phí nhỉ ? Cảm thấy hơi vô lí
Mac air m2 dùng đc ko b
A Luân cho e hỏi. Có thể setting như API để app call không. Hay chỉ type trên app LM studio thôi a
Được nha bạn, nó cần phần chạy local server luôn
Chào anh Duy, anh có cách nào tuỳ biến một con AI học tập bằng cách up cho AI nó các câu hỏi và đáp án trong file PDF. Rất mong anh giải đáp khắc mắc của em, em đang muốn một con AI tối ưu quá việc học tập cho riêng em 😢😅
Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha
@@duyluandethuong nếu mình dùng local trên như video thì sao a ? Fine-tune lại hả a ?
@@duyluandethuong cảm ơn anh Duy nha
@@huytran2213 ollama hình như có á bác
Có bạn nào dùng m1 pro mở phần mềm lên nó báo ram là NAN undefined không
Em cảm ơn anh. Cho em hỏi có vẻ ngu là 7b với 34b hay 70b thì nó có khác biệt về kết quả không anh, có nếu có thì nó khác biệt lớn không hay chỉ là chút ít thôi, em tải thử con code llama 34b mà nó chạy đứng máy luôn
khác nhiều đó bạn :D nhưng tùy theo mức độ bạn cần mà bạn dùng thôi, chứ máy cá nhân thì hiện nay khó có con nào chạy được 34B lắm. MacBook Pro M3 Max của mình, RAM 128GB, dùng hết 60GB để chạy bản Llama 70B có quantization rồi :))
anh ơi, mình tự lựa dữ liệu, tự train model của riêng mình, anh nghĩ nó có khả thi không ạ 😗 em đang tính train để viết bài tối ưu SEO
Bạn phải tự fine tune model, rồi chuyển nó thành dạng GGUF thì sẽ dùng được nha. Fine tune thì phải làm riêng, trong phần mềm này không hỗ trợ
mình muốn tìm một AI để đọc thuyết minh và một IA để vẽ tranh thì làm như thế nào? IA bạn giới thiệu chỉ trả về kết quả text thôi!
Phần đó không nằm trong phạm vi của video này rồi. Cái đó bạn search trên google thêm nhe
có cái nào vẽ được ko ạ
muốn con ai đọc tài liệu mình đưa vào và hỏi nó trả lời bằng những nội dung trong tài liệu và nó trả lời mình dùng model nào anh . mong anh reply
Chạy local thì mình chưa thấy, còn online thì Dùng GPT Plus, bạn tự tạo Custom GPT, rồi upload các file PDF lên để hỏi nó là được nha
Sao e cài model codellama giống a mà nó trả lời tiếng anh không mặc dù e input tiếng việt. Giúp e với !
Naày mình cũng không rõ
Các model như CodeLlama nặng không anh cỡ bao nhiêu GB vậy?
nó có nhiều mức Quantize, tầm 3-4GB thôi bạn
Tính xài mà nghĩ lại mình chẳng có gì cần private thì thôi xài Bard hay GPT cho rồi
Em có gpu mà vga là mx130 nó chỉ có 2g ram làm cách nào để chạy dc gpu ạ
không chạy được đâu bạn :D
có con AI nào mình tự train nó ko a. như kiểu trong công ty mình train nó thành chatbot ý. ví dụ train nó cần file gì thông tin gì của công ty ở đâu nó sẽ trả về kết quả.
Có, nhưng bạn phải code :D chứ nó không có sẵn
@@duyluandethuong có 1 con y như yêu cầu của bạn phía trên á anh, con này tuy không phổ biến nhưng lại là hàng khủng từ IBM, tên nó là IBM watson assistant nha
em xài con Asus vivobook i7 gen 13 đuôi H nhưng card onboard và chỉ có 16gb ram thì có dùng ổn ko ạ?
vẫn được bạn, chạy mấy model nhỏ nhỏ chắc ok
Là nó có lấy thông tin mới nhất trên mạng về trả lời không ta
không co nha ban
fine turn cho toàn bộ data từ document nào đó đc ko anh?
nếu tìm thông tin trong document thì dùng RAG chứ đừng fine tune nha
Có con nào thông minh ngang chatgpt 3.5 k ad ơi
Không bạn ơi, có thì cũng không chạy nổi tteen máy cá nhân nhe
mac intel lại k dùng đc
Hay
App này chắc phải máy mạnh chứ m cài trên MBA M1, chạy lag quá hicc
E đang phân vân ko biết nên chọn màn hình PC 24in 2k 60hz hay Full Hd 144hz, nhờ a tư vấn giúp e ạ
24' thì mình thấy FHD xài đủ r bạn+xài hz cao cho mượt
4K 60Hz đi bạn, còn bí quá thì 2K ok, Full-HD vỡ tùm lum xấu lắm
@@duyluandethuong Dạ 4k e thử tìm thì hầu như chỉ có màn 27in, mà e sếp chỉ cho mua đc màn 24in ạ
@@duyluandethuong E đang nhắm màn Dell P2423DE
Nếu đang phân vân chọn độ phân giải hay tần số quét cao thay vào đó chọn 1 con màn sở hữu cả 2 ưu điểm kể trên chẳng hạn như AOC Q24g2 24 inch 2k 165hz khỏi phải đắn đo
Có model nào hỗ trợ generate image không nhỉ
Stable Diffusion nha baạn, nhưng trong LM Studio hình như chưa hỗ trợ đâu
đổi model's location sao anh , em dùng ssd rời chứ máy sắp hết dung lượng rồi
mình không rõ, hình như không được
@@duyluandethuong em làm được rồi a , bing nó bảo ko đc mà mk đổi location được
Chạy mấy AI Model này lâu ngày sẽ bị ăn RAM. Nên mình vẫn dùng Cloud Public service
ăn RAM thì nó ăn lúc bạn dùng chứ đâu phải lúc nào cũng ăn đâu nên đâu có gì lo
@@duyluandethuong bạn mình cho biết sau 1 thời gian chạy các AI Models thì RAM bị chiếm dụng khá nhiều, máy tính lag hay chậm hẳn
máy em có thêm phần n_gpu_layers nó là gì vậy anh
Nó có. Ghĩ là bạn chuyển bao nhiêu layer của model xuống GPU, nếu chuyển xuống GPU hết để chạy toàn bộ bằng GPU thì bạn nhập -1 nha
Mac pro m2 2022 16/512 chạy vistral bị tràn ram liên tục a ơi :v
bạn chọn quantize nhỏ nhỏ một chút là sẽ ổn nha, mình đang xài con MacBook AIr M2 RAM 16GB vẫn ngon
@@duyluandethuongEm nghĩ cái này chỉ là làm cho vui thôi anh nhỉ? Tại suy đi tính lại thì bard hay chatgpt sử dụng vẫn ok hơn, cả về cấu hình máy tính lẫn thông tin
Nó vẫn chưa tối ưu cho NPU hả anh?
Chưa bạn, giờ số máy có NPU ít xỉn :))
Con chip M2 ra từ năm 2022 mà vẫn chạy LM Studios ngon hơn Core Ultra ra mắt 2024 với tiền tấn đổ vào truyền thông.
Khi nào M2 chạy được Windows native thì tính tiếp 😂
M1 còn hơn mà :D
M1 max 32gb ram chạy ổn áp ko a?
chạy bét tè lè nhè :v e m2 cùi bắp còn chạy được huống gì :(
32GB RAM dư sức nha bạn
phần mềm thì miễn phí thế còn những model thì có cái nào trả phí ko anh :)))
Hầu hết trên huggingface thì không, đều free cả
Model thì thường free, open source cả
mình không download được bất kì model nào nó báo failed là vì sao vậy
bạn kiểm tra lại đường truyền internet coi sao
❤
ko cần vậy đâu chỉ cần lệnh CMD
rồi CMD với GUI thì cái nào dễ hơn bạn :D
@@duyluandethuong coi YT mấy ông làm Ai bên Đại học bên Mỹ làm Ai
Nhớ fake địa chỉ mới coi đc!
có cái nàoccho dịch văn bản không nhi
bạn yêu cầu nó dịch thì nó sẽ dịch thôi.
Lắm máy tính thế để làm gì?
???
em thấy koboldccp dễ dùng hơn
Nhiìn qua giao diện thì mình thấy không dễ hơn :))
Ông này kiếm tiền làm TH-cam =))
v~ chưởng k support mac intel :')
ollama đi bác :v