Hướng dẫn triển khai trang web AI cá nhân

Tài liệu:
Docker: www.docker.com/
Open Web UI: docs.openwebui...
Ollama: ollama.com/
Open Router: openrouter.ai/
Cài đặt:
Ollama: host.docker.int...
Open Router: openrouter.ai/...
Lệnh docker
Open web ui
docker run -d -p 3003:8080 --gpus all -e WHISPER_MODEL=medium -e TZ=Asia/Ho_Chi_Minh -v open-webui:/app/backend/data --name open-webui --restart unless-stopped ghcr.io/open-webui/open-webui:cuda
-Ollama
docker run -d --restart unless-stopped --gpus=all -e OLLAMA_KEEP_ALIVE=1800 -e OLLAMA_MAX_LOADED_MODELS=3 -e OLLAMA_FLASH_ATTENTION=true -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:0.2.0

[@huyvo9105]

Anh có thể giải thích về open router đc ko ạ, tại sao lại cần ollama về máy mình nữa trong khi có thể chạy trên server người ta cho đỡ tốn chi phí hardware ạ

[@lamkhatinh8344]

Cả hai đều có ưu và nhược điểm:
1. Ollama có thể nói bảo mật hơn khi nó chạy trên máy của mình mà không qua server trung gian.
2. Ollama có thể chạy với các mô hình mình tự huấn luyện, nên tính tùy biến cao hơn.
Bù lại những điểm trên thì ollama tốn chi phí đầu tư phần cứng.

[@huyvo9105]

Em cám ơn anh ạ

[@ThanhQuangNguyễn-r5s]

Mình có thể phát triển nền tảng web AI Cá Nhân này để kiếm tiền đc ko bạn. Chẳng hạn như có phép nhiều người dùng tạo tài khoản và thu phí

[@aimakehappy]

nếu để tạo đơn giản chỉ để hỏi đáp thì không kiếm được vì giờ quá nhiều chatbot hỗ trợ miễn phí r, phải tích hợp đủ "all in one" như prompt, tạo ảnh..v..v thì may ra còn thu phí được.

[@lamkhatinh8344]

Phần cứng yêu cầu cũng khá cao đó anh, tuy nhiên tính năng không giới hạn vì mình code được :D