DESCOMPLICANDO OLLAMA - Utilizando Modelos de IA no Docker e K8s! grátis
ฝัง
- เผยแพร่เมื่อ 25 ก.ย. 2024
- Hoje é dia de entender como ter um chatgpt pra chamar de seu!
Tutorial passo a passo: www.linuxtips....
Parte-2: • COMO USAR OS MODELOS D...
Vamos conhecer o que são os modelos de IA, Ollama, llama2, gemma e muito mais!
Vamos bater a meta de 2 mil likes nesse vídeo e liberar a parte dois!
Site Ollama: ollama.com/
Compartilhe com todos!
#LINUXtips #LLM #OLLAMA
Tutorial passo a passo: www.linuxtips.io/blog/descomplicando-ollama-parte-1
É possivel instalar em uma vps por exemplo? Não consegui até então, uso a hetzner e quando dou o comando do install.sh ele dá bad request, mas se dou o mesmo comando pelo wsl que montei no windows dá certo, o que poderia ser?
O Jefferson pediu 2.000 LIKES nesse vídeo.
Eu peço 4.000 LIKES pq esse vídeo merece.
Aqui é Taboão da Serra, Jardim Record!
Logo mais todos os criadores brasileiros falando do Ollama, mas tu é sempre o primeiro meu chefe
Hahahahaa
PELO AMOR DE DEUS, façam mais videos desses!!!!!!!!
Cara sensacional. Eu não sei nada sobre os modelos de I.A. mas o vídeo ficou claro o suficiente para um entendimento básico do funcionamento e de como fazer o deploy do 'próprio chat GPT'.
Top demais camarada! S
emana passada passei muito rapidamente sobre o ollama em uma das aulas na Pós de IA q estou fazendo, mais um video a ser preparado aqui para o canal! top como sempre Jeff! Abs! Cláudio Vaz.
Cara você é lendário, meus parabéns pelo vídeo !
O LLM LlaVa é muito bom e inclusive ele é multimodal, você consegue pedir para ele descrever imagens e a qualidade é semelhante ao gpt 4 vision, usei esses dias para fazer um custom node no comfyui para descrever imagens de entrada usando tags e etc, ollama é execelente.
na minha concepção ele alucina bastante, qual versão do llava vc usou ?
@@fullcrum2089 uma versão que pra mim é boa é a llava:13b-v1.6
Saudade dos conteúdos nesse formato... #VAII
Insano! Isso é pra elevar o nível mesmo. 🤝
Aguardando parte 2 !!! Conteúdo incrível, vai facilitar muito o acesso a IA
Conteúdo brabo como sempre!!
Ficou massa! Excelente para projetos internos em empresas
Vi agora e acabai de passar para meu time. Sensacional! Valeu demais, Jeferson!
Sensacional
De longe um dos melhores vídeos que eu já vi sobre rodar llm local! Thanks brow ✌
❤️❤️❤️❤️❤️
cara obrigado pela sua boa vontade em explicar eu aprendi muuuuita coisa no seu canal, kubernetes docker já maratonei vários vídeos seus muito conteúdo bacana e quem ta na área sabe o quanto eh valioso, esse tutorial da IA local usando ollama ficou show de bola, infelizmente e muito pesado e o pc da xuxa fica lentasso, mas roda.
Eu que agradeço
Show demais essa revolução da IA
que video maravilhoso, meu chatgpt expirou essa semana, nem vou renovar kkkkk obrigadão pelo contéudo.
Eita, sensacional demais!
Vídeo show demais! Parabéns.
Fala Jef o tutorial está errado no "ollama run llama-2" é "ollama run llama2"
O mesmo problema no comando pra rodar o modelo o correto é "ollama run codellama".
No mais parabéns pelo conteúdo, como sempre inovando!
Que ferramente incrível! Muito bom o vídeo!
simplesmente sensacional
Muito show, como sempre. =D
Jefão é brabo mesmo. Referência em novas tecnologias e ferramentas
Muito da hora!!! ❤
Foda demais
Bora Galera, 5000 likes pra esse vídeo sensacional!!
Caramba, isso aí é quente. Parabéns por trazer esse conteúdo pra gente.
Vídeo muito top já estava testando coisas como Gpt4All porem gostei muito do Ollama por ter o funcionamento parecido com o Docker que já estou acostumado. Esperando o próximo vídeo rodando tudo isso com Kubernets.
Sensacional!!
Muito fodaa!!! parabéns
Conteúdo sensacional!
MANO MUITO BRABOOO!! PARABENS DEMAIS!
Show.
LinuxTips sempre a frente!
Conteúdo de qualidade!!!
Obrigada por compartilhar
É importante dizer que o ollama usa os modelos no formato gguf o que diminui a precisão dos models.
Muito fo.............a
Top
Muito bom mesmo
Excepcional
@LinuxTips , como sempre otima aula. Uma duvida existe uma maneira do modelo aprender e salvar o aprendizado? Hj toda ve que reseto o servidor tenho que enviar o contexto.
Abraço, muito obrigado.
👏
Muito brabo esse conteudo mano, VAIIIIIIII!!!!
Sensacional
OLOCOOO AE SIM
Video top!!!
Tutorial excelente!! Parabéns, mas eu gostaria de um help! Como posso liberar a GPU para agilizar o processo de resposta da IA, Tenho um processador I5 3 geração, ele está pedindo misericórdia.😥
Sensacional como sempre
Obrigado sempre
Bom dia. Ganhou um seguidor hj. Acha que roda bem na minha voa de 8gb RAM. Ubuntu 20.04. Utilizo para os meus bots.
caraca. incrivel, so conteudo top aqui no canal, uma duvida, o ollama e gratuito pra uso comercial?
Pode usar sim
Aí sim eu vi vantagem
Muito bom
Tem como fazer ele ler arquivos locais para aprender com teus arquivos?
Sensacional ❤️
Adorei
OLLAMA2 é top demais! Tenha algum relacionado a geração de texto pra audio?
Topzeira demais!
show
Só para ter uma ideia, qual é a sua máquina?
10/10 !
em comparação com o gepeto e gemini, qual seria a vantagem do ollama?
Ele é o cara pra rodar esses dois. Nao tem como comparar, pois ele é o executador dos modelos como o gemini
Muito obrigado por compartilhar.. Dúvida, como que eu pego um modelo desse e "treino" ele com os dados do meu negócio? Seria : ollama+ banco vetorial + langchain?
Voce tem que treina-lo com os dados que deseja. :)
Comenta o Hardware por favor. processador, memória e GPU usada.
A minha maquina tem 64gb de ram e um processador com 32 nucleos da Ryzen. :)
Mas durante os testes nao passou de 20gb de ram e nem metade do consumo de hw. Ahhh e tenho uma nvidia de uns 5 anos atras
Ollama ele é a mesma coisa que o LMStudio? a unica diferença é que o LMStudio fornece a interface bonitinha igual o chatgpt, já o OLLAMA oferece apenas a interface de prompt?
Ele te da um prompt, api e a possibilidade de conectar uma interface como o chatgpt. Ele é o docker dos modelos de IA
Tem namorada gatinho?? Me apaixonei 😍😍
Piada manooo kkkkkkkkkk gostei muito do vídeo obrigado
Chamou na cervejinha e lembrei que a minha esta no congelador!
como eu instalo a interface dele sem o docker diretamente na vm? e seria possivel acessa-lo de outro host?
brabo!
Sera que é possivel um modelo que tenha a geração de imagens e ou audio, para facilitar a utilização em coisas mais amplas
Sim sim
Chama de Eliana que ta tudo certo e fica mais fácil 😂
Legal meu caro! Mas estou com um grande problema! Ninguém fala em nenhum tutorial sobre rodar com GPU. Consegui rodar tudo mas ele só puxa o meu processador!
Os drivers da GPU estão instalados? É docker? Pc local?
@@viniciusdebruin5577 Drivers instalados, inclusive o driver cuda toolkit
não vejo a hora de sair a versão docker, quero pegar um pc que está parado aqui e montar um servidor desse, só uma dúvida. ais informações da IA fica atualizadas ele busca na internet ou é feito o chat gpt que é informações até uma data?
já tem video novo! :D
Excelente, sabe dizer se ele possui API como o GPT e o Gemini?
Sim sim!
Infelizmente não consegui fazer trocar no meu not, se alguém souber de algo mais leve...
rapá, me fala a config desse "servidor" ai que vc tá usando? hgauhauhau
Grande vídeo. Uma dúvida: posso dizer que Ollama LangChain são concorrentes?
Acho que se completam, de certa forma.
langchain é um framework para criar agentes e integrar llms com apis, dessa forma a llm é capaz de interagir com essas apis, fazendo buscas ou salvando informações, o ollama é um projeto que lhe permite fazer inferencia das llms, que seria rodar eles, inclusive o ollama sobe uma API no formato da api da openai, o que lhe permite integrar em seus projetos, usando o langchain por exemplo.
INfelizmente para mim a parte da imagem roda tranquilo mas da imagem da openwebui não roda, tinha outras portas usadas e rodei e deu alguma bosta, mesmo apagando o container, as imagens e discos, e rodando com outras portas não roda. e internamente o .sh percebe-se que ele chama pela 8080.
O criador do ollama trabalhou previamente no docker.
eu to ligado! :)
Achei sensacional demais!
Fala LinuxTips!
Qual o tamanho do prompt que eles aceitam?
Curto como o Copilot ou grande como GPT 4.0?
Longos! Vc consegue definir! :)
Que maquiina é essa irmão?!
Caralho que doideira, a mao que treme chega a tremer...
Qual é a sua CPU e sua Placa de vídeo? A minha aqui leva uns 30s para responder uma palavra 😢😅😅
ve o outro video para rodar no kubernetes, acho que vai rodar mais fino. :)
Eu tento rodar no wsl2 usando arch linux mas ele simplesmente não detecta minha GPU, ele leva um século pra responder, parece que desenvolveram uma versão para rodar em CPU, vou testar em breve kkk
Até onde sei o ollama agora tem suporte para o windows.
tadinho do meu m1 travou todo kkkkk
Seu não tiver gpu como fica? Pq eu tenho um Xeon de 28 núcleos com 128gb de ram onde rodo Proxmox, subo meus serviços em containers do Proxmox, mas esses caras não têm gpu
bora testar!
@@LinuxTips rapaz, funcionou! Subi um contêiner Proxmox com 16 CPU e 16GB de RAM, dentro dele subi um container docker com o Ollama e outro com o WebUI.
A velocidade ficou ok e pela WebUI eu vi que tem várias opções interessantes, como subir documentos, criar seus próprios assistentes, resposta por voz do assistente e falar por voz no chat.
Será que dá pra integrar via api, tipo o que fazemos com o GPT da open ai?!
@@henrique-marti ele ficou em uma velocidade parecida com o gpt?
O meu parou de falar em português e não volta de jeito nenhum
Meu computador e um i5 12400f e uma gpu 970. So que eu nao sei se o processamento esta ocorrendo na GPU ou CPU. Ou se meu computador e fraco para isto. As respostas estao bem lentas
Para rodar de maneira satisfatória você precisa de uma GPU dedicada para realizar aceleração gráfica, o mínimo era 6gb de vram e o recomendado era 12 de vram na gpu, se eu não estiver enganado.
Assistindo em 4x
Não tem como assistir esse cara por mais de 2 segundos
Não tem como mesmo não. :)
Tem pessoas que não conseguem acompanhar mesmo, mas pra eles tem outros vídeos em outros canais que não precisa pensar. É beeeem mais fácil, vc consegue!
@@LinuxTips tem gente que tem alergia a pessoas felizes hahaha
Show muito bom 👉👊👈✌️✌️✌️
Obrigado ✌