Interessante o jeito que uso, é o LM studio, e é mais facil até, intuitivo, e quem está começando eu até recomendaria, programação 0, e tem como rodar um servidor externo, pra usar com outras aplicações se quiser usar com (Vs code e etc) e você junta com o Silly tavern, seriam esse ajustes finos e as configurações do modelo (fine tuning, intruções especificas) dá até pra mexer nas configurações de contexto, temperature, e outros valores, de novo, sem programação e bem intuitivo.
O que eu vi nas reviews é que o Ollama performa melhor, é código aberto, e no vídeo que eu integrei o Open WebUI no ollama, ele faz mais coisas que o LmStudio! Eu no geral evito programa que sobe interface gráfica
@@inteligenciamilgrau Sim é verdade o Lm não é o melhor em questão de performance nem é open source completo, mas em facilidade ele é o melhor que tem, nada de programação o famoso plug and play das LLM.
@@inteligenciamilgrau Eu passei muito tempo pensando como eu iria rodar uma llm no meu pc, mas o LM fez isso instantaneamente, eu baixei e literalmente minutos ou segundos eu já tinha uma llm rodando no meu pc.,,,
@@inteligenciamilgrau Mas isso tudo sobre mais funções são compensadas com o Silly tavern, porque lá que tem as configurações avançadas, basicamente o lm sozinho não brilha, mas com o SILLY TAVERN, se torna o combo perfeito pra rodar LLM.
Bom dia Bob, muito bom, gostei. Deixa eu aproveitar para fazer um pedido, você poderia dar alguns exemplos úteis do que fazer com essas IA's locais de 8B? Sei lá, criar uma aplicação simples, sem ser jogo da cobrinha, conversas hipotéticas, algo que relmente faça diferença? Por exemplo, estou no trabalho e tenho que mandar um e-mail no Windows, daí tem lá o Agente A que gera textos para e-mail, daí o Agente B que é responsável pelo sistema de envio, o Agente C pela validação, o Agente D por checar as respostas, etc. Tudo localmente e de graça. Não precisa ser algo muito complexo, um projetinho de automação qualquer só para trazer mais relevância para essas IA's básicas, mostrar a aplicação delas, porque da a impressão que o caminho é sempre ou pagar ou ter um PC parrudo para fazer algo útil com isso. E também gostaria de pedir por gentileza deixar eu responder nos meus comentários, porque quando mando mensagem respondendo algo para debater com alguém elas estão desaparecendo, não sei se é algum bug do youtube, se a resposta vai só para a pessoa ou se é moderação. Obrigado!
Faaaaala Felipe!! Sugestão anotada!! Pensa o seguinte, se vc já tem um caso que está tentando automatizar, vc precisar testar a sua automação e ver se o modelo atende! É algo que será validado por tarefa!! As "ferramentas" que a LLM usa não são modelos de IA, são aplicações normais! Então a qualidade do agente está na qualidade do modelo!! Eu tenho aplicações rodando em diversos modelos, desde "haiku" para geração de texto barato e outras com "sonnet 3.5" e "gpt4"... O caso "útil" varia com quem usa!! Esse exemplo que eu dou dos diálogos foi um caso que fiz para gerar meu Fine Tunning, ou seja, foi um caso real! Por isso que é mais importante vc testar por si e ver se nos teus casos de uso vão servir!! E no caso da moderação, são bem poucos comentários pegos pelos filtros, não tinha nenhum seu! Em geral quando quero garantir que o comentário foi eu verifico se apareceu!! É um ponto fraco do TH-cam esses comentários que somem!
@@inteligenciamilgrau Silly tavern é um front-end de aplicações em I.A llm, como o proprio chat gpt, no site, que tem o chat e historico de conversas, é texto basicamente.
@@inteligenciamilgrau Mas é focado em usar esse front end para personagens, como o characterAI mas bem melhor, por não ter restrições ou censura, tipo conversar com personagens de ficção ou criar seu próprio personagem
@@inteligenciamilgrau E tem sites onde as pessoas criam seus personagens, ou instrução pra jogos via texto, com i.a, Complexo demais, como uma automação mas pra entretenimento, basicamente, eu diria que é tão complexo quanto fazer uma automação.
@@inteligenciamilgrau Sobre o zelda, e llm, tem sim, tem como conectar o RPG maker, com api, do char gpt, e criar um jogo assim, facil até tem tutoriais no youtube, e tem sites onde tem jogos que já são assim como você quer, o que você teria que fazer é ter a API da sua llm, pra conectar o jogo, e assim rodar com a llm.
Pesquisei muito e não entendi muito bem essa compatibilidade da api da open ai com o ollama, achei que só funcionaria com api key e que dava acesso ao chat, mas essa api serve só pra autocomplete em cima do modelo local que estamos usando no ollama?
Faaala Felipe!! Pensa que o pessoa do Ollama olhou o código da OpenAI e fez o código dele funcionar no mesmo padrão! As bibliotecas das API são bem simples, elas essencialmente enviam uma mensagem para um servidor e aguardam a resposta, por isso é bem simples de adaptar!! Valeuuuuuuu
8B é bem mais forte que isso, os modelos ficam ruins quando a quantização é maior (para roleplay, para outras funções mais básicas são perfeitos também), eu uso modelos 8B para roleplay, e te falo com garantia, que são extremamente bons (tudo em inglês, obvio, já que não é multilíngue o 3.0, não sei se o 3.1 é)
Modelo 8B é fraco! Fica menos fraco quando é inglês! São prolixos e imprecisos! Dá para usar em RPG porque é um jogo, mas se for algo mais sério já é mais difícil!!
@@Hotboy-q7n Essa uma boa pergunta! Basicamente a LLM, ou a I.A, ela interpreta um personagem, por exemplo, "uma personagem, de anime heroina" e então a i.a responderia você como essa personagem, e você conversaria com ela assim, criando cenários, ou conversando apenas, como um RPG de texto, mas com possibilidades infinitas.
@@Hotboy-q7n O melhor que tem, vários "cards" que a comunidade cria que são instruções de personagens, pra I.A personificar, desde jogos de rpg, a personagens em geral, como personagens famosos, e a i.a interpreta esses personagens.
Pera.....crew A.I tem telemetria? 😒, ainda bem que não usarei mais, prefiro muito mais minhas automações com n8n e nodeRED em servidor SEM TELEMETRIA, do que ficar recorrendo aos meus dados pra terceiros.....(se eu realmente precisar da crew AI, eu desligo a telemetria, mas só o fato de ter, pra mim é RED flag)
Eu já tinha lido na documentação que tinha, mas aí decidi fazer o teste na prática para ver o que acontecia! rsrs QUando rodei o Ollama só fazendo chat, foi de boa! Na CrewAI deu erro!! Acho que no mínimo ele deveria logar e enviar os dados depois se é pra fazer uma boa telemetria!! Mas nem isso! rsrs Mas eu não concordo em boicotar porque ele fez telemetria! rsrs Acho bobagem, seu navegador, google, youtube, se bobear até n8n e nodered, todo mundo em algum momento vai pegar dados nossos! A diferença é que na crewai vc foi informado e tem a opção de desligar! rsrs Nos outros vc nem sabe e quando fica sabendo só aceita! Ainda mais se vc usa windows! rsrs Plugou na internet está sendo rastreado! E tudo que vc usa que é dos EUA, seus dados vão para o governo americano conforme o Mark Zuckerberg informou pra gente naquele comparecimento à corte! Nossos dados são do mundo! rsrs
@@inteligenciamilgrau Não, definitiva meu youtube, google e afins não tem, fiz questão de minimizar a telemetria para quase zero, em tudo que eu uso, servidor para aplicações, navegador com bloqueador de trackers e afins...... e algo tão vital quanto telemetria de automação é um não bem forte.
@@inteligenciamilgrau Uso linux depois daquela horrenda aplicação do windows, 11, e afins, o mínimo pra não dar dados pras big techs, simples assim, nada além do necessário.
![[Llama 3.1] Como instalar localmente a IA da Meta no seu computador? [Atualizado]](http://i.ytimg.com/vi/TetbKSzNhAg/mqdefault.jpg)
![[ ออกกอง ] วัยหนุ่ม 2544 โลกหลังลูกกรง..ทัวร์กองถ่ายหนังใน "คุกของจริง" | JUSTดูIT.](http://i.ytimg.com/vi/vB--aOkZCpw/mqdefault.jpg)
parabens não perde tempo.... agradeço pelo ensino
Eu que agradeço! Valeuuuuuuuuuuuuuuuuuu
Interessante o jeito que uso, é o LM studio, e é mais facil até, intuitivo, e quem está começando eu até recomendaria, programação 0, e tem como rodar um servidor externo, pra usar com outras aplicações se quiser usar com (Vs code e etc) e você junta com o Silly tavern, seriam esse ajustes finos e as configurações do modelo (fine tuning, intruções especificas) dá até pra mexer nas configurações de contexto, temperature, e outros valores, de novo, sem programação e bem intuitivo.
O que eu vi nas reviews é que o Ollama performa melhor, é código aberto, e no vídeo que eu integrei o Open WebUI no ollama, ele faz mais coisas que o LmStudio! Eu no geral evito programa que sobe interface gráfica
@@inteligenciamilgrau Sim é verdade o Lm não é o melhor em questão de performance nem é open source completo, mas em facilidade ele é o melhor que tem, nada de programação o famoso plug and play das LLM.
@@inteligenciamilgrau Eu passei muito tempo pensando como eu iria rodar uma llm no meu pc, mas o LM fez isso instantaneamente, eu baixei e literalmente minutos ou segundos eu já tinha uma llm rodando no meu pc.,,,
@@inteligenciamilgrau Mas isso tudo sobre mais funções são compensadas com o Silly tavern, porque lá que tem as configurações avançadas, basicamente o lm sozinho não brilha, mas com o SILLY TAVERN, se torna o combo perfeito pra rodar LLM.
Bom dia Bob, muito bom, gostei. Deixa eu aproveitar para fazer um pedido, você poderia dar alguns exemplos úteis do que fazer com essas IA's locais de 8B? Sei lá, criar uma aplicação simples, sem ser jogo da cobrinha, conversas hipotéticas, algo que relmente faça diferença? Por exemplo, estou no trabalho e tenho que mandar um e-mail no Windows, daí tem lá o Agente A que gera textos para e-mail, daí o Agente B que é responsável pelo sistema de envio, o Agente C pela validação, o Agente D por checar as respostas, etc. Tudo localmente e de graça. Não precisa ser algo muito complexo, um projetinho de automação qualquer só para trazer mais relevância para essas IA's básicas, mostrar a aplicação delas, porque da a impressão que o caminho é sempre ou pagar ou ter um PC parrudo para fazer algo útil com isso. E também gostaria de pedir por gentileza deixar eu responder nos meus comentários, porque quando mando mensagem respondendo algo para debater com alguém elas estão desaparecendo, não sei se é algum bug do youtube, se a resposta vai só para a pessoa ou se é moderação. Obrigado!
Faaaaala Felipe!! Sugestão anotada!! Pensa o seguinte, se vc já tem um caso que está tentando automatizar, vc precisar testar a sua automação e ver se o modelo atende! É algo que será validado por tarefa!! As "ferramentas" que a LLM usa não são modelos de IA, são aplicações normais! Então a qualidade do agente está na qualidade do modelo!! Eu tenho aplicações rodando em diversos modelos, desde "haiku" para geração de texto barato e outras com "sonnet 3.5" e "gpt4"... O caso "útil" varia com quem usa!! Esse exemplo que eu dou dos diálogos foi um caso que fiz para gerar meu Fine Tunning, ou seja, foi um caso real! Por isso que é mais importante vc testar por si e ver se nos teus casos de uso vão servir!! E no caso da moderação, são bem poucos comentários pegos pelos filtros, não tinha nenhum seu! Em geral quando quero garantir que o comentário foi eu verifico se apareceu!! É um ponto fraco do TH-cam esses comentários que somem!
E o melhor o combo LM studio e silly tavern, tem como usar o crew AI, n8n, nodeRED, e simplesmente outras aplicações com API, simplesmente magnifico.
Uma dúvida, no Silly Tavern vc consegue fazer um rpg estilo Zelda? Ou ele faz só as personagens? Tem algum lugar que dá pra fazer um Zelda com LLM?
@@inteligenciamilgrau Silly tavern é um front-end de aplicações em I.A llm, como o proprio chat gpt, no site, que tem o chat e historico de conversas, é texto basicamente.
@@inteligenciamilgrau Mas é focado em usar esse front end para personagens, como o characterAI mas bem melhor, por não ter restrições ou censura, tipo conversar com personagens de ficção ou criar seu próprio personagem
@@inteligenciamilgrau E tem sites onde as pessoas criam seus personagens, ou instrução pra jogos via texto, com i.a, Complexo demais, como uma automação mas pra entretenimento, basicamente, eu diria que é tão complexo quanto fazer uma automação.
@@inteligenciamilgrau Sobre o zelda, e llm, tem sim, tem como conectar o RPG maker, com api, do char gpt, e criar um jogo assim, facil até tem tutoriais no youtube, e tem sites onde tem jogos que já são assim como você quer, o que você teria que fazer é ter a API da sua llm, pra conectar o jogo, e assim rodar com a llm.
Cria um vídeo treinando o llama 3.1 localmente e salvando o modelo localmente!!!
Faaaaala Fabiano!! Anotando a sugestão!! Valeuuuuuuuuuuu
Pesquisei muito e não entendi muito bem essa compatibilidade da api da open ai com o ollama, achei que só funcionaria com api key e que dava acesso ao chat, mas essa api serve só pra autocomplete em cima do modelo local que estamos usando no ollama?
Faaala Felipe!! Pensa que o pessoa do Ollama olhou o código da OpenAI e fez o código dele funcionar no mesmo padrão! As bibliotecas das API são bem simples, elas essencialmente enviam uma mensagem para um servidor e aguardam a resposta, por isso é bem simples de adaptar!! Valeuuuuuuu
@@inteligenciamilgrau entendii, mas nesse envio a api não coleta seus dados?
@@felipev11 se você não quiser usar via api da OpenAI, é só fazer via http request usando post que vai funcionar igual!
8B é bem mais forte que isso, os modelos ficam ruins quando a quantização é maior (para roleplay, para outras funções mais básicas são perfeitos também), eu uso modelos 8B para roleplay, e te falo com garantia, que são extremamente bons (tudo em inglês, obvio, já que não é multilíngue o 3.0, não sei se o 3.1 é)
Modelo 8B é fraco! Fica menos fraco quando é inglês! São prolixos e imprecisos! Dá para usar em RPG porque é um jogo, mas se for algo mais sério já é mais difícil!!
Oq seria roleplay?
@@Hotboy-q7n Essa uma boa pergunta! Basicamente a LLM, ou a I.A, ela interpreta um personagem, por exemplo, "uma personagem, de anime heroina" e então a i.a responderia você como essa personagem, e você conversaria com ela assim, criando cenários, ou conversando apenas, como um RPG de texto, mas com possibilidades infinitas.
@@Hotboy-q7n O melhor que tem, vários "cards" que a comunidade cria que são instruções de personagens, pra I.A personificar, desde jogos de rpg, a personagens em geral, como personagens famosos, e a i.a interpreta esses personagens.
@@Hotboy-q7n basicamente roleplay é encenação, como um RPG de mesa.
Pera.....crew A.I tem telemetria? 😒, ainda bem que não usarei mais, prefiro muito mais minhas automações com n8n e nodeRED em servidor SEM TELEMETRIA, do que ficar recorrendo aos meus dados pra terceiros.....(se eu realmente precisar da crew AI, eu desligo a telemetria, mas só o fato de ter, pra mim é RED flag)
Eu já tinha lido na documentação que tinha, mas aí decidi fazer o teste na prática para ver o que acontecia! rsrs QUando rodei o Ollama só fazendo chat, foi de boa! Na CrewAI deu erro!! Acho que no mínimo ele deveria logar e enviar os dados depois se é pra fazer uma boa telemetria!! Mas nem isso! rsrs Mas eu não concordo em boicotar porque ele fez telemetria! rsrs Acho bobagem, seu navegador, google, youtube, se bobear até n8n e nodered, todo mundo em algum momento vai pegar dados nossos! A diferença é que na crewai vc foi informado e tem a opção de desligar! rsrs Nos outros vc nem sabe e quando fica sabendo só aceita! Ainda mais se vc usa windows! rsrs Plugou na internet está sendo rastreado! E tudo que vc usa que é dos EUA, seus dados vão para o governo americano conforme o Mark Zuckerberg informou pra gente naquele comparecimento à corte! Nossos dados são do mundo! rsrs
@@inteligenciamilgrau Não, definitiva meu youtube, google e afins não tem, fiz questão de minimizar a telemetria para quase zero, em tudo que eu uso, servidor para aplicações, navegador com bloqueador de trackers e afins...... e algo tão vital quanto telemetria de automação é um não bem forte.
@@inteligenciamilgrau Uso linux depois daquela horrenda aplicação do windows, 11, e afins, o mínimo pra não dar dados pras big techs, simples assim, nada além do necessário.
A questão é entender que não há sigilo, só ilusão! Pode bloquear tudo, está na web, é do povo!
@@inteligenciamilgrau veja (se quiser) o video "Is it impossible to be private online?" Eric Murphy
só a conta de luz kkkkk
É a realidade! Daqui a pouco vai ter usina nuclear doméstica! rsrs
Achei engraçado openAI LLaMA 3.1
kkkkkkkkkkkkk ele entrou em crise existencial!
CREWAI SAFAD@ DANADINHA KKKKKKKK
kkkkkkkkkkkkk