Excelente vídeo cara! Parabéns e muito obrigado! Poderia me ajudar? Minha base de dados está em csv. Separei treino e teste e armazenei X_test em uma matriz esparsa com o vectorizer.transform(X_test) Contudo, após treinar o modelo, quando chamo o predict(X_text_tfidf_vectorize) recebo o erro dimension mismatch Desde já, muito obrigado!
Oi, Gilberto. Tudo em ordem? Esse erro sugere que o vetor das entradas de teste não possui a mesma dimensão das entradas usadas pra treinar o modelo, você provavelmente usou um vetor diferente. Ou poderia ser outra coisa. Para facilitar, poderia me enviar pelo menos uma parte do seu código para que eu possa te ajudar melhor? Se for um problema pra você postar o código publicamente, use um dos meios de contato sugeridos na aba "sobre" deste canal.
@@ManualdoMachineLearning eu consegui contornar o problema setando o parâmetro max_features (acho que é esse o nome) do TfidfVectorizer para o menor valor entre o número de features de treino e teste. Agora estou planejando uma viagem de moto enquanto a rede neural treina. Mais uma vez, muito obrigado! Seu vídeo é muito objetivo e deixa no chinelo alguns livros que encontrei por aí. Valeu!
Opa! Tudo bem? Você pode alterar esse comportamento ao ajustar o código para salvar o modelo treinado usando a ferramenta Joblib. Depois, adiciona um "IF" para carregar o modelo treinado, caso o arquivo exista, senão treina um modelo do zero. Esse link deve ajudar na questão de salvar/exportar um modelo treinado: scikit-learn.org/stable/model_persistence.html
Sobre encurtar o texto para a classificação em texto de automóvel. Não é o tamanho do texto, mas sim o conteúdo. Possivelmente o conteúdo retirado era um pouco ambígui em relação a classificação. Por isso que o algoritmo classificou como texto político.
Ótimo vídeo mano! Eu estou com um problema, queria colocar informações de documentos. Primeiro uso tesseract pra pegar os documentos e transformar em textos, depois que transforma queria pegar por exemplo o cpf, o nome da pessoa, essas coisas. Eu consegui fazer usando expressão regular, mas o problema é que preciso fazer isso para vários documentos e eles não são padronizados, poderia me dar um norte de como fazer ou qual ferramenta usar?
Paulo, talvez você consiga isso usando ferramentas de extração de informação, também baseadas em machine learning, como a NER (Named Entity Recognition). Nesse caso, você trataria o número do CPF como uma entidade, treinaria um modelo NER com vários exemplos e daí seria possível fazer isso sem REGEX, usando apenas aprendizagem de máquina. Mas meu conselho é que você fique com a solução híbrida, mantendo o REGEX também. Frameworks como o Spacy fornecem uma API bem prática e fácil pra você treinar e usar modelos NER. Acesse spacy.io e consulte a documentação.
Um ótimo material, inclusive se puder postar resolução de algo em Português também seria de grande valia. A propósito,seu classroom postado no medium foi desativado?
Olá, Humberto! Tudo joia? Obrigado pela sugestão. Atualmente as discussões estão acontecendo num grupo do Telegram: t.me/joinchat/Omx7D1hGjM2K_8YfwwntYw. Caso queira implementar algo em português, veja esses dois links: 1) medium.com/luisfredgs/an%C3%A1lise-de-sentimentos-com-redes-neurais-recorrentes-lstm-a5352b21e6aa e 2) www.kaggle.com/luisfredgs/imdb-ptbr
Ola Luis, gostei muito do seu vídeo parabéns pela explicação. Bom, queria uma dica/ajuda em um problema que estou passando. Eu fiz de acordo como você, carreguei o dataset (são 50 mil tweets rotulados como positivo, negativo e neutro), separei o texto do target e vetorizei o texto. Até aí tudo bem, quando gerei o modelo (eu usei o algoritmo de naive Bayes) e depois treinei, ele teve uma taxa de acertos consideravelmente bom, aí o problema começou a surgir quando rodei de novo o programa e a taxa de acertos caiu drasticamente e eu queria saber o que tinha que fazer para isso não ter acontecido e pior de tudo que toda vez que eu executo não muda mais essa taxa :(
O slack é um forum ou um grupo de IA? Com esse código dá pra trabalhar com o twitter, tipo, se eu quero classificar uma palávra no twitter, daria pra fazer?
jonata paulino , como vai? O Slack é uma plataforma por meio da qual você consegue criar e gerir grupos de discussão. Eu criei um grupo por lá para discutir sobre tópicos de I.A em geral e o link para participar do grupo está na descrição deste vídeo. Com este código você conseguiria classificar textos vindos de qualquer fonte, incluindo o Twitter.
Posso usar teu código pra me guiar? Quero fazer um trabalho com o twitter... pegando postagens com uma palavra que me interessa e depois ver se aquela frase é de (tal palavra) ou não. Não sei se fui claro.
jonata paulino eu não sei se entendi bem qual é o seu objetivo, mas da pra ver que você precisa classificar tweets. Você poderia filtrar uma determinada hashtag e em seguida classificar os tweets que obtiver por meio dela. Enfim, o código é todo seu. Manda brasa!
GRUPO NO DISCORD:
discord.gg/c7p6ycV6jf
Massa! Consigo extrair e comparar informações de textos em diferentes idiomas e identificar as similaridades entre eles?
Muito bem explicado!
Excelente vídeo! Muito obrigado por compartilhar o conhecimento.
Excelente vídeo cara! Parabéns e muito obrigado!
Poderia me ajudar?
Minha base de dados está em csv. Separei treino e teste e armazenei X_test em uma matriz esparsa com o vectorizer.transform(X_test)
Contudo, após treinar o modelo, quando chamo o predict(X_text_tfidf_vectorize) recebo o erro dimension mismatch
Desde já, muito obrigado!
Oi, Gilberto. Tudo em ordem? Esse erro sugere que o vetor das entradas de teste não possui a mesma dimensão das entradas usadas pra treinar o modelo, você provavelmente usou um vetor diferente. Ou poderia ser outra coisa. Para facilitar, poderia me enviar pelo menos uma parte do seu código para que eu possa te ajudar melhor? Se for um problema pra você postar o código publicamente, use um dos meios de contato sugeridos na aba "sobre" deste canal.
@@ManualdoMachineLearning eu consegui contornar o problema setando o parâmetro max_features (acho que é esse o nome) do TfidfVectorizer para o menor valor entre o número de features de treino e teste. Agora estou planejando uma viagem de moto enquanto a rede neural treina. Mais uma vez, muito obrigado! Seu vídeo é muito objetivo e deixa no chinelo alguns livros que encontrei por aí. Valeu!
Toda vez que se fecha o programa a IA tem de ser treinada novamente?
Opa! Tudo bem? Você pode alterar esse comportamento ao ajustar o código para salvar o modelo treinado usando a ferramenta Joblib. Depois, adiciona um "IF" para carregar o modelo treinado, caso o arquivo exista, senão treina um modelo do zero. Esse link deve ajudar na questão de salvar/exportar um modelo treinado: scikit-learn.org/stable/model_persistence.html
@@ManualdoMachineLearning show! Muito obrigado mesmo!
Vídeo muito bom! Obrigado pela ajuda.
Sobre encurtar o texto para a classificação em texto de automóvel. Não é o tamanho do texto, mas sim o conteúdo. Possivelmente o conteúdo retirado era um pouco ambígui em relação a classificação. Por isso que o algoritmo classificou como texto político.
Muito irado cara, parabéns!!! Me ajudou muito!
Ótimo vídeo mano!
Eu estou com um problema, queria colocar informações de documentos. Primeiro uso tesseract pra pegar os documentos e transformar em textos, depois que transforma queria pegar por exemplo o cpf, o nome da pessoa, essas coisas. Eu consegui fazer usando expressão regular, mas o problema é que preciso fazer isso para vários documentos e eles não são padronizados, poderia me dar um norte de como fazer ou qual ferramenta usar?
Paulo, talvez você consiga isso usando ferramentas de extração de informação, também baseadas em machine learning, como a NER (Named Entity Recognition). Nesse caso, você trataria o número do CPF como uma entidade, treinaria um modelo NER com vários exemplos e daí seria possível fazer isso sem REGEX, usando apenas aprendizagem de máquina. Mas meu conselho é que você fique com a solução híbrida, mantendo o REGEX também. Frameworks como o Spacy fornecem uma API bem prática e fácil pra você treinar e usar modelos NER. Acesse spacy.io e consulte a documentação.
@@ManualdoMachineLearning muito obrigado Luís, eu estava estudando neuralner, vou continuar pesquisando e seguir suas práticas, muito obrigado mesmo!
Um ótimo material, inclusive se puder postar resolução de algo em Português também seria de grande valia. A propósito,seu classroom postado no medium foi desativado?
Olá, Humberto! Tudo joia? Obrigado pela sugestão. Atualmente as discussões estão acontecendo num grupo do Telegram: t.me/joinchat/Omx7D1hGjM2K_8YfwwntYw. Caso queira implementar algo em português, veja esses dois links: 1) medium.com/luisfredgs/an%C3%A1lise-de-sentimentos-com-redes-neurais-recorrentes-lstm-a5352b21e6aa e 2) www.kaggle.com/luisfredgs/imdb-ptbr
Ola Luis, gostei muito do seu vídeo parabéns pela explicação.
Bom, queria uma dica/ajuda em um problema que estou passando. Eu fiz de acordo como você, carreguei o dataset (são 50 mil tweets rotulados como positivo, negativo e neutro), separei o texto do target e vetorizei o texto. Até aí tudo bem, quando gerei o modelo (eu usei o algoritmo de naive Bayes) e depois treinei, ele teve uma taxa de acertos consideravelmente bom, aí o problema começou a surgir quando rodei de novo o programa e a taxa de acertos caiu drasticamente e eu queria saber o que tinha que fazer para isso não ter acontecido e pior de tudo que toda vez que eu executo não muda mais essa taxa :(
O slack é um forum ou um grupo de IA? Com esse código dá pra trabalhar com o twitter, tipo, se eu quero classificar uma palávra no twitter, daria pra fazer?
jonata paulino , como vai? O Slack é uma plataforma por meio da qual você consegue criar e gerir grupos de discussão. Eu criei um grupo por lá para discutir sobre tópicos de I.A em geral e o link para participar do grupo está na descrição deste vídeo. Com este código você conseguiria classificar textos vindos de qualquer fonte, incluindo o Twitter.
Posso usar teu código pra me guiar? Quero fazer um trabalho com o twitter... pegando postagens com uma palavra que me interessa e depois ver se aquela frase é de (tal palavra) ou não. Não sei se fui claro.
jonata paulino eu não sei se entendi bem qual é o seu objetivo, mas da pra ver que você precisa classificar tweets. Você poderia filtrar uma determinada hashtag e em seguida classificar os tweets que obtiver por meio dela. Enfim, o código é todo seu. Manda brasa!
Será que eu poderia entrar em contato com você por email? Obrigado.
jonata paulino claro que pode. Você pode iniciar um contato por aqui: blog.luisfred.com.br/contato/