Muito bom o tutorial!! Obrigada, Kizzy! Ainda estou iniciando no mundo da programação, então demorei um pouco para acompanhar a parte final do tutorial, principalmente porque uso um text editor e não jupyter. Compartilho o código que consegui rodar. Talvez ajude alguém. Não inseri a parte do Panda porque ainda não estudei esse módulo. query_search = '#ENEM' + '-filter:retweets' tweets_dict = {} cursor_tweets = tw.Cursor(api.search, q=query_search).items(10) for tweet in cursor_tweets: twkeys = tweet._json.keys() tweets_dict = tweets_dict.fromkeys(twkeys) for key in tweets_dict.keys(): try: twkey = tweet._json[key] tweets_dict[key].append(twkey) except KeyError: twkey = "" tweets_dict[key].append("") except: tweets_dict[key] = [twkey] print('tweets_dict[key]: {} - tweet[key]: {}'.format(tweets_dict[key], twkey))
Excelente! Só uma atualização que teve na API, agora o termo usado é api.search_tweets. Então fica: tweets = tw.Cursor(api.search_tweets, q = search_words).items(10)
Excelente video! Seria interessante fazer uma abordagem de como extrair tweets antigos, entre datas e como "burlar" o limite de tweets antigos até 7 dias que o tweepy estabelece.
Essa leu a documentação!!!!!! Parabéns pelo vídeo... Vou tentar fazer depois, mas vou desacelerar o vídeo.... Gratidão, Parabéns pelo conteúdo e Muito Sucesso! Abração!
Oi Diego, temos esses vídeos mais recentes que podem te interessar: Visualizando Tweets th-cam.com/video/zsACB0QhMVc/w-d-xo.html Processamento de Textos th-cam.com/video/Kiqk-Ed18i0/w-d-xo.html
To começando a estudar análise de dados e caí nesse vídeo sem querer. Não fazia ideia de onde podia retirar dados e o vídeo abriu minha cabeça sobre o tem. Acredito que vou assistir a playlist inteira. Muito obrigado pelo conteúdo gratuito. Meu plano é automatizar denúncias sobre os bots da família Bozonaro, hehe n sei nem se é possível.
Oi gente, queria primeiro dizer que o conteúdo de vcs é PERFEITO! Vocês explicam muito bem, sério. Eu to com um probleminha com esse codigo na hora de imprimir o dataframe, no trecho "dfTweets = pd.DataFrame.from_dict([tweets_dict])" o dataframe simplesmente imprime vazio como se nao tivesse conseguido extrair os tweets sendo que fiz o passo a passo certinho igual no video, vcs podem me ajudar? preciso disso pro meu TCC :'((( agradeço muito se puderem me dar essa luz!
Hey, Kizzy. Assisti a playlist completa de analise de dados com python (até o momento não sei se continua após este vídeo #15), mas gostaria de dizer que gostei muito do conteúdo, além de ser muito didático. Você parece fazer os vídeos com muito boa vontade, o que torna o assunto muito mais prazeroso e fácil de entender. Parabéns pelo canal!! Desejo tudo de bom para você, e que Deus retribua esta sua ação em ajudar o próximo. Agora assistirei as próximas playlists (sempre deixando o like, é claro! haha). Obrigado! :)
Muito bom o vídeo, parabéns vc explica muito bem! No meu caso eu tive um problema quando vou gerar o data frame ele vem só com a primeira linha, que eu faço, socorro! 😅
Kizzy como faço para encontrar o primeiro tweet de uma lavra? Exemplo do seu vídeo o primeiro tweet com "#ENEM" ou os 50 primeiros, para analisar da onde surgiu uma hashtag
@kizzyterra vai rolar um vídeo de análise de dados com twitter?? Wordcloud / sentimentos / graficos de palavras e sua ocorrência.. parabens pelo trabalho
Se coloco orient="index" dfTweets = pd.DataFrame.from_dict(tweets_dict, orient="index") dfTweets.head() 0 created_at None id None id_str None text None truncated None fica com none
In [89]: dfTweets = pd.DataFrame.from_dict(tweets_dict) ESTA LINHA DE COMANDO ESTÁ APRESENTANDO ERRO: ValueError: If using all scalar values, you must pass an index, COMO RESOLVER
criei um bot que pesquisa no twitter há um tempo, porém o maximo que ele buscava era 19 tweets. irei tentar usar essa biblioteca tweepy, estava usando somente o oauth.
Muito obrigado pelo tutorial!! Uma dúvida: Como faço pra extrair uma postagem completa?? Por que alguns dos tweets vem até um certo limite e dps reticências. Exemplo: "Ano novo Vida nova radio tudo deus jesus espírito santo gratidão ânimo otimismo juanribe… " Agradeço desde já!!
Vídeo muito legal, aprendi bastante coisa. Porém, um erro ocorre ocasionalmente nesse script: "ValueError: All arrays must be of the same length" Eu imagino que o problema seja que, quando o script passa pelo try e não acha a chave, o campo vazio que a gente manda gerar não é lido, formando diferentes headers baseados em ter ou não todas as chaves... Eu tentei de algumas maneiras, além do que é mostrado no vídeo, consertar isso, mas sem sucesso... Será que alguém consegue me dar uma luz? Muito obrigado
Olá! Foi de grande ajuda e compreensão sua aula. Será que alguém pode me ajudar a reduzir os comentários repetidos na coleta de dados. Mesmo utilizando (-filter:retweeted) e retweets aparecem muitos comentários repetidos. Vlw!
tudo que eu tento usar com a instancia 'api' da o seguitne erro : "TweepError: Failed to send request: HTTPSConnectionPool(host='api.twitter.com', port=443): Max retries exceeded with url: /1.1/statuses/home_timeline.json (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)')))"
Olá! Ótimo vídeo! Estou começando na área de Data Science e gostaria de saber se é possível adquirir o número de likes, comentários, compartilhamentos, cliques nos links (métricas) etc... de um post específico de um influenciador, pelo Twitter sem precisar estar logado na conta do usuário. Preciso ver se a o anúncio que ele fez no post teve um bom engajamento. Isso também é possível com o Tweepy? Amei seu canal tem me ajudado bastante! Parabéns pelo trabalho e obrigado!
Eu não consigo criar um app porque não consigo ter autorização do twitter pra isso. Alguém mais está tendo dificuldade com essa parte do questionário necessário pra ter autorização?
Pessoal, entendo que não é possivel dar acesso ao arquivo twitter-tokens.txt porque contem as senhas de usuario, mas nao seria possivel fornecer um arquivo modelo? Não entendi como podemos prosseguir com a aula sem essa estrutura inicial... Podem me ajudar? Obrigado!
Oi, Kizzy e todos! Por favor, peço ajuda caso alguém possa me auxiliar, sou pesquisadora e estou iniciando o trabalho com análise de redes sociais no Twitter, mas eu não sei programar. Estou seguindo o vídeo como um passo a passo para extrair os dados que preciso, mas gostaria de utilizar o método search_full_archive (tenho acesso de pesquisador acadêmico), pois quero extrair dados de março do ano passado, mas não estou conseguindo. Tentei alterar esta parte do vídeo seguindo a documentação, mas dá erro. Também gostaria de determinar o período de busca, mas não entendo qual o formato devo utilizar. Obrigada desde já
Muito obrigado pelo tutorial!! Uma dúvida: Como faço pra extrair uma postagem completa?? Por que alguns textos dos tweets vem em até um certo limite e depois só aparecem reticências. Ex: "eu você e a..." Agradeço desde já!!
Kizzy, eu to com um problema quando executo a primeira busca por tweets da #ENEM, aparece o seguinte erro: TweepError: Twitter error response: status code = 401. Busquei formas pra resolver e não consigo sair do lugar :/
tentei criar uma conta e recebi isso! "Thank you for your interest in the Twitter developer platform. Based on our review of your use case, we are unable to approve your developer application at this time. Applications may be rejected if they are found to be in violation of any section of the Developer Agreement and Policy, Automation Rules, Display Requirements, and/or the Twitter Rules. We don’t currently allow you to appeal this decision. We are investigating options to allow people who feel they’ve been inappropriately rejected to appeal. Please stay informed for future updates. We cannot comment on specific applications in public channels, including through official Twitter handles or our developer forum."
Oi Edson! É importante dar respostas que estejam de acordo com as políticas do Twitter. No caso como eu informei que era para fins acadêmicos a aprovação foi bem tranquila.
Ola ótimo video, eu olhei a api do twitter e estou querendo exibir uma timeline no meu site filtrando por hasttags, vi como recuperar os twitter por hasttag porem o json retornado é bem simples, a minha pergunta é se tem como eu montar essa timeline igual a do twitter? ou seja tem algum recurso na api que retorna o html do twitter?
Alguém pode me ajudar a resolver tal erro? [{'message': 'You currently have Essential access which includes access to Twitter API v2 endpoints only. If you need access to this endpoint, you’ll need to apply for Elevated access', 'code': 453}]
O erro diz que é preciso aplicar para o Elevated access, eu tentei e fui negado, será que alguém tem dicas de como responder para ser aprovado? Também a opção 'academic research', será que aplicando para essa alternativa eu me livro do erro? (Eu não tentei pq dizia ser preciso o 'Elevated')
Nossa, não consegui por nada nesse mundo acessar essa API. Aqui aparece so API key e API key secret. O site tá mega diferente de quando o video foi gravado :(
Ótimo explicação! Mas fiquei com uma dúvida. Como faço para capturar um dia em especifico. Como por exemplo se eu quiser somente os do dia anterior ao enem?
a zica toda nisso aí, é que ela passou muitos atributos desnecessários pro data frame, isso reduz a eficiência e a performance , como ela só ensinou a a puxar o dicionário com todos aqueles atributos chaves, estou me batendo pra fazer o mesmo mas só com os atributos que irão me servir dali daquele dataframe, alguém dá uma luz ?
Oi Marx! Eu salvei todos os atributos pq pra mim eram interessantes para me possibilitar usar esses dados posteriormente. No entanto, você tem razão, não faz sentido salvar tudo se você não for usar. Vou tentar te dar uma luz: a solução é você selecionar do atributo json apenas o que te interessa. Para fazer isso você pode imprimir as chaves, selecionar manualmente as que te interessam, colocá-las numa lista, por exemplo, e criar o dicionário vazio a partir dessas chaves apenas.
Segui o passo a passo para registrar a API. Porém, depois dos termos de contrato aparece a seguinte mensagem: User is not Authorized Forbidden: Your Twitter account is not eligible to access this resource. Sabe me dizer qual foi o problema e o que posso fazer para corrigir?
O erro diz que sua conta não tem autorização para utilizar esse recurso. Para corrigir, é preciso ver na sua conta de desenvolvedora quais permissões você tem 😉
Poderia me ajudar? o meu arquivo não mostra as coisas tabeladinha certo por exemplo: created_at não mostra as datas embaixo dele fica tudo bagunçado. meu codigo import pandas as pd import matplotlib.pyplot as plt import numpy as np dataFrame = pd.read_csv('data/tweetsENEM.csv',sep=";",encoding="ISO-8859-1") dataFrame.head()
Fala Pedro, é possível fazer isso sim. Dá uma olhada na documentação do tweepy: docs.tweepy.org/en/latest/cursor_tutorial.html#passing-parameters-into-the-api-method
Alguém poderia me ajudar? Fiz as mesmas etapas porém deu erro no meu. Preciso realizar esse acesso aos dados do twitter para um trabalho de faculdade. Se alguém puder me ajudar, estarei muito agradecido.
Muito legal o vídeo!! Só tenho uma dúvida: como eu posso aprender mais sobre as strings que vão no query_search = '#ENEM' + '-filter:retweets' ? É possível tirar tbm os tweets que são respostas a outros tweets? Seria '-filter:replying'? Não sei nem como buscar isso no google, se alguém puder me dar uma luz.
Oi Gabrieli, posso ajudar sim! comenta nessa issue com seu código, para podermos ver o que está acontecendo: github.com/programacaodinamica/analise-dados/issues/1
Muito bom o tutorial!! Obrigada, Kizzy! Ainda estou iniciando no mundo da programação, então demorei um pouco para acompanhar a parte final do tutorial, principalmente porque uso um text editor e não jupyter. Compartilho o código que consegui rodar. Talvez ajude alguém. Não inseri a parte do Panda porque ainda não estudei esse módulo.
query_search = '#ENEM' + '-filter:retweets'
tweets_dict = {}
cursor_tweets = tw.Cursor(api.search, q=query_search).items(10)
for tweet in cursor_tweets:
twkeys = tweet._json.keys()
tweets_dict = tweets_dict.fromkeys(twkeys)
for key in tweets_dict.keys():
try:
twkey = tweet._json[key]
tweets_dict[key].append(twkey)
except KeyError:
twkey = ""
tweets_dict[key].append("")
except:
tweets_dict[key] = [twkey]
print('tweets_dict[key]: {} - tweet[key]: {}'.format(tweets_dict[key], twkey))
Oi Ângela! Obrigado por compartilhar 👏🏾👏🏾
Excelente! Só uma atualização que teve na API, agora o termo usado é api.search_tweets.
Então fica: tweets = tw.Cursor(api.search_tweets, q = search_words).items(10)
Faz análise de sentimentos!
Preciso assistir mais vezes para entender kkkk mas um playlist de raspagem de dados seria LINDO
É um assunto que tem sido considerado em 2021... 🤔
Já ganhou uma seguidora! Excelente explicação 🙌
muito obrigada, bons estudos!
Excelente video! Seria interessante fazer uma abordagem de como extrair tweets antigos, entre datas e como "burlar" o limite de tweets antigos até 7 dias que o tweepy estabelece.
Nooossa! Achei mto loko! Menina, muito obrigada! Vc conseguiu passar um conteúdo que vale ouro!!!!
Kizzy, seu vídeo me tirou das trevas! Amei, parabéns!
Que ótimo!
Procurava por um conteúdo que explicasse dessa forma há muito tempo, parabéns, ótimo vídeo e ótima explicação! 😀
Muito obrigado 😁
Parabens pelo video. Excelente!
Obrigada!
Essa leu a documentação!!!!!! Parabéns pelo vídeo... Vou tentar fazer depois, mas vou desacelerar o vídeo.... Gratidão, Parabéns pelo conteúdo e Muito Sucesso!
Abração!
Sucesso!
Excelente vídeo Kizzy! Obrigada por compartilhar seu conhecimento e parabéns pela didática!
Eu que agradeço!
Adorei seu canal!!!
Obrigada! Seja bem vindo!
Você é ótima Kizzy!!!! Parabéns pelo canal aqui no TH-cam!!!!!!!!!!!
Muito obrigada 😁
Kizzy, que conteúdo incrível! Parabéns! Peço por gentileza a continuação dessa análise!!
Oi Diego, temos esses vídeos mais recentes que podem te interessar: Visualizando Tweets th-cam.com/video/zsACB0QhMVc/w-d-xo.html Processamento de Textos th-cam.com/video/Kiqk-Ed18i0/w-d-xo.html
Finalmente consegui acabar...me bati demais mas ao final, aprendi muito!!!!!! Muito obrigado Kizzy!!!!!
Maravilha Rodrigo, parabéns!!
Que show o video! To querendo começar a brincar com os dados do twitter e esse tutorial ajudou demais. Muito obrigado :)
Que bom que ajudou 😊
Muito bom. Sua didática é incrível! Obrigada por compartilhar seu conhecimento!
Oii Paula, muito obrigada!! 😊
Kizzyyy eu tava precisando desse vídeo!
Aaah que ótimo! ☺️
Incrível tutorial, Kizzy! Muito obrigado
Valeeu!
Ótima aula. Parabéns pela didática.
Obrigado 😃
Excelente vídeo e ótima didática, parabéns!
Muito obrigada!
Estudando aqui pra fazer um trabalho. Obg, pelo conteúdo.
Boa!!
Que voz e mulher maravilhosa cara(treinou pra falar tão bem assim?? haha), me incentiva mais ainda a estudar vendo esse conteúdo...❤️
hahaha não treinei :) obrigada!
Se possível, tragam vídeos sobre raspagem de dados, certeza que vai ser muito bom!
ok, sugestão anotada :)
Parabéns pelo vídeo! Aprendi várias coisas!
muito top! obg. s2
Valeu!
Show! Didática excelente!
Obrigada!
Que didática maravilhosa! Obrigado ❤️
Oi Kizzy! Amei o vídeo! 👏👏👏 Obrigada!
Obrigada Iris!
Mesmo assim abrigado pela ajuda !
Parabéns pelo excelente conteúdo e explicação!!
Obrigada!
To começando a estudar análise de dados e caí nesse vídeo sem querer. Não fazia ideia de onde podia retirar dados e o vídeo abriu minha cabeça sobre o tem. Acredito que vou assistir a playlist inteira. Muito obrigado pelo conteúdo gratuito. Meu plano é automatizar denúncias sobre os bots da família Bozonaro, hehe n sei nem se é possível.
Oi Danilo, que legal, bons estudos!
Oi gente, queria primeiro dizer que o conteúdo de vcs é PERFEITO! Vocês explicam muito bem, sério.
Eu to com um probleminha com esse codigo na hora de imprimir o dataframe, no trecho "dfTweets = pd.DataFrame.from_dict([tweets_dict])" o dataframe simplesmente imprime vazio como se nao tivesse conseguido extrair os tweets sendo que fiz o passo a passo certinho igual no video, vcs podem me ajudar? preciso disso pro meu TCC :'(((
agradeço muito se puderem me dar essa luz!
Oi Ana, você já tentou sem os colchetes que estão fora do “tweets_dict” ?
@@pgdinamica já sim! Tanto com ou sem os [ ] não funciona, inclusive sem os [ ] dá um erro de Index 🙁🙁
Parabéns!!!! Excelente vídeo!! Deus abençoe!!!
Thanks ✨
😊
♥ toooooop! parabéns garota, jogue duro!!
Parabens pela aula, show de bola. Ja existe um segundo vídeo utilizando o df criado nesse? para o tratamento dos dados
Você é maravilhosa! muito obrigado!
Obrigada.
Mais um vídeo top. 👏👏👏
Parabens, show a sua aula!!
Obrigada!
Hey, Kizzy.
Assisti a playlist completa de analise de dados com python (até o momento não sei se continua após este vídeo #15), mas gostaria de dizer que gostei muito do conteúdo, além de ser muito didático. Você parece fazer os vídeos com muito boa vontade, o que torna o assunto muito mais prazeroso e fácil de entender. Parabéns pelo canal!!
Desejo tudo de bom para você, e que Deus retribua esta sua ação em ajudar o próximo.
Agora assistirei as próximas playlists (sempre deixando o like, é claro! haha).
Obrigado! :)
Oi Eduardo! Muito obrigada. Fico muito feliz em ler suas palavras tão gentis ☺️ bons estudos 😉
Boa tarde, primeiro excelente apresentação. Me tire uma dúvida, como faço para extrair dados usando uma data especifica e não os twittes atuais?
Que vídeo massa!!! Parabéns!!
Valeeu!
Muito bom o vídeo, parabéns vc explica muito bem! No meu caso eu tive um problema quando vou gerar o data frame ele vem só com a primeira linha, que eu faço, socorro! 😅
o meu também kkk, conseguiu resolver?
Mais um inscrito! Padrão!
🥳🥳
Parabéns pelos vídeos!
Obrigada!
Kizzy como faço para encontrar o primeiro tweet de uma lavra? Exemplo do seu vídeo o primeiro tweet com "#ENEM" ou os 50 primeiros, para analisar da onde surgiu uma hashtag
@kizzyterra vai rolar um vídeo de análise de dados com twitter?? Wordcloud / sentimentos / graficos de palavras e sua ocorrência.. parabens pelo trabalho
Oi Cleyton, está nos planos sim :)
@@pgdinamica vc é maravilhosa !!! videos curtidos e seguindo o canal ..
Se coloco orient="index"
dfTweets = pd.DataFrame.from_dict(tweets_dict, orient="index")
dfTweets.head()
0
created_at None
id None
id_str None
text None
truncated None
fica com none
Muito foda!
Valeu!
Meus parabéns, ótima aula!!! Já tem a aula 16?
Sensacional !!!
Valeeu!
boa!
Valeu!
In [89]: dfTweets = pd.DataFrame.from_dict(tweets_dict) ESTA LINHA DE COMANDO ESTÁ APRESENTANDO ERRO: ValueError: If using all scalar values, you must pass an index, COMO RESOLVER
criei um bot que pesquisa no twitter há um tempo, porém o maximo que ele buscava era 19 tweets. irei tentar usar essa biblioteca tweepy, estava usando somente o oauth.
depois conta aqui se deu certo :)
Muito legal!!!
\o/ 😁
HELP!!!!!!! Já fiz o pip install e mesmo assim apresenta o seguinte erro:ModuleNotFoundError: No module named 'tweepy'
Muito obrigado pelo tutorial!!
Uma dúvida: Como faço pra extrair uma postagem completa?? Por que alguns dos tweets vem até um certo limite e dps reticências. Exemplo:
"Ano novo Vida nova radio tudo deus jesus espírito santo gratidão ânimo otimismo juanribe…
"
Agradeço desde já!!
Muito bom.. parabéns
Obrigada!
Vídeo muito legal, aprendi bastante coisa.
Porém, um erro ocorre ocasionalmente nesse script: "ValueError: All arrays must be of the same length"
Eu imagino que o problema seja que, quando o script passa pelo try e não acha a chave, o campo vazio que a gente manda gerar não é lido, formando diferentes headers baseados em ter ou não todas as chaves...
Eu tentei de algumas maneiras, além do que é mostrado no vídeo, consertar isso, mas sem sucesso...
Será que alguém consegue me dar uma luz?
Muito obrigado
Olá! Foi de grande ajuda e compreensão sua aula. Será que alguém pode me ajudar a reduzir os comentários repetidos na coleta de dados. Mesmo utilizando (-filter:retweeted) e retweets aparecem muitos comentários repetidos. Vlw!
tudo que eu tento usar com a instancia 'api' da o seguitne erro : "TweepError: Failed to send request: HTTPSConnectionPool(host='api.twitter.com', port=443): Max retries exceeded with url: /1.1/statuses/home_timeline.json (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1108)')))"
Estou apanhando aqui, pois gostaria de baixar não os twitts de um tempo específico, mas os twitts de uma conta específica. É possível?
Olá! Ótimo vídeo! Estou começando na área de Data Science e gostaria de saber se é possível adquirir o número de likes, comentários, compartilhamentos, cliques nos links (métricas) etc... de um post específico de um influenciador, pelo Twitter sem precisar estar logado na conta do usuário. Preciso ver se a o anúncio que ele fez no post teve um bom engajamento. Isso também é possível com o Tweepy? Amei seu canal tem me ajudado bastante! Parabéns pelo trabalho e obrigado!
Eu não consigo criar um app porque não consigo ter autorização do twitter pra isso. Alguém mais está tendo dificuldade com essa parte do questionário necessário pra ter autorização?
Estou com o mesmo problema. Conseguiu resolver?
Boa noite, estou com erro na autenticação, tem que fazer algo a mais?
Nossa q canal bacana!!
Obrigada!
Pessoal, entendo que não é possivel dar acesso ao arquivo twitter-tokens.txt porque contem as senhas de usuario, mas nao seria possivel fornecer um arquivo modelo? Não entendi como podemos prosseguir com a aula sem essa estrutura inicial... Podem me ajudar? Obrigado!
Oi, Kizzy e todos! Por favor, peço ajuda caso alguém possa me auxiliar, sou pesquisadora e estou iniciando o trabalho com análise de redes sociais no Twitter, mas eu não sei programar. Estou seguindo o vídeo como um passo a passo para extrair os dados que preciso, mas gostaria de utilizar o método search_full_archive (tenho acesso de pesquisador acadêmico), pois quero extrair dados de março do ano passado, mas não estou conseguindo. Tentei alterar esta parte do vídeo seguindo a documentação, mas dá erro. Também gostaria de determinar o período de busca, mas não entendo qual o formato devo utilizar. Obrigada desde já
Muito obrigado pelo tutorial!!
Uma dúvida: Como faço pra extrair uma postagem completa?? Por que alguns textos dos tweets vem em até um certo limite e depois só aparecem reticências.
Ex: "eu você e a..."
Agradeço desde já!!
Para captar tweets mais antigos, como faço? Vi que a API do twitter vem como padrão apenas os 7 últimos dias.
Oi Gabriel, anotei sua pergunta aqui, estou pensando em fazer uma versão 2 desse vídeo :)
Muito Bom!
Valeu!
ganhou um inscrito aos 0:23 do video
👏🏾👏🏾👏🏾
pooor favor uma aulinha de web scraping seria mt bom. Tenho mt dificuldade nisso
Teve um vídeo recente aplicando este conhecimento: th-cam.com/video/kqvWOcPog4s/w-d-xo.html
Estamos pensando em fazer mais alguns conteúdos no futuro.
Kizzy, eu to com um problema quando executo a primeira busca por tweets da #ENEM, aparece o seguinte erro: TweepError: Twitter error response: status code = 401. Busquei formas pra resolver e não consigo sair do lugar :/
Bom dia, Kizzy! Queria saber se consigo extrair tweets em uma faixa de tempo que já passou? Consigo também filtrar tweets de um usuário específico?
tentei criar uma conta e recebi isso!
"Thank you for your interest in the Twitter developer platform. Based on our review of your use case, we are unable to approve your developer application at this time.
Applications may be rejected if they are found to be in violation of any section of the Developer Agreement and Policy, Automation Rules, Display Requirements, and/or the Twitter Rules.
We don’t currently allow you to appeal this decision. We are investigating options to allow people who feel they’ve been inappropriately rejected to appeal. Please stay informed for future updates.
We cannot comment on specific applications in public channels, including through official Twitter handles or our developer forum."
Oi Edson! É importante dar respostas que estejam de acordo com as políticas do Twitter. No caso como eu informei que era para fins acadêmicos a aprovação foi bem tranquila.
Na parte onde faz a query_search= ''ENEM'' o fator (+"-filter:retweets") se faz só uma vez ou cada vez só, ou cada vez que adicione uma palavra chave?
uma vez para cada query ;)
Ola ótimo video, eu olhei a api do twitter e estou querendo exibir uma timeline no meu site filtrando por hasttags, vi como recuperar os twitter por hasttag porem o json retornado é bem simples, a minha pergunta é se tem como eu montar essa timeline igual a do twitter? ou seja tem algum recurso na api que retorna o html do twitter?
Alguém pode me ajudar a resolver tal erro?
[{'message': 'You currently have Essential access which includes access to Twitter API v2 endpoints only. If you need access to this endpoint, you’ll need to apply for Elevated access', 'code': 453}]
O erro diz que é preciso aplicar para o Elevated access, eu tentei e fui negado, será que alguém tem dicas de como responder para ser aprovado?
Também a opção 'academic research', será que aplicando para essa alternativa eu me livro do erro? (Eu não tentei pq dizia ser preciso o 'Elevated')
Dicionários em python não tem método append... Ou eu estou enganado?!
Não tem mesmo, você pode usar "update" ou a notação de colchetes mesmo:
dicionario[nova_chave] = novo_valor
Nossa, não consegui por nada nesse mundo acessar essa API. Aqui aparece so API key e API key secret. O site tá mega diferente de quando o video foi gravado :(
Fizemos uma live mês passado com a atualização: th-cam.com/video/zsACB0QhMVc/w-d-xo.html
Nunca decepcionam né? ❤️
Ótimo explicação! Mas fiquei com uma dúvida. Como faço para capturar um dia em especifico. Como por exemplo se eu quiser somente os do dia anterior ao enem?
Tem o atributo "until" dentro do Cursor, que vc passa uma data, e ele pega tweets anteriores a essa data.
a zica toda nisso aí, é que ela passou muitos atributos desnecessários pro data frame, isso reduz a eficiência e a performance , como ela só ensinou a a puxar o dicionário com todos aqueles atributos chaves, estou me batendo pra fazer o mesmo mas só com os atributos que irão me servir dali daquele dataframe, alguém dá uma luz ?
Oi Marx! Eu salvei todos os atributos pq pra mim eram interessantes para me possibilitar usar esses dados posteriormente. No entanto, você tem razão, não faz sentido salvar tudo se você não for usar. Vou tentar te dar uma luz: a solução é você selecionar do atributo json apenas o que te interessa. Para fazer isso você pode imprimir as chaves, selecionar manualmente as que te interessam, colocá-las numa lista, por exemplo, e criar o dicionário vazio a partir dessas chaves apenas.
Segui o passo a passo para registrar a API. Porém, depois dos termos de contrato aparece a seguinte mensagem:
User is not Authorized
Forbidden: Your Twitter account is not eligible to access this resource.
Sabe me dizer qual foi o problema e o que posso fazer para corrigir?
O erro diz que sua conta não tem autorização para utilizar esse recurso. Para corrigir, é preciso ver na sua conta de desenvolvedora quais permissões você tem 😉
@@pgdinamica Segui todo o passo do vídeo. O que será que deu errado? (Coloquei pra fins acadêmicos - estudante)
como é o arquivo "twitter-tokens.txt"? preciso saber para fazer um igual com o meus tokens
eu só copiei as credenciais em um arquivo de texto e depois li cada linha do arquivo 😉
@@pgdinamica lenda ligeira. testei aqui e deu certo! obrigado pelas aulas, estão ótimas
❤❤❤❤❤❤
🚀🚀🚀
Poderia me ajudar? o meu arquivo não mostra as coisas tabeladinha certo por exemplo: created_at não mostra as datas embaixo dele fica tudo bagunçado. meu codigo
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
dataFrame = pd.read_csv('data/tweetsENEM.csv',sep=";",encoding="ISO-8859-1")
dataFrame.head()
Oi Allan, para poder ajudar preciso saber qual a saída do seu código ;)
@@pgdinamica A valeu eu já consegui era um ';' que faltava na configuração do dataframe
Parabéns pelo vídeo, só n estou conseguindo te achar no insta
@pgdinamica @kizzy_terra @hallpaz
Sabe me informar o que pode estar ocorrendo?
Conseguiu resolver?
como faço pra fazer o mesmo, mas com usuários especificos? tipo... pegar o termo enem toda vez que a pagina do MEC o citou, por exemplo?
Fala Pedro, é possível fazer isso sim. Dá uma olhada na documentação do tweepy: docs.tweepy.org/en/latest/cursor_tutorial.html#passing-parameters-into-the-api-method
Tem como extrair os tweets de uma conta específica? Ex: Extrair as publicações do ministério da ciência sobre o espaço.
Pra ficar mais claro, eu sei que tem como pesquisar em uma conta X. Mas não to conseguindo pesquisar na conta X pelos termos selecionados.
Boa noite. Agradeço pelo aula. O link csv não está funcionando.
Obrigada por avisar! consertei. link: github.com/programacaodinamica/analise-dados/blob/master/dados/tweetsENEM.csv
Boa tarde Kizzy, quando tento fazer autenticar na API aparece o seguinte erro: NameError: name 'XXXXaccess_tokenXXXXXX' is not defined
Oi Rodrigo, acredito que seja devido às mudanças que rolaram na API do Twitter, mas você conseguiu né?
Alguém poderia me ajudar? Fiz as mesmas etapas porém deu erro no meu. Preciso realizar esse acesso aos dados do twitter para um trabalho de faculdade. Se alguém puder me ajudar, estarei muito agradecido.
Talvez essa aula te ajude: th-cam.com/video/zsACB0QhMVc/w-d-xo.html É o conteúdo mais recente que temos sobre tweets 😉
@@pgdinamica Muito obrigado pela ajuda ☺️
tem como fazer algo parecido com python para analisar dados do booking.com ou tripadvisor?
Oi Fernanda, isso depende se os sites liberam os dados para extração ou se possuem uma API.
Muito legal o vídeo!! Só tenho uma dúvida: como eu posso aprender mais sobre as strings que vão no query_search = '#ENEM' + '-filter:retweets' ? É possível tirar tbm os tweets que são respostas a outros tweets? Seria '-filter:replying'? Não sei nem como buscar isso no google, se alguém puder me dar uma luz.
Achei a documentação dessa parte, se alguém mais precisar:
developer.twitter.com/en/docs/twitter-api/v1/tweets/search/guides/standard-operators
boa, Guilherme!
Oie, o código final dfTweets.text não está retornando os 100 tweets como deveria, o meu ta retornando só 8, porque isso?
Oi Letícia! Provavelmente porque no dia em que você tentou pegar não haviam muitos tweets ;)
Olá...o meu dá o seguinte erro:
NameError: name 'tweet' is not defined
Poderia me ajudar? Pois o código está igual
Oi Gabrieli, posso ajudar sim! comenta nessa issue com seu código, para podermos ver o que está acontecendo: github.com/programacaodinamica/analise-dados/issues/1