Fala galera! Gostou do vídeo? Deixa a sua curtida e se inscreve no canal! ► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_QdLgNr1mKQU ► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-12dFWOx9eH1dJH7iEV7vE7AIF1w1Up9FN?origemurl=hashtag_yt_org_planilhapyt_QdLgNr1mKQU ► Para instalar o Jupyter, acesse: th-cam.com/video/_eK0z5QbpKA/w-d-xo.html ► Blog: bit.ly/2MRUZs0 ► TH-cam: bit.ly/3c0LJQi ► Instagram: bit.ly/3o6dw42 ► Facebook: bit.ly/3qGtaF2
Videos de WebScrapping, sempre fazem abrir a mente, dando-nos uma noção de informações que desejamos, mais que para obte-las, é complicado ou exigia uma certa esperteza. Ainda temos a possibilidade de adquirirmos informações a partir de uma planilha e gravarmos em um banco de dados. Ajuda bastante e em algumas vezes é necessário, principalmente quando há um legado. Eu tenho uma necessidade. Estou precisando de pegar todos os bairros de todos os municípios de uma UF. A partir de cada município, que há necessidade de ser escolhido, preciso ler pelo menos o CEP, pois diante deste, existe um pacote Python que mostra o Bairro e no teste utilizado, ele trouxe essa informação a partir de um campo, chamado Distrit.
Ótimo vídeo, gostei muito. Só tenho uma pequena correção no código, quando for armazenar a avalição os valores se repetem. com isso é coloquei uma variável para contar e ir de índice em índice "'nota': response.css('strong::text')[cont].get()". Coloque "cont = 0" antes do "for" e fiz a incrementarão logo após o final da chave do "yield", que ficou assim "cont += 1".
Estou integrando numa empresa e o teste técnico é justamente usar o Scrapy e Docker para varrer um site específico. Obrigado pela aula! Me ajudou muito!
Primeiramente parabéns pelo excelente trabalho que o time está realizando. Gostaria de sugerir vídeos com os módulos OS, SYS, PROCESS, SUBPROCESS e outros nessa levada...
Excelente vídeo! Ajudou muito! Estamos ralando no trabalho com uma planilha que deve ser preenchida todos os dias com informações de um dos sites que atendemos. Vou puxar essas informações de de forma direta agora.
Top...muito obrigado pela ótima explicação...vai me ajudar muito em um projetos que estou desenvolvendo...estou engatinhando no python mas esse canal tem me ajudado bastante a progredir
Obrigado pelo material, muito bom ver na prática e realmente, é muito simples, minha experiência de desenvolvimento web de 6 anos facilita bastante, mas realmente é incrivel a praticidade do python para esses processos, vou continuar estudando, mas o seu vídeo já me deu fundamentos mais que suficiente para trabalhar processos interessantes. Mais uma vez obrigado e parabéns, inscrição em gratidão.
Muito bom o vídeo! Se pudesse fazer outro vídeo aprofundando um pouco, por exemplo: Ensinando como passar esse csv formatado para realizar analises com o pandas, como realizar scraping em sites onde a lista de informações que eu quero está dividida em várias páginas (pág 1, 2, 3), etc.
Poderia fazer uma aula comparando preço dos produtos de sites diferentes, mostrando quanto custa um produto A em fornecedores diferentes e talvez até fazer um ranking do melhor preço, etc... Parabéns pela aula👏👏👏
Top demais, Daniel! Eu só tive problema em usar o terminal que não reconheceu o scrapy, mas usei o cmd. Acho que tem relação com a versão do Python que no vídeo é 3.6 e o meu já está no 3.8. Mas no final, tudo funcionou perfeitamente. Obrigado!
Adorei o vídeo, os atalhos são incríveis, realmente facilita a vida. Ainda nesse assunto de Webscraping, consegue fazer um Webscraping que puxe os vendedores do mercado livre? Para prospecção de Leads.
Começando os estudos de python com esse vídeo e para um projeto pessoal tbm. Como estamos em temo de copa do mundo, poderia fazer um vídeo mostrando como pegar os dados de alguma copa qualquer no site da Fifa. Tanto como resultados de jogos, escalação e marcadores de gol...
@Hashtag Programação, muito bom !! Vocês poderiam fazer uma aula de integração do Python de Análise de Dados com o Google Data Studio, seria muito interesse por ser um ambiente Web.
nao consigo fazer o fetch pela url do imdb. aparentemente eles nao liberam o acesso e estao vendendo API's para poder fazer o scraping. alguma maneira de contornar isso??
quando eu uso o comando "crawl" diz que esse comando n existe no scrapy, e quando eu vejo a listagem de comando do scrapy esse comando "crawl" não está lá, ele também diz que o projeto não está ativado "no activate project", alguém pode me ajudar ?
Olá, boa noite ! É possível fazer webscraping de comentários da página de fecebook e Instagram. Eu trabalhava fazendo análises qualitativas de comentários nas Redes sociais. E fazia isso manualmente.
Mano muito bom o vídeo, mas os itens da nota estão errados. Deu 9.2 independente do filme, pq vc ta dizendo q a nota é sempre o primeiro item da lista de notas. Faltou utilizar um enumerate no for pra poder iterar pelo índice e pegar a informação correta da nota através do índice. For indice,filme in enumerate(filmes): Yield{ ... Nota : response.css(...)[indice] } Mas ótimo vídeo, não tô querendo ser chato mas é pq é uma informação importante hehe. Vlw, tmj!
@@viniciussalgueiro1953 Tente fazer algo assim: def parse(self, response): for i, filmes in enumerate(response.css(".titleColumn")): yield{ "title" : filmes.css(".titleColumn a::text").get(), "date" : filmes.css(".secondaryInfo::text").get()[1:-1], "rate" : response.css("strong::text").getall()[i] } pass E fazer o scrapy crawl novamente
Boa tarde, pfvr se conseguirem fazer algum vídeo de WebDriver utilizando o internet explorer ajudaria muito. Não achei nada na internet sobre, queria selecionar botões e escrever nos input, atualmente o sistema da minha empresa só roda nesse navegador. Desde já muito obrigado.
Cara, acho que vale a pena uma aprofundada nisso hein. Scrapy X Selenium: Quais as diferenças, quando utilizar um ou outro? Como fazer uma extração e jogar os resultados direto em um BD?
preferi fazer no selenium, ta doido maior trampo, essa parada de criar ambiente virtual, via a aula parando e pensando, ja no selenium fiz em 5min o codigo, scrapy deve ser bom para outras coisas
@@marcelohenriquepsy1491 Sim mano, dependendo da situação o scrapy acaba sendo uma "bazuca pra matar uma formiga", se é que me entende. O Selenium te permite fazer as coisas de um jeito mais prático e direto, mas quando você começa a pegar uns problemas maiores começa a ficar complicado (meu cenário). Sobre papo de ambiente virtual, isso ai é independente do selenium po. É mais uma boa prática. Dependendo do contexto, dá pra lascar tudo no global mesmo.
@@marcelohenriquepsy1491 Sendo bem sincero o Daniel perdeu um tempo violento ensinando a criar ambiente virtual e as paradas por CMD, coisa que quem tá começando não compensa aprender isso de cara, só "assusta" mesmo.
@@marcelohenriquepsy1491 se você não criar ambiente virtual pode danificar o python do seu sistema ou seja qual for a linguagem, no máximo vc teria que formatar seu Pc! Se por algum milagre seus projetos estiverem no GitHub basta fazer o clone e continuar de onde parou!
Blz! Estou inscrito no curso de Python Impressionador e estou gostando bastante deste assunto. Lá no curso de Python fala sobre Selenium e do Pyautogui, fazendo uma breve comparação entre estes que mecionei e o Scrapy, quando seria o melhor? ou quando devo usar um deles? Grato.
Fala galera!
Gostou do vídeo? Deixa a sua curtida e se inscreve no canal!
► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_QdLgNr1mKQU
► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-12dFWOx9eH1dJH7iEV7vE7AIF1w1Up9FN?origemurl=hashtag_yt_org_planilhapyt_QdLgNr1mKQU
► Para instalar o Jupyter, acesse: th-cam.com/video/_eK0z5QbpKA/w-d-xo.html
► Blog: bit.ly/2MRUZs0
► TH-cam: bit.ly/3c0LJQi
► Instagram: bit.ly/3o6dw42
► Facebook: bit.ly/3qGtaF2
o comando pip nao eh reconhecido no ambiente virtual, o que pode ser feito?
Videos de WebScrapping, sempre fazem abrir a mente, dando-nos uma noção de informações que desejamos, mais que para obte-las, é complicado ou exigia uma certa esperteza.
Ainda temos a possibilidade de adquirirmos informações a partir de uma planilha e gravarmos em um banco de dados.
Ajuda bastante e em algumas vezes é necessário, principalmente quando há um legado.
Eu tenho uma necessidade.
Estou precisando de pegar todos os bairros de todos os municípios de uma UF.
A partir de cada município, que há necessidade de ser escolhido, preciso ler pelo menos o CEP, pois diante deste, existe um pacote Python que mostra o Bairro e no teste utilizado, ele trouxe essa informação a partir de um campo, chamado Distrit.
Ótimo vídeo, gostei muito. Só tenho uma pequena correção no código, quando for armazenar a avalição os valores se repetem. com isso é coloquei uma variável para contar e ir de índice em índice "'nota': response.css('strong::text')[cont].get()". Coloque "cont = 0" antes do "for" e fiz a incrementarão logo após o final da chave do "yield", que ficou assim "cont += 1".
deem mais espaço para este cara lira, o cara é bom e a didática é excelente !!!!!!!!!
Que aula SENSACIONAL! 1 hora de puro conteudo, isso é maravilhoso.
Estou integrando numa empresa e o teste técnico é justamente usar o Scrapy e Docker para varrer um site específico. Obrigado pela aula! Me ajudou muito!
Gentee, que massa essa sequencia de videos de webscrapping
arrasaram
Muito obrigado por esta abordagem à biblioteca Scrapy !!! Excelenteeee e PARABÊNS
melhor video sobre o tema. Assisti vários e já quebrei muito a cabeça. Vlw! Salvou rs
Vocês lêem mentes é? Tava pesquisando sobre isso desde ontem. Vocês são muito bons!
Enfim o algoritmo.
Eles não, mas o algoritmo do yt kskskskks
Animal essa aula. Já tinha noção de WebScraping e não esperava.
Primeiramente parabéns pelo excelente trabalho que o time está realizando.
Gostaria de sugerir vídeos com os módulos OS, SYS, PROCESS, SUBPROCESS e outros nessa levada...
Boa garoto, seria top falar sobre essas bibliotecas mesmo !
UP
Webscraping mudou minhavida
Excelente vídeo! Ajudou muito! Estamos ralando no trabalho com uma planilha que deve ser preenchida todos os dias com informações de um dos sites que atendemos. Vou puxar essas informações de de forma direta agora.
Gostei muito da sua didática. Impossível não compreender.
Cara estou abismado show de bola, curti muito. Estou ingressando agora nesse mundo e de cara ja vi esse vídeo que só me deixou mais animado ainda.
Top...muito obrigado pela ótima explicação...vai me ajudar muito em um projetos que estou desenvolvendo...estou engatinhando no python mas esse canal tem me ajudado bastante a progredir
Obrigado pelo material, muito bom ver na prática e realmente, é muito simples, minha experiência de desenvolvimento web de 6 anos facilita bastante, mas realmente é incrivel a praticidade do python para esses processos, vou continuar estudando, mas o seu vídeo já me deu fundamentos mais que suficiente para trabalhar processos interessantes.
Mais uma vez obrigado e parabéns, inscrição em gratidão.
muito bom esse vídeo, é o que explicou melhor como funciona
MUITO FODA! Obrigado por ir super no detalhe, faz muita diferença para quem está começando!!!
Animal esse scrapy, agradeço a aula completa!
Eu gostei. Ensinou várias coisas. Valeu Candioto, Candidato a vaga do Lira.
capiroto*
nota máxima em qualidade e conteúdo. Vale a pena assistir.
JOvem do céu. Conteudo muito topp
Show de bola, entendi muito mais do que no curso que eu to pagando e fazendo...
Muito bom o vídeo! Se pudesse fazer outro vídeo aprofundando um pouco, por exemplo:
Ensinando como passar esse csv formatado para realizar analises com o pandas, como realizar scraping em sites onde a lista de informações que eu quero está dividida em várias páginas (pág 1, 2, 3), etc.
alguém sabe essa solução?
@@GianScaglianti eu sei, mas só vou explicar no meu curso
Meus canais preferidos hashteg programação, curso em vídeo e programando programas
Poderia fazer uma aula comparando preço dos produtos de sites diferentes, mostrando quanto custa um produto A em fornecedores diferentes e talvez até fazer um ranking do melhor preço, etc... Parabéns pela aula👏👏👏
sabe se tem vídeo sobre isso usando python? (vários sites)
Mano kkkkk que daora isso. Valeu pelo vídeo. Entendi a importância de criar um ambinete virtual tbm
Muito legal. A tua aula é muito boa.
Parabéns o trabalho excelente de conteúdo!!! tenho uma noção de scrapy e agora com esse vídeo me ajudou muito! Obrigado
Muito obrigada! Muito explicativo! Espero que façam um com um site que as atualizações são recorrentes! No aguardo!
gostei bastante,que Deus abençoe vocês e a familia de vocês sempre
Muito bom, isso é um grande inicio para projetos maiores, parabéns e obrigado...
Sensacional! Parabéns!
Muito obrigado, seu trabalho é relevante e importante. Aprendi bastante com o vídeo e vai ser bastante útil pra mim
Muito bom conteúdo! minha primeira experiência em webscraping, obrigado.
Cara que show, eu amo webscraping, mas não conhecia o scrapy, muito show seu vídeo cara, Sucesso!
muito bom, parabens...
Muito bom Candioto!!! Obrigado por compartilhar e Parabéns pelo conteúdo!
Excelente! Muito obrigado!
Meus parabéns pelo excelente vídeo 👏👏👏
muito boa a dica do selector gadget!
Cara, muito boa aula, muito fácil a maneira como você trouxe o conteúdo, parabéns e obrigado!!
Top demais, Daniel!
Eu só tive problema em usar o terminal que não reconheceu o scrapy, mas usei o cmd. Acho que tem relação com a versão do Python que no vídeo é 3.6 e o meu já está no 3.8.
Mas no final, tudo funcionou perfeitamente.
Obrigado!
Eu estava usando o Python 3.11 e realmente deu errado. Parece que o Scrapy só roda nessas versões mais antigas (usei o Python 3.7 no meu venv)
Muito bom o vídeo.
Top! Obrigado por compartilhar essas informações.
Obrigado Diogo Defante programador
Parabéns!
Excelente
top demais esse framework!
Muito bom parceiro. Excelente para quem está começando.
Thanks! I've been searching how to get it and this is brilliant :D
Adorei o vídeo, os atalhos são incríveis, realmente facilita a vida. Ainda nesse assunto de Webscraping, consegue fazer um Webscraping que puxe os vendedores do mercado livre? Para prospecção de Leads.
Só professor bom nesse canal. Sou fã
Perfeito.
Excelente explicação.
Mais uma aula TOP, parabéns
Sensacional!
Muito bom. Parabéns pelo excelente vídeo.
Que aula meu amigo, conteúdo de valor !
Meus parabéns !
Começando os estudos de python com esse vídeo e para um projeto pessoal tbm. Como estamos em temo de copa do mundo, poderia fazer um vídeo mostrando como pegar os dados de alguma copa qualquer no site da Fifa. Tanto como resultados de jogos, escalação e marcadores de gol...
Vcs arrasam façam mais videos de webscrapping por favor
Muito bom os vídeos de vocês, parabéns!!! Minha dúvida é como fazer isso em um site que precisa de login e senha?
Aula Impressionadora! Adoro o conteúdo de vocês! A hashtag devia se chamar hashtop!
Obrigado pela aula!
Gostei da aula. Poderia mostrar depois como ficaria isso, fazendo tipo um cron, agendamento.
Parabens! Maravilha! Gostei muito!
Muito obrigado!
def parse(self, response):
for indice, filme in enumerate(response.css('.titleColumn')):
yield {
'titulo' : filme.css('.titleColumn a::text').get(),
'ano' : filme.css('.secondaryInfo ::text').get(),
'nota' : response.css('strong ::text').getall()[indice]
}
Maravilha meu irmão!
Muito bom o vídeo.
Poderia falar um pouco mais sobre scrappy vs requests + Bs4?
Muito legal
Muito bom vídeo!! Parabéns!
Conteúdo top, obrigado por produzir.
Excelente vídeo, inclusive!
@Hashtag Programação, muito bom !!
Vocês poderiam fazer uma aula de integração do Python de Análise de Dados com o Google Data Studio, seria muito interesse por ser um ambiente Web.
Excelente aula.
Valeu...
Muito bom - Obrigado!!!
Muito bom!
Muito booommm professor. Faz uma aula depois de scrapy pra coletar dados de sites como Americanas, Magalu, Mercado Livre, Shopee etc
Olá, ótima aula. Perfeita, como faço no caso de ter mais de uma página na lista de filmes?
Cara tem um problema ai, as notas todas foram 9.2, o get ta pegando somente a nota do primeiro filme, fora isso ficou perfeito, parabéns!
Maravilha!! Quando vai ter curso completo de Scrapy?
OI, faz um video de como usar webscraping para preencher formulario por requests
Muito bom!!!
to aprendendo muito com esse canal, muito obrigado !
Muito top.
Poderia pegar também de indicadores de mercado, bem voltado para o mercado de trabalho
boa tarde, tudo bem? queria ver um mini curso para coloetar dados do site da amazon para pegar valor e nome do produto. Muito bom o video.
nao consigo fazer o fetch pela url do imdb. aparentemente eles nao liberam o acesso e estao vendendo API's para poder fazer o scraping. alguma maneira de contornar isso??
quando eu uso o comando "crawl" diz que esse comando n existe no scrapy, e quando eu vejo a listagem de comando do scrapy esse comando "crawl" não está lá, ele também diz que o projeto não está ativado "no activate project", alguém pode me ajudar ?
Olá, boa noite ! É possível fazer webscraping de comentários da página de fecebook e Instagram. Eu trabalhava fazendo análises qualitativas de comentários nas Redes sociais. E fazia isso manualmente.
Mano muito bom o vídeo, mas os itens da nota estão errados. Deu 9.2 independente do filme, pq vc ta dizendo q a nota é sempre o primeiro item da lista de notas.
Faltou utilizar um enumerate no for pra poder iterar pelo índice e pegar a informação correta da nota através do índice.
For indice,filme in enumerate(filmes):
Yield{
...
Nota : response.css(...)[indice]
}
Mas ótimo vídeo, não tô querendo ser chato mas é pq é uma informação importante hehe.
Vlw, tmj!
Olá @Guilherme Pimenta, tentei o for loop e enumerate acima, mas nao funcionou também. Como conseguiu fazer?
@@Kgs2050 vc colocou o css seletor correto ?
@@guilhermepimenta1960 verdade
ele me retorna apenas 3 itens e com as notas 9 . e 2 kkkk
@@viniciussalgueiro1953 Tente fazer algo assim:
def parse(self, response):
for i, filmes in enumerate(response.css(".titleColumn")):
yield{
"title" : filmes.css(".titleColumn a::text").get(),
"date" : filmes.css(".secondaryInfo::text").get()[1:-1],
"rate" : response.css("strong::text").getall()[i]
}
pass
E fazer o scrapy crawl novamente
Boa tarde, pfvr se conseguirem fazer algum vídeo de WebDriver utilizando o internet explorer ajudaria muito.
Não achei nada na internet sobre, queria selecionar botões e escrever nos input, atualmente o sistema da minha empresa só roda nesse navegador.
Desde já muito obrigado.
Cara, acho que vale a pena uma aprofundada nisso hein.
Scrapy X Selenium: Quais as diferenças, quando utilizar um ou outro?
Como fazer uma extração e jogar os resultados direto em um BD?
Ah, e claro, conteúdo MUITO bom.
Obrigado e parabéns!
preferi fazer no selenium, ta doido maior trampo, essa parada de criar ambiente virtual, via a aula parando e pensando, ja no selenium fiz em 5min o codigo, scrapy deve ser bom para outras coisas
@@marcelohenriquepsy1491 Sim mano, dependendo da situação o scrapy acaba sendo uma "bazuca pra matar uma formiga", se é que me entende. O Selenium te permite fazer as coisas de um jeito mais prático e direto, mas quando você começa a pegar uns problemas maiores começa a ficar complicado (meu cenário).
Sobre papo de ambiente virtual, isso ai é independente do selenium po. É mais uma boa prática. Dependendo do contexto, dá pra lascar tudo no global mesmo.
@@marcelohenriquepsy1491 Sendo bem sincero o Daniel perdeu um tempo violento ensinando a criar ambiente virtual e as paradas por CMD, coisa que quem tá começando não compensa aprender isso de cara, só "assusta" mesmo.
@@marcelohenriquepsy1491 se você não criar ambiente virtual pode danificar o python do seu sistema ou seja qual for a linguagem, no máximo vc teria que formatar seu Pc! Se por algum milagre seus projetos estiverem no GitHub basta fazer o clone e continuar de onde parou!
dahora! valeu!
Blz! Estou inscrito no curso de Python Impressionador e estou gostando bastante deste assunto. Lá no curso de Python fala sobre Selenium e do Pyautogui, fazendo uma breve comparação entre estes que mecionei e o Scrapy, quando seria o melhor? ou quando devo usar um deles? Grato.
Ótimo vídeo
Daniel, Parabéns pelo vídeo, bastante didático! Gostaria de saber se o scrapy consegue também extrair informações de paginas dinâmicas.
valeu mano
Sou de niteroi perto do salesianos