ฝัง
- เผยแพร่เมื่อ 7 ก.ย. 2024
- Neste vídeo vamos fazer um web scraping em python para monitorar o preço de um produto.
💊Quer explodir sua mente!: encurtador.com.br/fhDT8
Vamos usar as bibliotecas Beautiful Soup e request para podermos trabalhar com os dados da web.
💰Seja patrocinador do canal :
picpay.me/codi...
apoia.se/codifike
Os links abaixo são de afiliados, comprando através desses links eu ganho uma pequena comissão do site sem nenhum custo adicional no preço. E você me ajuda a continuar produzindo conteúdo.
🎬 Equipamentos 🎬:
🎤MICROFONE PROFISSIONAL VOCAL COM FIO, SHURE, PGA48-LC
amzn.to/34CHwhW
⌨Teclado Redragon:
amzn.to/2GH2Uce
🖱 Mouse Logitech Mx Master 3
amzn.to/3mMg34a
📸Webcam Logitech C920 Full HD 1080p:
amzn.to/32talL9
🔦Kit de Iluminação Duplo com Softbox:
amzn.to/3gyJbYm
🖥Site:
www.codifike.c...
#python #webscraping #raspagemdedados
![Web Scraping Football Matches From The EPL With Python [part 1 of 2]](/img/n.gif)
Graças a esse homem eu vou ganhar muito dinheiro esse ano! Que Deus te abençoe
sou bem inexperiente com python, estudo a quase uma semana mas consegui seguir o vídeo e fiquei muito feliz quando consegui receber o email, muito obrigado! notificações de preços é um primeiros temas que pensei em aplicar e pelo visto agora é só progredir a partir daqui
Oi Victor, Esse é o objetivo do canal. Muito feliz em saber que conseguiu. Abraçso
Pô cara, eu pedi web scraping no último vídeo e vc fez msm(apesar de não saber se foi pq eu pedi).
Vlw msm
😉👍
Excelente aula, estou sempre acompanhado os vídeos do canal, parabéns. Só uma dica: poderia dá uma melhorada no tema pra ficar mais didático, quem sabe fundo branco pra quem assiste a aula seria melhor. Particularmente programo com temas escuros também, mas pra quem assiste, na minha opinião, melhor temas claros ou com cores mais fortes.
Olá Brayan, muito obrigado. Nos próximos vídeos vou usar fundo branco
Alguns sites o script diz que não possuem acesso ao .get_text mesmo estando em , mas gostei do vídeo e pretendo aprender mais sobre e tentar polir minha aplicação o máximo possivel. Obrigado
Já tive q fazer muito webscraping, já fiz Shell Script no Linux, com Java e C#... Usei regex e stringTokenizer em muitos casos... mas com essa biblioteca fica bem mais fácil. Valeu pela explicação clara e objetiva!
Olá Amanda, Muito obrigado
Cara, excelente aula! Muito bem explicada, sem pular partes pressupondo o conhecimento de quem está assistindo, realmente muito didática, gostei muito, vou maratonor seus vídeos.
Obrigado
Muito top cara. Não sei muita coisa ainda de python estou começando agora por hobby. Mas curti seu vídeo!
Olá Marcos muito obrigado
parabéns! a didática é incrível!
Oi Antônio muito obrigado
Simples, objetivo e extremamente didático! Parabéns pelo vídeo!
Obrigado
obrigado pelo vídeo. vou usar a ideia para monitorar vagas para primeiro emprego
Oi Giovanni. Que bom q gostou. Excelente ideia para webscraping
Boa noite, Fabricio.
Estou aqui assistindo seu vídeo às 23h da noite, tentando aprender as ferramentas do Python e também a monitorar preços e estoques de produtos em sites!
Estou com uma dúvida e como o vídeo é de 3 anos atrás, não sei se você irá ver minha mensagem para me ajudar nessa dúvida.
O Telegram possue Bots, e neles ficam tudo mais simples e "fácil", de registrar vários links para que o Bot monitore valores dejesados ou estoque. Eu digo isso por experiência de eu estar em um grupo de promoções que possue um bot que faz isso, você só manda o comando de /stock, ele pede o link do produto e pergunta se você quer monitorar o estoque caso esteja sem estoque, ou se quer monitorar o valor e qual seria.
Então a minha dúvida é se o seu ensinamento neste vídeo segue o mesmo padrão caso eu queria fazer isso utilizando um Bot no Telegram, configurar no PyCharm, para quando usar o comando no Bot do Telegram ele responder por lá?
Excelente video, me inscrevi e estou acompanhando todos os videos!
Olá. A resposta simples é que sim, tudo é possível. Esse bot teria que ter uma inteligência por trás ( programa) para quando vc passar o link do produto ele comece a monitorar. Agora, tem diversas variáveis que tem q considerar, como as paginas mudam a toda hora então que ajustar o programa para ler corretamente o link, tem que ter um programa que vai ser disparado quando vc mandar o link, o programa teria que ficar em loop para monitorar o site.
Que top seu vídeo, parabéns, também curto muito webscraping, sucesso!
Obrigado
Que vídeo bom. Gostando muito do seu conteúdo. Parabéns pelo trabalho.
Muito obrigado Vinicius, vai ter muita coisa boa vindo aí. Abraços
Boa Tarde, primeiramente obrigado, deu certo aqui, excelente vídeo.
Alguma sugestão de como deixar isso monitorando usando windows ?
Oi Wesley que bom que funcionou. No windows você pode usar o agendador de tarefas. Segue um link sobre isso: encurtador.com.br/fpKS3
Gostaria de pedir uma ajudinha.
Eu to começando agora a aprender sobre python e web scraping, me interessei por essa área.
Minha dúvida é a seguinte, estou tentando pegar o título da pagina em específico (do site da livelo), mas eu não consigo encontrar, somente usando o selenium. Poderia dar uma breve explicação?
Valeu pelo vídeo! Top demais!
Eu que agradeço
Top demais, me ajudou bastante, agora preciso é criar um executável para este programa para instala-lo em outros pc, você tem alguma aula sobre isso?
Oi Vitor, que bom que gostou. Mas vc não precisa de um executável, basta instalar o Python no outro PC e rodar esse programa lá. 😜
Excelente didática e conteúdo. Tentei fazer pra alguns sites como casa Bahia, Amazon, e Magazine, e estranhamente não consigo recuperar o valor. Somente o nome do produto.
Olá Franklin,obrigado. Alguns sites via JS mudam as variáveis.
Professor!! Baita aula, mas meu código da "none" logo no primeiro teste. Fiz e refiz o código.. onde posso estar errando? Por favor!!
Ótima aula! Obrigado!
Veja se pegou o nome.correto da tag
Show, ajudou muito !
Ótima aula , gostaria de saber se é possível fazer com todos os produtos do site , e utilizando Google colab para atualização , e além email atualizar uma planilha, muito obrigado pela aula.
Sim, é possível, basta vc criar um programa para cada produto que desejar
Não tem mais como ativar a opção de App menos seguro, o código está dando erro
Neste caso teria q usar uma nova plataforma de envio de e-mail como o mailgun ou sendgrid
olá e como faço para monitor mais de 3 sites ecommerce, que apareça o preço e imagem dos 6 itens mais vendidos da pagina... (exemplo, mais vendidos da categoria de smartphones) e que ele atualize para mim a cada 5 dias. Tem como ? obrigado
Teem que se um scraper para cada site, pois são diferentes. mas a logica que viu nesse video é o mesmo
Excelente aula! Amigo, agora fiquei com uma duvida, como seria o web scraping para monitorar uma categoria de produtos que tiveram por exemplo +40% de desconto, pulando os que teve por exemplo até 39% ?
Exemplo: quero monitorar o site "X" que vende categoria de Informática e o script monitorar essa categoria os produtos que recebeu mais de 40% de desconto e ignorar os que tiveram menos descontos.
criar uma função que calcula o desconto. essa função recebe o parâmetro do preço e retorna o valor do desconto
Cara vc e 10!!!
Excelente conteúdo. Mas, infelizmente pelo tamanho da fonte utilizada não dá pra ler em tela de notebook ou ipad
Olá Edmilson, realmente neste ficou pequeno, tomei cuidado para não acontecer nos outros vídeos.
Cara seus vídeos são sensacionais parabéns 👏🏿👏🏿
Eu estou com um projeto você poderia me ajudar ?
Qual a dúvida?
Vídeos mt bons mesmo parabéns
Olá Mayksuel obrigado
Show, muito bom.
Dúvida: tem como ao invés de utilizar o send email, usar para enviar para um grupo no Telegram?
Tem mas vc tem. Q instalar a lib do telegram e saber o id do grupo. Tem um vídeo aqui. No canal sobre bot onde mostro como enviar mensagem para o telegram
E pro caso de eu tentar receber a atualização de mudança de um preço variavel impresso anteriormente? Digo, ao invés de vc estipular "5000" ser o valor impresso de outro codigo?
Não entendi muito bem a questão. Pode dar um exemplo?
Primeiramente parabéns pelo conteúdo!!
Fiz aqui seguindo seu script e aconteceu qdo estava codando o site atualizar mudando todas as CLASS_ .... Verifiquei que isso acontece todo momento, o site fica atualizando suas informações em poucos minutos... Alguma sugestão?
Neste caso,alguns sites alteram o DOM para evitar scraping. Aí fica realmente complicado pois não sabemos as tags q precisamos usar
@@Codifike vc teria alguma outra sugestão? Tem algum vídeo com outra técnica?
@@CarlosAbujamra Vi algumas técnicas neste artigo aqui dev.to/scrapehunt/two-quick-hacks-for-web-scraping-pages-with-dynamic-css-class-names-j0b
Como fazer para transportar as informações de um scraping Python para uma aba específica de um arquivo excel ja existente ? Se possível para células específicas de planilhas q ja possui dados sem inteferir nas informações q ja estão lá
Vc pode fazer algo do tipo : with pd.ExcelWriter('mult_sheets_1.xlsx') as writer1:
df_1.to_excel(writer1, sheet_name = 'df_1', index = False)
@@Codifike muito obgd pelo retorno em apoio e parabéns pelo conteúdo do seu canal; to aqui aos 50 anos, encantado com as possibilidades com o Python e batalhando para tentar aprender programação através dele
@@topdronesmgtopdrones347 EU que agradeço o apoio.
Amigo, existe alguma extensão de navegador que permite realizar isso?
Olá que eu conheça não.
como ler o arquivo xml de mais de um site e anotar o preço e os estoques e fazer um banco para anotar dia do preço e estoque mais o mês?
Você pode usar o beautiful soup, ou a elemento tree. Neste caso vc pode passar as URL em uma lista. Para salvar no banco de dados, precisa ter a biblioteca de acesso ao banco e o banco de dados modelado para receber as informações
Como faz a crontab no windows?
pt.stackoverflow.com/questions/265600/como-rodar-o-cron-do-schedulerun-no-windows
Como faço para buscar vários itens e preços em uma mesma página?
Oi Aline, assiste a esse vídeo aqui que falo sobre isso : th-cam.com/video/_Ri-QjToQ24/w-d-xo.html
@@Codifike Obrigada 😃
👍😀
é possível fazer isso em um site que exige login para ter acesso aos preços?
Sim, fiz um vídeos sobre isso na playlist de webscraping
Alguem pode me indicar um curso bom de web scraping.
Preciso de um serviço seu, deixe seu contato, obrigado
Eu conseguiria pegas os preços de imagens?
Se estiver em um tag sim.
Tem como deixar executando de hora em hora no windows?
Oi Rafael , tem sim, você pode deixar no agendador de tarefas do windows. Segue um link sobre isso: encurtador.com.br/fpKS3
@@Codifike show! Muito obrigado! Fiz o algoritmo hoje e funcionou super bem, fiquei bastante feliz porque de quebra aprendi o send mail tambem. Muito obrigado mais uma vez!
@Rafael Ribeiro de Lima essa é a função principal aqui do canal. Abraços
não consigo instalar o pip install smtplib da esse erro
ERROR: Could not find a version that satisfies the requirement smtplib
ERROR: No matching distribution found for smtplib
Dá uma olhada neste artigo
@@Codifike qual ?
@O Curitibano Foi mal stackoverflow.com/questions/44198752/installing-a-python-package-that-is-not-available-in-anaconda-smtplib