Como extrair dados de QUALQUER SITE usando Python Web Scraping
ฝัง
- เผยแพร่เมื่อ 17 ต.ค. 2024
- Como extrarir dados de qualquer site usando Python ( Web Scraping) e SQL em alguns momentos. Você deve estar se perguntando se e isso é possível, se é ilegal e outras coisas. Tudo isso isso você vai saber nesse vídeo. ASSISTA ATÉ O FINAl.
Quer aprender a manipular dados de forma efetiva e se tornar um profissional completo?
Conheça a plataforma da Data Marketing:
www.datamarketi...
Link do projeto Python:
bit.ly/3HD0R3r
Link do projeto SQL:
bit.ly/3rKHP5L
Seja membro deste canal e ganhe benefícios:
/ @datamarketing
Você quer se tornar um analista de dados? É disso que trata este canal! Meu objetivo é ajudá-lo a aprender tudo o que você precisa para começar sua carreira ou até mesmo mudar sua carreira para Data Analytics.
Se inscreva no canal para não perder nenhum conteúdo.
Link para receber as aulas grátis de Google Data studio:
viverdedados.d...
💥 Fique por dentro de tudo que acontece no mundo de tecnologia voltada para análise de dados e Marketing Digital
Grupo no Telegram para debate, divulgação de vagas e esclarecimento de dúvidas sobre o conteúdo: t.me/canaldata...
Siga também a página no Linkedin: lnkd.in/djEGF8a
💥 Banco de Dados
💥 Análise de Dados
💥 Marketing Digital
💥 Crescimento Profissional
#cienciadedados #python #sql
Quer aprender a manipular dados de forma efetiva e se tornar um profissional completo?
Conheça a plataforma da Data Marketing:
www.datamarketingdigital.com.br😀
amigo, preciso tirar uma dúvida essa ferramenta ela pode extrair dos sites os ip,s que acessaram o site ? pois gostaria de extrair lista de proxy.
Da pra recuperar senha de email?
você já tentou extrair o contato e anunciante do OLX? Estou levando pau para extrair isso, parece que tem um bloqueio, pois o retornando é sempre none. Poderia me dar uma luz?
Luan , boa tarde, funciona em sites de consulta de dados?
Oi Luan, boa tarde tudo bem? Obg pelo seu video. tenho uma duvida... Preciso fazer a coleta de dados de 25 paginas de um site, ou seja, pagina 1 > coletar dados, ir para pagina 2 > coletar dados, ir para a pag 3 > coletar dados... e assim por diante.. Como faço? Obg
Preciso tbm kkk
@@julianorodrigues5884 se conseguires resolver isto me dá a dica kkk
Coloca tudo dentro de um For
uma vez resolvi concatenando o numero da página na url, por exemplo url/n_page , n_page começa com i=1 e faz um for com o range sendo o número de página que quer extrair
Daria pra conseguir robôs em arquivos XML de plataforma de operações automatizadas??
Site que uso login e senha da pra fazer o mesmo preciso exporta dados pois dentro do site não tem essa opção
Como consigo a extrair do bitcoin para botar em outro site ?
fala irmão blz ? estou utilizando uma empresa que ela fornece informações de um banco de dados como nome de clientes cadastrados é possivel eu trazer este dados para meu site em tempo real ?
como eles não dispoe pagina whatlabel preciso por essas informações para meu site sem que ele descubra a empresa principal que eu uso os recursos
contrato seu serviço
opa eai, então to criando um aplicativo q vai pegar info do insta e passar la dentro, por exemplo: quantidade de seguidores
como faço pra pegar essa info do instagram? eu tentei de varios jeitos ja mas não consigo de jeito nenhum ...
Oi Thiago, existem muitas alternativas atualmente.
Uma das mais conhecidas gratuitas é usando o adveronix pegando os dados e jogando para um Excel online antes de levar para uma ferramenta de BI.
Pesquise sobre 🙂
Não entendo nada sobre o assunto. Ah algum curso que eu possa aprender do zero? Se sim, me diga onde, por favor.
Oi Roberta, envia um direct pelo instagram @datamarketingoficial que te ajudo
É normal ao usar proxy a raspagem ficar mais lenta?
Olá Grande Vídeo ! poderia fazer algum de Web Scraping utilizando Python biblioteca Sellenium? Obrigado
E onde encontro esses dados ou robos pagos com analise e sinais para apostar em bacbo?
mano, qual o programa que vc tá usando? Criei uma conta no DataBricks, mas ñ acho essa interface em que vc está
Oi Sidney, estou usando a versão Community do Databricks. Me envie uma mensagem pelo discord que te envio o passo a passo para criar a conta e acessar por lá =D discord.com/channels/954853463282569287/954870183791591484
Como faz para prospectar contas do Instagram com número de whatsapp pelo o Google pesquisas? Captar em massa?
mano, aconteceu algo terrivel cmg, eu cair em um golpe, perdi 20 mil.
agora nao tenho mais nada de nada.
tentei buscar video para tentar invadir o site para pegar o banco de dados para ver se reuno as informaçoes dos golpistas para que possam ser pegos e pegar meu dinheiro de volta ou uma parte.
entao queria saber se é possivel.
Olá, o seu problema se resolve acionando a polícia civil e não tentando invadir um site
NEM DE LONGE VAI CONSEGUIR "extrair dados de QUALQUER SITE"
Opa, você sabe se dá pra pegar as informações de "erro" dentro do site? Tipo, pegar os códigos (200 - acesso ao site) (404 - não conseguiu acessar)
Essas mensagens de erro conseguiria pegar dentro do Google Analytics se tiver implementado no site e fazendo o tagueamento do erro.
Praticamente qualquer coisa dentro do site é possível pegar com essa ferramenta 😉
@@DataMarketing Opa, Valeu pelo retorno. Mas decidi que essa informação "404" não seria muito útil, então estou querendo adicionar avisos nas minhas linhas de código. Assim que eu escrever em algum elemento web, quero me retorne num logging. Seria possível isso?
ótima aula ganhou um inscrito, vou assistir com mais calma!
Da pra saber a lista de ranking de apontadores mais lucrativo?
Como enviar os dados também para uma planilha do excel?
Algo assim em pandas:
Df.to_csv("nome_do_arquivo")
Boa Jonathan!! =D
Como consigo a API da bet365? Ajuda irmão
Fala mano, sabe me dizer se este exemplo é possível: Preciso colher a data em que ocorreu a averbação de um documento, tal necessidade é disponível publicamente no site do siscomex. Aí possuo uma base com +/- 600 documentos que preciso ficar entrando no site com cada documento, localizando onde está a palavra "Averbação" e pegar a data. Seria possível um loop em cima dessa necessidade dele ficar entrando no site, colhendo a data e jogando para um excel, aí segue esse processo até não ter mais nenhum doc?
acho que dá sim
MUITO BOM ONRIGADA !!!!
obrigado!!!
Eu comsigo extrair dados de um site esportivo ?
tá com a mesma ideia né danado kkk sofascore
Fala Luan, blz? Me tira uma dúvida, esses dados que agora estão no SQL são atualizados de maneira automática com base no site de origem?
São sim! a atualização ocorre sem que rodar o projeto. Dependendo da versão da plataforma, vc pode agendar atualizações automáticas. A que eu usei era uma versão gratuita então n tem esse agendamento
@@DataMarketing Luan, obrigado pelo esclarecimento, foi de grande ajuda. Agora vou poder iniciar meu projeto. 🤗
Quero extrair dados de um site de aposta, criar um boot e metodo com base nesses dados extraidos e em cima disso enviar uma mensagem para meu telegram caso bater o metodo? Tem como me informar quais são os passos para isso? sei logica de programação e algumas linguangens
Web Scrapping, Python com biblioteca Beatiful soup. Pode usar o chatgpt pra te dar dicas de outras bibliotecas do python pra fazer esse serviço =)
Valeu Chris! ❤
Tem como copiar dados de jogos para fazer modificações
É possível pegar Banco de dados de outros sites em q o Banco de Dados não esteja disponível igual ao do vídeo?
Consegue passar um exemplo de que tipo de site?
@@DataMarketingAmazon
Isto poderia fazer site google meu negocios ,claro escolher nicho expefico.. e extrar leds todos ... para excel...
E pra casa de apostas !? Como fazemos!?
otima aula mas esta sem legenda (automatica do YT) oque pode acabar sendo ruim para quem tem problemas auditivos
Olá, vc consegue extrair dados do site BET365?
é possível utilizando python e as bibliotecas sellenium e beatifulsoup
Tipo, como eu pego a base de e-mails cadastrados de outro site?
Por procedimento legal não rs só hackers conseguem fazer isso pq não é permitido
é possivel fazer um web scraping no rabbitmq ?
Oi rodrigo, não conheço esse site
Fala mano blz ? Muda esse titulo ai, raspagem de dados não é Hack
Caiu no clickbait kkkkk
Ta procurando hack né kkkk
É hacker sim e d hj em dia pode dar ate prisão 😂
vai safadin kkkkkkkk
POderia fazer do site da blaze?
Não conheço esse site
Eai mano conseguio fazer?
@@DataMarketing Eu utilizava o Selenium para extrair dados de um site pois precisava fazer login, porém após um tempo utilizando fui banido de acessar vários sites (acredito que pelo IP) têm alguma ideia de como resolver?
@@geraldoantonio2392 tenta usar vpn
@@geraldoantonio2392 ou se vc preferir usar seu ip msm, reseta o moldem, dai ira trocar de ip e vc vai conseguir usar normalmente
Disponibiliza esse notebook?
O link está na descrição =)
Parabéns cara seus vídeos não top 👏🏿👏🏿👏🏿
Muito obrigado ✌
quero estrair dados do casino e ganhar dinheiro especificamente roleta tem como?
Ter como tem. É provável? Não, mas gente que consegue rs
O link do telegram n funciona..
Olá, tudo bem? pode acessar por esse link: t.me/canaldatamarketingdigital
Braboooo
Obrigado!!!!!
sou novom uma duvida eu poderia integrar um codigo do DATABRICKS ou do Jupyter em uma outra ferramenta
seu video me ajudou muito resolver um problema que tive em relação a webscrappy e principalmente pra ler tabelas html
Oláaa, sim, o código é universal e pode ser replicado em qualquer ferramenta. Databricks, Jupyter, Google Colab ou até localmente no visual studio =)