Python Selenium Tutorial #1 - Web Scraping, Bots e Testes
ฝัง
- เผยแพร่เมื่อ 7 ก.ย. 2024
- Esse tutorial de selenium é feito especialmente para iniciantes que gostariam de aprender como utilizar o módulo selenium para o Python, voltado para web scraping, testes na web e criar robôs em sites. Selenium é um framework que permite que você interaja com sites utilizando o que chamamos de Webdriver. Neste tutorial, vamos aprender como instalar o Chrome Webdriver, e vamos automatizar o primeiro site usando selenium, vamos automatizar o cookie clicker!
➡️ Chrome Web Driver Download: chromedriver.c...
➡️ Cookie Clicker:
orteil.dashnet...
⚠️ Se inscreva no meu canal para acompanhar os novos conteúdos:
/ @d_napoli
Deixe seu LIKE e se INSCREVA no canal para mais conteúdos!
Tags:
Tutoriais de Python
Selenium Python
Python selenium tutorial
Selenium tutorial para iniciantes
Automação web com selenium
Hashtags:
#python #selenium #programacao
![[Live] : ONE 168 วันนี้!! "โจนาธาน vs ซุปเปอร์เล็ก"](http://i.ytimg.com/vi/0jIN65KgJsI/mqdefault.jpg)
![[Re:all TREASURE] EP.6 in 방콕ㅣ🚩 쩡캠의 방콕 투어 빵 마이 와이 👍](http://i.ytimg.com/vi/uyFw-nItA_s/mqdefault.jpg)
Depois de 1 ano deste vídeo (que é uma obra prima), algumas sintaxes do Selenium mudaram, para os principiantes como eu, a dica é colocar o código no ChatGPT, ele corrige o código atualizando as sintaxes e explica a diferença...
Muito obrigado pelo conteúdo Diego!
Obrigado amigo voce é um amigo
voce precisa continuar a fazer videos assim cara, ficou melhor que muitos canais gigantes
Muito obrigado, Wellington!
Comentários assim estimulam muito a continuar a produção dos vídeos!
Tmj!
Agora tem mais 1, eu =)
3:02, estou aqui na maior atenção focado no tutorial e do nada vem essa, sensacional! HAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAHAH
Seu tutorial é incrível, didática maravilhosa, exemplo excelente e descontraído!
Que isso, fiquei até constrangido kkk
Valeu demais mano!
O que vc ensinou nesse video, dezenas de canais e cursos nao conseguem passar 5% do que ensinou nesse video. Muito top.
Indignado que você só tem 326 inscritos, seu conteúdo é muito bom
Logo logo estará nas centenas de milhares
Vídeo muito bom cara, o único que achei que foi direto ao ponto sem enrolação
Consegui fazer um consultor do valor do dólar com o conhecimento desse vídeo, show demais
Diego obrigado para pelas explicações! Obrigado!
Cara você é de mais, explica muito bem, virei seu fã, e vou te seguir, que Deus te abençoe.
Valeu demais mano!
Apanhei p'ra caramba até encontrar seu tutorial top das galáxias.
Ganhou mais um inscrito.
Cara sou iniciante, e mesmo sendo iniciante com a tua didática eu consegui entender muita coisa! Sensacional 👏👏
Muito massa seu conteúdo Diego... eu tive alguns problemas no meu código, precisei fazer adaptações mas no fim deu tudo certo.. show de bola o conteúdo!!!
eu gostei muito do seu metodo de trabalhar com selenium, mudou minha produtividade
Que vídeo top! No momento o código está desatualizado pq o site colocou uma tela de escolha de idioma assim que abre o site. Continue com vídeo assim! +1 inscrito, likeeeee!
Faala Ricardo, valeu pelo comentário! 👊🏼
Essa parte do código ficar desatualizado é complicado mesmo... É uma consequência com o tempo.
Mas o que importa é o fundamento que tá por trás! 🚀
Fico feliz que curtiu o vídeo, tamo junto d+!
Fascinante, sua didática, explicou muito bem, além da edição de vídeo ficou top
Muito obrigado, Michael! Fico muito feliz que vc curtiu o vídeo!
Cara, voce é incrivel
tem curso em algum lugar mano? Da consultoria sei la kkkkkk Queria aprender com voce
Um dos melhores vídeos que vi de tutorial! Pena que o canal deu uma parada!
Bom dia,
Gostei muito do vídeo. A sua didática é clara e objetiva
Que didática boa pqp
Meu irmão, tu és maluco mesmo! muito bom cara! Parabéns!!!
esse video é incrível, queria saber como faz isso em um site especifico o da bet 365 pra buscar sempre o proximo resultado !
Quem sabe num futuro nao sai algum vídeo voltado pra esse universo de aposta online? 🤔
Voltando dnv e tá perfeito
Meu deus, aula ótima! Parabéns pelo trabalho
Valeeeu Guilherme!
Parabéns, continue com esse excelente trabalho.
Faala Wendel!
Muito obrigado, cara! Comentários assim me estimulam muito a continuar produzindo conteúdo!
Aula sensacional! Parabéns
Muito didático!! Vídeo Top!!
Valeu Thiago! Tamo junto!
Putz! Vc é super didatico!
Vc tem algum curso pra iniciantes pra vender?
Muito obrigado 🫶🏼
Ainda não tenho nenhum curso. Quem sabe no futuro? 😬
que conteudo bacana! muito bom mesmo, ja me inscrevi!! tem futuro!
Valeeeu Jorge! Muito obrigado pelo comentário!
incrível sua didática, parabéns!!
Tá de parabéns irmão q aula show , queria saber uma coisa tem como me dá uma aula ? Fazer um vídeo pra mim ? Tipo vídeo aula
3.03 e o cara manda um peidinho e solta a risada....hauahauahauahau
😂😂😂😂 Eu tbm percebi. 😂😂😂😂😂
Quem nunca né?
Era ediçao ahsuahusa
Mas fico feliz que vcs pegaram esse detalhe! Brabos!!!
ótimo video!
Valeu mano!
Ótimo vídeo e adorei a edição! Kkkkkkkk
boa dica do dicionario
Kkkkkk, o maluco é brabo
Kkkk Valeu mano!
mano seu video ta muito bomm vei
O loko vc eh muito fera
Tamo junto, Diogo!
Otimo video!!!
Consegui melhorar. Consegui fazer o script clicar no cookie dourado que aparece em tempos aleatorios e ordem aleatorio e comprar os itens da loja
Brabo!
tenho uma duvida, quando vc abre o cmd no seu ja aparece algo a mais escrito no caso isso \Desktop\Cookie_Clicker> e no meu não e mesmo que eu escreva não vai
Você precisa navegar até a pasta que você está codando o seu programa.
Para navegar você usa o comando “cd”
Exemplo:
“cd C:/Desktop/cookie_clicker”
Mestre o video e muito bom, e a didatica facil de apreender.
Porem quando executo os comandos, abre a pagina em branco do chrome muito rapido e fecha sozinha.
Poderia me orientar por favor .
Valeu por acompanhar, mano!
A tela branca esta aparecendo em que momento?
Quanto você tem do código pronto?
Cara, vi seus vídeos por acaso porque to precisando fazer uma integração entre o Google Sheets e o Selenium pra automatizar uma tarefa do trabalho com uma planilha com mais de 200k de users, mas eu simplesmente não consegui fazer 🥲
Precisa ser entre google sheets e selenium? O Google Sheets tem API bem fácil de usar. Imagino que deva ser bem mais simples do que automatizar a partir da tela.
@@d_napoli Basicamente eu tenho essa planilha do Google Sheets que contém aproximadamente 200k de usuários inativos a mais de 6 meses (no momento que fizemos o relatório) e o saldo que preciso retirar da conta deles por conta dos nossos T&C. Além disso, tenho o painel do servidor onde consulto os usuários, a última data que acessaram a conta e o saldo que possui na conta (informações relevantes).
Eu preciso pegar o usuário da planilha no Google Sheets, ir para a aba do painel, pesquisar pelo usuário, verificar se de fato ele não entra a mais de 6 meses. Caso tenha entrado, voltar para a aba da planilha e remover a linha desse usuário, seguindo para o próximo usuário da linha seguinte.
Caso não tenha entrado nos últimos 6 meses, ir até a área de controle do saldo, inserir o valor à remover (copiado da planilha no Google Sheets, na linha do mesmo usuário) e remover o saldo.
Depois disso, retornar na aba da planilha do Google Sheets e marcar a caixa de seleção, confirmando que o saldo foi removido.
Isso "resumidamente", porque no caso teria que fazer etapa por etapa né.
Pesquisando aqui no TH-cam e utilizando o ChatGPT, ele me direcionou a utilizar Google Apps Script, Google Sheets API e o Selenium, mas eu não consegui fazer a integração entre todos eles e fazer funcionar em uma janela do Chrome somente com as duas abas nela, porque pelo que li no código do Selenium, ele abriria uma nova janela toda vez que executasse o script.
Só pra constatar que eu sou totalmente leigo em codar. Eu to pra começar minha facul de ADS no fim desse mês, mas não manjo nada kkkk
Tive poucos contatos com programação até hoje, mas gosto muito da área.
Enfim, é isso irmão, segue essa bíblia aí kkkk
Achei que não tinha respondido porque não tava encontrando a mensagem kkk
look! today I found out that Google is no longer allowing login that way. is there another way to automatically login using Python?
não conseguir criar esse "SITE_MAP", no selenium 4.0 mudou e fazendo dessa forma ele acusa as sequências de botões como strings. Para dar certo eu tive que fazer essa linha de código: self.driver.find_element(By.XPATH, ''/html/body/div[2]/div[2]/div[12]/div/div[1]/div[1]/div[10]''.
E assim ele executa o processo, permanece correto ? Também estou o webdriver_manager, dai não preciso desse processo todo de mover o exe. e encontralo.
Permanece correto sim, o site_map seria só para facilitar a leitura do código.
Como você está buscando pelo caminho do Driver? Verifique se colocou as barras corretamente na string
Preciso acessar um Google Drive e realizar o download de um arquivo CSV pra o meu computador....
Como fazer isso?
Imagino que utilizando a API do Google Drive você vai ter mais sucesso. O selenium não é o ideal para esse tipo de tarefa não.
Como faço para automatizar esses clicks, no meu próprio navegador?
Pq o selenium abre um sem nada configurado
Jogava muito esse jogo do biscoito, agora vou voltar a jogar só por causa disso kkkkkkkkkkkkkkk
Ashauhsuhsaushau
cara, peguei um software do github e rodei, mas ai o site no qual ele tá tentando fazer scraping tá dando block pelo cloudflare, diz que o site bloqueou o acesso, há como resolver isso?
Só com muita reza braba 😂
Brincadeiras a parte… tem algumas configs que você pode fazer.
Esse problema acontece porque o cloudflare identificou que o seu browser era um agente automático, daí pra passar por isso, você precisa convencer ele do contrário… Tem varias coisas que podem ser feitas:
- settar configs no header das suas chamadas
- add delay entre as atividades do bot
- settar user agents nas configs
São muitas opções. Espero ter dado um norte! Abraços
Boa noite!! Eu sou leigo nessa de programar e estou querendo aprender, eu nao consegui executar esse metodo seu ai, quando mando executar o codiggo ele nao passa do primeiro (def) ele nao pula para o segundo como faço voce poderia me informar o que estou fazendo de errado
Meu navegador fecha automaticamente assim que inicio o código. O que pode ser?
Boa tarde
Utilizando o SELENIUM eu consigo entrar em um google drive e realizar o download de um arquivo .CSV?
Mano, conseguir consegue….
Mas tem alguns poréns:
- selecionar a pasta de destino do download é chatinho
- se tiver que fazer login no drive aumenta a complexidade
Talvez a API do Google Drive te atenda mais. 😬
@@d_napoli iria salvar em C: mesmo
Usaria em python pois estou automatizando uma paradinha aqui rs
@@user-iv8bg6ek1u a dificuldade é que o caminho onde se coloca os arquivos, aparece numa tela de PopUp, que salvo engano faz parte do sistema operacional, possivelmente o Selenium não teria acesso.
A solução da API não te atende?
@@d_napoli ah ta
nem se usasse outra biblioteca para fazer isso?
@@user-iv8bg6ek1u Tem algumas libs que fazem isso sim, mas eu não tenho conhecimento prático dessa parte para te informar. Vale tentar.
Alguém pode me indicar um bom curso de web scraping?
cara o self.driver.find_driver_element_by_xpath nao esta funcionando, esta funcao foi descontinuada?
sim, acredito que sim, eu troquei por self.driver.find_element('xpath', self.site_map["buttons"]["recapcha"]["xpath"]).click(), e funcionou.
Caso eu queira colocar um tempo, onde eu coloco?
Como assim colocar um tempo?
@@d_napoli posso criar uma pasta e colocar esse webdriver nela ?
@@aramisplay2540 sim, basta você referenciar o caminho no código.
Queria continuacao, mas acho que nao vai ter😢
Como já dizia o meme: Achou errado! Kkk
Só não é de selenium, mas tem vídeo novo.
Qualquer dia sai a parte 2 do Selenium
Bom dia mano, como posso falar com voce no pv?
Fala Sav, beleza?
Cara, você pode consultar o meu e-mail na aba "Sobre" do canal.
@@d_napoli ok vou mandar um email para voce.obrigado
kkkkkkkkkkkkkkkk q edicao foda
Valeeu Filipe!
Cara.. me ajuda!!!!!1
Preciso clicar no seguinte objeto
Export
como posso fazer isso no selenium com o python
Faaala Saulo, beleza?
Cara... Vc pode fazer isso usando o mesmo princípio do vídeo.
Pode utilizar o xpath quando inspeciona elemento, ou então usar outros métodos de seleção
- Caso o elemento tenha um 'id', vc pode utilizá-lo
- Vc pode ir pela classe "image_button"
- pode ir pela tag do elemento
Daí quando vc já tiver o selenium selecionado o objeto, basta mandar o método click() igual no vídeo!
Valeu por acompanhar, tamo junto!
@@d_napoli muito obrigado pelo reply!!
Tentei pelo xpath e não deu 😢😢..o código tem uma opção de onclick..eu sou novato tbm. Vc saberia clicar por esse onclick?
Vou tentar amanhã pela tag
@@saulohenrique5543 Esse onclick é um método que acontece quando o elemento recebe um clique por parte do usuário. Se vc no selenium pedir para clicar no elemento certo, já estaria disparando esse evento 😄
@@d_napoli acho que entendi!!
Não sei o motivo, mas o selenium não está encontrando o objeto que queria 😭. Não consegui ir pela tag. Tenho que copiar o selector?
@@saulohenrique5543 Cara, cada elemento tem uma melhor maneira de encontrar... Sem ver o seu exemplo é um pouco complicado saber... Mas recomendo ler esses dois artigos aqui: (Eles devem te ajudar)
www.selenium.dev/pt-br/documentation/webdriver/elements/finders/
selenium-python.readthedocs.io/locating-elements.html
faz um para roleta
Quem sabe! ashuahsua
Olá gostaria de uma ajuda pra criar um bot algo simples não estou afim de aprender python ainda porque estou estudando outra linguagem de programação , eu queria um bot pra poder ver anúncios automaticamente no navegador breve algo simples abrir o navegador na aba nova aba, em seguida apertar tab para descer e ver o primeiro anuncio fechar essa mesma pagina aperta tab de novo e seguir fazendo esse processo, cada anuncio que eu vejo ganho 80 bats se completar 1000 ganho 6 reais alguém poderia me passar os códigos pra eu rodar aqui se alguém poder eu agradeço
demora muito pra completar 1000? eu posso fazer esse script
consigo fazer, você tem Instagram?
quero fazer um .exe para mim execeutar um bot desse tipo em outros computadores, é possível?
]
sim, tem bibliotecas que fazem isso
mas dependendo como o programa é construido pode não funcionar.
Estou aprendendo só para atualizar uma script de views kkkkk
Um script de views do TH-cam? Tem a API do Google que pode te ajudar nisso!
quero falar com voce, proposta de um projeto
nao deu certo
A vida é dura as vezes
como ganhar dinheiro com automação?
Fala irmão me ajuda
Como posso te ajudar?
Sua didática é excelente, todos outros vídeos q vi sobre o assunto são muito complicado já o seu consegui entender perfeitamente
Qual o seu numeo de Whatsapp?
(55) 98972-8673
www.4devs.com.br/gerador_de_pessoas
Fiquei sabendo que o selenium retirou a função "find.element_by_xpath", troquei no meu código por self.driver.find_element("xpath", (objeto).get_attribute("class")). Estou tendo o erro:
ile "c:\Users\victo\RPA_Selenium1\cookie_clicker.py", line 73, in
biscoito.comprar_upgrade()
File "c:\Users\victo\RPA_Selenium1\cookie_clicker.py", line 61, in comprar_upgrade
objeto = self.SITE_MAP["buttons"]["upgrade"]["xpath"].replace("$$NUMBER$$", str(self.pega_melhor_upgrade()))
^^^^^^^^^^^^^^^^^^^^^^^^^^
File "c:\Users\victo\RPA_Selenium1\cookie_clicker.py", line 51, in pega_melhor_upgrade
classes_objeto = self.driver.find_element("xpath", (objeto).get_attribute("class"))
^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'get_attribute'. Did you mean: '__getattribute__'?
obs: já troquei pelo indicado __getattribute__ e da o mesmo erro
obs: O click no biscoito funciona
Poderia me auxiliar?
Sim, o Selenium mudou a API msm.
Parabéns por ter procurado a nova syntaxe e colocado aqui nos comentários! 👏🏼