ฝัง
- เผยแพร่เมื่อ 17 ต.ค. 2024
- Aprenda a fazer Web Scraping em sites com Automa
Gostou do vídeo? deixe seu like e se inscreva.
Conheça também o nosso canal secundário:
/ @esfera_tech
Grupo oficial dos meus 2 Canais:
l1nk.dev/2zDc2
NOSSO CANAL OFICIAL DO TELEGRAM:
t.me/dcodeclub
NOSSO INSTAGRAM
/ dcode.hub
Contato Comercial (não respondo dúvidas de vídeos)
clubdcode@gmail.com
ótima aula obrigada! Só senti falta desses videos que vc já fez nas descrição ou nos cards pra ficar fácil de sabermos qual vídeo assistir!
Esse vídeo é aguardado por todos a um tempo já o curso está top Já consegui automatizar boa parte das coisas aqui na empresa
Poderia me tirar uma dúvida por favor. Usar o Automa ajudaria a um completo iniciante zerado m programação a entender todas as funções que a programação em python pode fazer? ou as principais funções/recursos?
The tutorial is about using Automator tool for web scraping. It explains creating workflow, storing data in a table, and extracting information using CSS selectors. The speaker successfully scrapes book names from a website.
[00:00] Web Scraping Tutorial using Automa
[00:00] The tutorial introduces web scraping using Automa, a tool that allows the extraction of data from websites using a bot.
[00:21] Multiple web scraping techniques with different tools have been previously covered on the channel, including N8N and Python programming.
[00:51] The tutorial serves as an introduction to a recently launched free course on automation and data mining using Automa.
[02:05] The video highlights the process of creating a new automation workflow and demonstrates how to store scraped data in tables using Automa.
[03:58] Automa provides a simple and Excel-like interface to create, manipulate, and store data in tables during web scraping.
[06:36] Creating and Connecting Tables in OutSystems
[06:41] In OutSystems, tables can be created with different data and columns, similar to Excel.
[07:58] The 'New Tab' action can be used to open a new tab in the browser.
[09:08] To connect a table in OutSystems, use the 'Connect to SQL Server' action and select the desired table.
[10:37] After connecting the table, it can be used to insert, delete, and modify data.
[11:39] The 'Loop Data' block is used to interact with elements on a website and extract data.
[13:13] Automating Extracting Information from Websites
[13:13] The automation tool can extract information from websites by visually selecting elements and generating the corresponding selector in the HTML.
[13:31] The tool allows for automating tasks without any coding required.
[13:46] With the tool, you can also use code resources if desired.
[14:33] The automation can extract text from selected elements using CSS selectors.
[14:58] The automation can also insert the extracted information into a database.
[19:50] Automation and data scraping with Zona Automaker
[19:52] Zona Automaker provides automation blocks for data scraping
[20:07] Users can create multiple data scraping automations in the first week of using Zona Automaker
[20:14] Zona Automaker teaches users how to work with scraped data and extract insights
[20:22] Users can perform data analysis and make better decisions based on the data scraped
[20:40] Zona Automaker teaches users how to extract data from websites in an organized way
[26:25] Scraping and automating web data extraction [26:29] The nth-shield representation and its functionality as a selector
[26:37] GPT chat can automatically handle selectors to extract data from websites
[27:08] The structure of the website and how to fetch multiple pages of data
[29:02] Downloading the scraped data as a CSV file for further use in Python
[30:21] The broader possibilities of automating tasks and analyzing web data
generate by CiCi
Vc utilizou apenas um campo de tabela e como seria em caso de 2 ou campos a serem raspados? Como seria possível disparar o trigger remotamente associado a um tipo de evento específico?
Huuuuuuummmmmmmmmmmmmmm tava só a espera desse video kkkkk
faz um vídeo ensinando como fazer webscrapping para site de concursos tipo qconcursos, tec concursos.
Seria top, pegar as questões e colocar em uma tabela
Qual ferramenta usar para selecionar uma categoria no bloco de opções??
Vou maratonas seus vídeos, parabéns! Me tire uma dúvida de principiante, qual a diferença do automa para o n8n?
O n8n já possui integrações API prontas com vários serviços online o automa não possui essas integrações já padronizadas mas permite que você use o recurso de API para se conectar a qualquer serviço externo
Então resumindo os dois tem recursos equivalentes para o usuário criar suas automações de forma livre e dinâmica
@@dcodecanal obrigado pela resposta! Entrarei em contato para saber se ele atende o meu projeto e se consigo com o seu curso.
Showww demais!!! Como faz para ele ir as outras páginas e pegar as informações?
Bom, para isso vc precisa ou simular um click no link ou puxar os links de sua tabela no automa usando um loopdata e um new tab com uma expressão puxando o item que o loopdata estiver percorrendo no momento que será algum dos links que vc tem salvo no seu banco de dados.
Oi boa tarde. Como eu faço para enviar os dados da tabela no Http request?
Não dá pra entrar no seu site pra comprar seu curso pode me passar?
é possível fazer scrape de post do Facebook, apenas a imagem e descrição dando scroll e uma forma de nao pegue poste duplicado?
sim é possível
Ola, nao entendo nada de automa. Sou dev Pleno em Bubble e tenho uma duvida, por acasa da para criar um Webscraping e criar uma api para receber esses dados no Bubble?
No automa é possivel criar um web scraping, agora criar API no automa não é possível
Show de bola jovem, fiz aqui pra pegar horários de resultados de site de apostas e não ta copiando tudo quando vem ex: 00:23 só copia 23 kkkk Os zeros antes não copia. Mas valew muito pelo conteúdo que Deus ilumine....
Então isso é devido a estrutura html do site que vc ta puxando vc precisa entender sobre para adaptar sua extração com automa e conseguir puxar os dados completos.
Ta faltando so eles inventarem uma ferramenta que interprete nossas ideias 😅 Vou fazer esse curso pra encurtar caminho.
bom dia, vc sabe me dizer como usar a função de go back? sempre dá erro falando que não tem nenhuma página para voltar
Como ele reage com páginas que tem proteção contra autômatos web e execução de scripts terceiros ? Estou tentando automatizar uma página com selenium, seleniumbase, undetect_selenium, pypywright e entre outros e não consegui sucesso. Vou testar o automa.
Tem como fazer preenchimento de e-amil automático por ele ?
sim
Eu consigo elaborar uma automação de cadastro de item? Onde trabalho temos que realizar diversos cadastros com descrição curta, descrição detalhada e etc...
Da pra fazer isso com selenium
os dados a serem extraidos, poderiam ser emails que estão apresentados no site?
Sim
E se o site tem usuário e senha? Da para fazer?
Qual o link da página do seu curso ?
www.zonaautomaker.com/
Tem como esse automa rodar automático no servidor ou via api?
Preciso adicionar a foto e a descrição de mais de 8 mil produtos, existe um site que eu sempre pego as imagens e as descrições do produto. Tem como eu fazer isso fe forma automática? Pegar as informações desse site e jogar para o meu?
Tem sim, se o site que você pega as informações não tiver proteção contra autômatos web você consegue usar selenium pras duas ações
oi amigo como faz pra pegar a imagem da div o caminho da url
E se eu quiser so pegar o lik desses livro ? Tem como ?
Tem como eu raspar algo que fica oculto? Tentei usar esse video mas ele não puxou
Tipo o site só libera depois que vai para a proxima pagina, mas queria extrair antes de ir.
Ai teria de saber mais informações sobre o projeto para entender melhor.
@@dcodecanal a informação só aparece depois que dá uma baixa no checkout transparente do Mercado Pago que está instalado no site, enquanto não realiza o pagamento fica uma mensagem "aguardando pagamento" porém não é um "blur"
Amigo como q eu salvo o horario do scrap em um campo da tabela? Me da uma luz
cria um campo no database chamado data e extrai a data de alguma site de data e hora e salva no db ao final do workflow
Quando vou selecionar a tabela não aparece nada
Boa noite, com essa ferramenta, vc consegue acessar instagram desconhecido, com vários seguidores, e enviar mensagem com link no direct de cada seguidor, 01 a 01, pois tem momentos que o perfil é bloqueado, daí como driblar esse bloqueio e continuar com automação... AUTOMA consegue fazer isso?
O automa cria todo tipo de automação no seu navegador, agora os bloqueios que o instagram ou qualquer outros sites coloquem nos seletores e itens do html da página, da pra burlar alguns. Mais atualmente tem site que tão se blindando tanto impedindo rodar até Js na página coisa que é praticamente normal qualquer site.
Em numeros nao copia a virgula, alguem sabe como resolver?
Não está dando certo no site Casa dos Dados!
Sério? Tô esperando minha Net em casa voltar kkk pra tentar usar no casa dos dados. Eles aliás vão ter ferramenta paga, falei com eles
Eu pago alguem para fazer um especifico para mim