유료는 비싸니까 파이썬 크롤링으로 자동화 하는 거 이참에 공부해봐야겠네요. 옥토파스로 크롤링 개념을 훑고 가니, 파이썬 배우는 게 쉬울듯 합니다. 현재 '엔트리'로 게임만들기로 대학 수업을 하고 있는데, 고등, 대학 교양 수업으로 노코드가 들어오면, IT에 대한 이해도 높이고 좋겠네요. 학교에서 채용정보 스크랩만 따로 학생들에게 시키는데, 이걸로 하면 학생들 안 시키고, 한 달 40만원 버는 거네요.
상남자님 항상 열심히 봐주시고 좋은 의견 감사합니다. 저 역시도 고등 교육이나 대학 교육에 노코드가 적용되어서 좀 더 쉽고 재밌고 효능감있게 프로그래밍적 사고와 기업가정신 및 실행력을 길러주면 좋겠다는 생각을 많이 합니다. 대학 현장에서도 상남자님이 목소리 많이 내주세요 ㅎㅎ 그러면 조금씩 나아지고 바뀔거라 믿습니다. 함께 해주셔서 감사합니다~
제 노코드 프로토타이핑 (www.nocodecamp.kr/camp 참고) 기수제 프로그램에서 다루긴 합니다. 근데 워낙 변수가 많아서 저도 이것만으로 강의 운영하기는 좀 어렵지 않나 생각하고 있는데요. 조만간 마케팅 분야에서 노코드를 활용하는걸 중심으로 파일럿 강의를 한번 해볼거여서 그 때 커리큘럼에 넣어볼게요.
항상 좋은 노코드강의로 도전을 받고 어렵지만 매일 공부하고 있습니다. 사이트 자료 취압(크롤링)후 zapier로 데이터 정리하려는데 구글 sheets 사용자 등록에서 막혔습니다. 옥터퍼스에서 Google Sheets로 내보내기를 해야하는데 GOOGLE Sheets URL / Client Email / Private key / 시트선택 ..에 넣어야할 값을 찾지 못해 진행을 못하고 있습니다. 유튜브나 구글링 네이버 모두 찾아보아도 딱히 답변을 못찾겠습니다. 어디를 보고 어떻게 넣어하는지 조언 받을 수 있는지요~? 항상 감사합니다. 노코드는 장피엠입니다!!
helpcenter.octoparse.com/en/articles/6696879-export-data-directly-to-google-sheets 이 링크를 보시면 됩니다. 좀 복잡한데 한번만 하면 되니까 웹페이지 번역 누르셔서 찬찬히 따라해보세요~ 구글 개발자 콘솔이라는 데에서 구글 시트와 관련된 api의 권한을 옥토파스에 부여하는 과정이라 이해하시면 될거 같습니다.
괜찮습니다 ㅋㅋ 저는 camtasia라는 유료 툴을 사용하고 있습니다. 무료 툴 중에는 이 Screenity라는 툴이 젤 쓸만합니다. chrome.google.com/webstore/detail/screenity-screen-recorder/kbbdabhdfibnancpjfhlkhafgdilcnji 저도 이거 쓰다가 camtasia로 넘어왔어요~
Remove Duplicates 를 했는데도 구글 시트로 이전 내역이 모두 불러와집니다. 옥토파스에서는 중복이 안되는데 스프레드 시트에서는 여러건이 불러와져요. 심지어 두배로 들어와요. (항목이 3개라 3줄로 들어와야하는데 6줄로 들어오는…)네이버 뉴스 자사 언급건 크롤링을 하고 싶은건데요. 예시처럼 게시판 형식이 아니면 인식이 잘 안되는 걸까요?
![[Excel] 웹 페이지의 데이터를 엑셀 시트로 실시간 연동하기](/img/n.gif)
유료는 비싸니까 파이썬 크롤링으로 자동화 하는 거 이참에 공부해봐야겠네요. 옥토파스로 크롤링 개념을 훑고 가니, 파이썬 배우는 게 쉬울듯 합니다. 현재 '엔트리'로 게임만들기로 대학 수업을 하고 있는데, 고등, 대학 교양 수업으로 노코드가 들어오면, IT에 대한 이해도 높이고 좋겠네요. 학교에서 채용정보 스크랩만 따로 학생들에게 시키는데, 이걸로 하면 학생들 안 시키고, 한 달 40만원 버는 거네요.
상남자님 항상 열심히 봐주시고 좋은 의견 감사합니다. 저 역시도 고등 교육이나 대학 교육에 노코드가 적용되어서 좀 더 쉽고 재밌고 효능감있게 프로그래밍적 사고와 기업가정신 및 실행력을 길러주면 좋겠다는 생각을 많이 합니다. 대학 현장에서도 상남자님이 목소리 많이 내주세요 ㅎㅎ 그러면 조금씩 나아지고 바뀔거라 믿습니다. 함께 해주셔서 감사합니다~
대표님 크롤링만 따로 자세히 강의하신건 없으신가요..?
제 노코드 프로토타이핑 (www.nocodecamp.kr/camp 참고) 기수제 프로그램에서 다루긴 합니다. 근데 워낙 변수가 많아서 저도 이것만으로 강의 운영하기는 좀 어렵지 않나 생각하고 있는데요. 조만간 마케팅 분야에서 노코드를 활용하는걸 중심으로 파일럿 강의를 한번 해볼거여서 그 때 커리큘럼에 넣어볼게요.
한글 버전이 지원되면 좋겠는데 아쉽네요
항상 좋은 노코드강의로 도전을 받고 어렵지만 매일 공부하고 있습니다. 사이트 자료 취압(크롤링)후 zapier로 데이터 정리하려는데 구글 sheets 사용자 등록에서 막혔습니다.
옥터퍼스에서 Google Sheets로 내보내기를 해야하는데 GOOGLE Sheets URL / Client Email / Private key / 시트선택 ..에 넣어야할 값을 찾지 못해 진행을 못하고 있습니다. 유튜브나 구글링 네이버 모두 찾아보아도 딱히 답변을 못찾겠습니다. 어디를 보고 어떻게 넣어하는지 조언 받을 수 있는지요~? 항상 감사합니다. 노코드는 장피엠입니다!!
helpcenter.octoparse.com/en/articles/6696879-export-data-directly-to-google-sheets 이 링크를 보시면 됩니다. 좀 복잡한데 한번만 하면 되니까 웹페이지 번역 누르셔서 찬찬히 따라해보세요~ 구글 개발자 콘솔이라는 데에서 구글 시트와 관련된 api의 권한을 옥토파스에 부여하는 과정이라 이해하시면 될거 같습니다.
안녕하세요! 영상과 다른질문드려 죄송하지만 영상에서 보이는것처럼 강연자가 우/좌측 하단에 보이는 영상툴을 찾고있는데 혹시 사용하시는 강연툴이 어떻게 되는지 문의드려도 될까요??
괜찮습니다 ㅋㅋ 저는 camtasia라는 유료 툴을 사용하고 있습니다. 무료 툴 중에는 이 Screenity라는 툴이 젤 쓸만합니다. chrome.google.com/webstore/detail/screenity-screen-recorder/kbbdabhdfibnancpjfhlkhafgdilcnji 저도 이거 쓰다가 camtasia로 넘어왔어요~
수집하시는것중에 당근마켓도 있는데. 어플인데 당근도 수집이 되나요? 궁금합니다.
당근마켓 웹사이트에 매물 정보는 올라오더라고요 웹을 크롤링한거랍니다
안녕하세요! 혹시 클라우드 경우에만 zapier와 연동되는건가요??
네 맞습니다! 클라우드만 zapier로 연동 가능해요
Remove Duplicates 를 했는데도 구글 시트로 이전 내역이 모두 불러와집니다. 옥토파스에서는 중복이 안되는데 스프레드 시트에서는 여러건이 불러와져요. 심지어 두배로 들어와요. (항목이 3개라 3줄로 들어와야하는데 6줄로 들어오는…)네이버 뉴스 자사 언급건 크롤링을 하고 싶은건데요. 예시처럼 게시판 형식이 아니면 인식이 잘 안되는 걸까요?
음... 답답하시겠군요ㅠㅠ 말씀하신거 만으로는 정확히 원인을 모르겠습니다. 크롤링한 후에 사후로 정리하시는것도 방법일거 같습니다.
th-cam.com/video/8RzckAeZR4k/w-d-xo.html 부분 가려져서 안보이는데 알려주실수 있으실까요 ??
트위터에서 게시물 생성시간이 "1시간" 이련령식으로 표시되는걸 영상에서 처럼 "년월일 시간" 으로 표시하려면 xpath를 어떻게 수정하는지요?
이건 잘 모르겠어요
pc에서 런하면 30개 데이터가 추출되는데요, 클라우드 런하면 0개가 추출됩니다. 영상처럼 delete duplicate 적용도 했는데 잘 안되네요.
클라우드 크롤러의 ip가 차단되는 사이트가 있더라고요ㅠㅠ 클라우드의 경우 개인 피씨가 아니라 옥토파스 서버에서 돌리는것이다보니 특정 사이트는 해당 ip를 차단해서 크롤링 동작이 안되는 경우가 발생하는거 같습니다
@@jangpm 아 그렇근요. 감사합니다. pc에서 스케줄 런하면 처음 30개 추출되고. 두번째에도 30개가 추출되네요. 신규건수가 추출이 안되네요.
무료로 가능한 서비스 없을까요? 게시판 하나만 하면 되는데^^
자동 추출하기가 무료를 지원하는건 본적은 없습니다. 국내 서비스 중 listly.io/ 리스틀리라는게 있는데 이게 게시판 크롤링에는 더 잘 맞을거 같아요. 이거랑 한번 비교해보세요