Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう｜Webスクレイピングの基本的な内容をわかりやすく解説｜PythonでWebスクレイピング第01回
ฝัง
- เผยแพร่เมื่อ 9 มิ.ย. 2024
- ＼キノコードが作ったプログラミング学習 サービス登場／
学んだ知識をその場でアウトプットできるからスキルの定着が実感できる
Python学習といえば、キノクエスト！
・問題数は充実の350問以上
・環境構築は不要！
・カリキュラムがあるので学習方法に迷わない
▼登録はこちら▼
kino-code.com/kq_service_a/?u...
ーーー
この動画では、Pythonでのスクレイピングについて説明しました。初心者の方でもスクレイピングがわかるような説明を心がけました。プログラミング初心者の方、プログラミングを覚えたい方、基礎を勉強したけど使いどころに困っている方が、業務自動化を始めるきっかけになれば幸いです。
※注意
WebスクレイピングをするURLが変更になりました。
▼ログイン画面
kino-code.work/membership-login/
▼サンプルサイト
kino-code.work/
▼目次
00:00 挨拶&はじめに
04:32 具体的なケース その1
06:01 実行環境と環境構築
06:41 ライブラリ、パッケージ、モジュール
07:32 seleniumとbeautifulsoupについて
09:26 ChromeDriverダウンロード
11:31 ライブラリのインポート
13:08 GoogleChromeを自動起動
14:09 ページへ移動
15:28 HTMLの要素の調べ方
16:34 テキストの入力
18:34 クリックの動作
20:21 xpathでの要素の指定
22:25 pyファイルで実行
23:22 ソースコードの実行
25:07 具体的なケース その2
26:23 beautifulsoup4のインポート
26:40 urllib.requestのインポート
27:25 beautifulsoupを使ってHTML解析
29:29 タイトル取得
30:03 aタグ取得
31:49 URL取得
32:21 取得したデータのリスト化
33:31 DataFrameへ変換
34:27 欠損値除外
35:16 特定の文字が含まれているか行を抽出
37:08 CSVへの書き込み
37:36 pyファイルでの実行
38:51 Webスクレイピングの注意点
▼Homebrew
brew.sh/index_ja
▼関連動画
Pandas超入門講座
• Pandas入門コース｜プログラミング初心者...
Python超入門講座
• 【超入門コース】Python｜プログラミング...
Pythonで面倒なExcelの仕事を自動化しよう( 第一弾 )｜一瞬で仕事がおわるプログラミング活用術
• Pythonで面倒なExcelの仕事を自動化...
Pythonで面倒なExcelの仕事を自動化しよう( 第二弾 )｜ExcelとPythonでのやり方を比較しながらわかりやすく解説
• Pythonで面倒なExcelの仕事を自動化...
Pythonで面倒なExcelの仕事を自動化しよう( 第三弾 )｜「売上予測分析」や「グラフ付きレポート」を完全自動作成
• Pythonで面倒なExcelの仕事を自動化...
Pythonで株価のデータ分析｜株価分析を通してPythonでのデータ分析を学びましょう
• Pythonで株価のデータ分析｜株価分析を通...
▼自己紹介
現在：フリーランス（マーケティング関連の人工知能開発、データ分析や業務自動化など）
前職：リクルート
※転職5回。司法試験の失敗後、非正規雇用の年収240万から750万にした経験あり。
▼SNS
Twitter : / likes
Facebook : / %e3%82%ad%e3%83%8e%e3%...
Website : kino-code.com/
▼文字書き起こし
こんにちは。キノコードです。
皆さんは会社でブラウザを使ってデータ収集やデータダウンロードの仕事はありませんか？
例えば、自分の会社の特定のサイトからいって、データをコピーしてエクセルに貼り付け。また違うページにいきデータをコピー。それをExcelに貼り付け。などといったことです。
他にも、特定の会員サイトにログインをして、レポート作成のためにCSVやエクセルデータをダウンロード。ダウンロードしたファイルをコピーしてまたExcelに貼り付け。といった行為です。
まさに私がプログラミングを覚える前、やっていたことです。
例えば、毎日1時間の業務であれば、あなたの時給が1500円だとすると毎月3万円。社会保険やその他の経費も含めると5万円以上でしょうか。つまり、年間60万円以上のコストカットになります。見方を変えれば、60万円の利益を作っていることになります。したがって、営業利益が20%の会社なら、毎年300万円の売上を作っていることになります。
Pythonを使えばブラウザを使って、データ収集やデータダウンロードなどの業務を自動化できます。
このようにウェブサイトからデータを取得する技術のことを「ウェブスクレイピング」といいます。
Pythonは、このウェブスクレイピングが得意です。
なぜなら、Pythonにはウェブスクレピングに必要なライブラリが豊富にあるからです。
他にも、Pythonを使えば、エクセルを操作したりデータを入力したりすることもできます。また、Gmailなどのメールを使って送信もできます。
したがって、あなたのやっている仕事の一部を、完全自動化もできるかもしれません。
言い方を変えると、Pythonを覚えれば、今流行のRPA、ロボティック・プロセス・オートメーションが実現可能です。
しかも、有料ツールを使う必要はなく、Pythonは完全無料です。細かい調整も可能です。
今のあなたご自身のスキルに、RPAのスキルを付け加えれば、人材としての価値は高まり、年収があがるかもしれません。私は現に、色々な業務を効率化して、会社から評価をしてもらえました。
このレッスンを通して、300万円を売り上げるプログラムを作ってみましょう。
また、実際にご自身の業務を効率化させて、会社での評価につなげましょう。
この動画は、ブラウザを使っての単純作業を効率化したい方、プログラミングを勉強しようと思っている方、プログラミングの基本は勉強したけど使いどころに困っている方に、お役立ちできればと思い動画を作成しました。
この動画では、Pythonによるウェブスクレイピングをデモストレーションのような形でお見せします。
動画で使ったソースコードもダウンロードできますので、それをちょっとイジってカスタマイズすることもできます。
この動画だけでは、カスタマイズできない方や、もっと詳しく勉強したい方のために、
Pandas入門コースというレッスン動画も作りました。
Python超入門コースとPandas超入門コースを学習すれば、業務効率化や自動化が可能になるでしょう。
Python超入門コースとPandas超入門コースのURLを概要欄に貼っておきます。
ご興味ある方はご覧ください。
Pythonを使った業務効率化の動画を今後どんどん出していく予定なので、「チャンネル登録」ボタンを押しておいてくださいね。
新しい動画が更新されたときに通知がいくように、復習をする時に動画がどこにいったかわからなくならないようにチャンネル登録をお願いします。
それでは本編にいってみましょう！
はじめに、ブラウザを自動操作して業務効率化するケースは、どんなケースでしょうか？
例えば、このようなケースをイメージしてください。
飲食店レビューサイトを複数運営している会社Aがあったとします。
会社Aに勤めるBさんは、毎日、出勤をしてから勤怠システムにログインをしてボタンをクリックしています。
その後、そのBさんは、昨日のアクセス数を調べるために、自社のサイトにログインしてアクセスログをダウンロードをしています。
会社Aは複数サイトを運営しているため、複数のサイトにログインして、アクセスログをダウンロードしています。
もしこの一連のデータ収集業務を自動化できたら、毎月どれくらいの時間を減らすことができるでしょうか。
例えば、1日1時間かかっているとしたら、月20時間くらい、年間で200時間以上くらい減らすことができます。
年間だと約1ヶ月分の労働時間です。
もし自動化できれば、他の業務ができたり、早く帰れたり、有給を取得したりできますね。
この面倒な作業はすべてPythonにやってもらいましょう
（続きは下記のブログにて）
▼文字書き起こしブログ
kino-code.com/python_automati...
▼タグ
#Pythonでスクレイピング #Python自動化 #PythonでRPA #Pythonできること
![CAMPปลิ้น | EP.76[1/2] โจโฉเปิดป่าโหดรับโอ๊ต-ป๊อบ รอบนี้พี่เอาจริง!](http://i.ytimg.com/vi/pNg5O7Pf-a0/mqdefault.jpg)
【Python学習 といえば、キノクエスト】
キノコードが作ったプログラミング学習サービスが登場！
「やってみたい」から「できた」へ
・Pythonに興味がある
・業務を効率化したい
・アウトプットしてみたい
・学習方法に不安がある
▼登録はこちら▼
kino-code.com/kq_service_a/?.com&LgZ8Li97yoM_comment
わかりやすい動画ありがとうございます。
mac に chromedriver をインストールしたのですが、chromeを開ませんでした。
Message:’chromedriver’ executable needs to be in PATH. とエラーメッセージが表記されますが、どうすれば上手くいくのでしょうか？
@@user-sq4fj9jl1w さん
私も全く同じ状況です。解決されておりましたらご教示願います。
@@sayang_CCA60 chromedriverのpathが間違っているのではないかと思います
webdriver.Chrome('chromedriverのpath')
入れると解決すると思います
説明がとても分かりやすく、めっちゃ聞きやすい声で最高のクオリティです😊
Pythonの入門書籍を買おうか迷っていましたが、キノコードさんの動画で学ばせていただきます💪
これこそ神動画と呼ぶにふさわしい動画です。
ありがとうございました。今後も楽しみにしています。
KIKIさん、こちらにもコメントをいただいていたのですね！ということは2本見て頂いているということですね！ありがとうございます！
細かいところもはしょらないで丁寧に説明していただいているので、とても分かりやすい。
極力はしょらないようにしていますが、端折った場合は、他の動画を案内して視聴者さんの学習がつまらないように気をつけております！
専門用語までいちいち説明して頂きありがとうございます👍
説明画像がホントにわかりやすい！プログラミング初心者ですが真似できました！
素晴らしいです。スクレイピング、API関係の動画を待ってました。画像収集してトリミング等の自動化、gmail自動化などもやってほしいです！
非常に勉強になりました。誠にありがとうございます😊！
なんていい時代なんだ！！
最高です！ありがとう！
とても丁寧でわかりやすい解説ですね。私は、Pythonは勉強したものの、使いどころがなくて、せっかく勉強したことを忘れそうなので、こういう実践的な実例はとても嬉しいです。今後の展開も楽しみにしています。
ありがとうございます。これからも身近なケースをつかって、分かりやすい動画を作っていきます。
声が聞き取りやすく、説明もとても丁寧で感動です！
ありがとうございます！！！声についてはマイクの設定がうまくいっていないので、もうちょっとよくなる予定です。せっかくマイク買ったし、よくなるといいなー。
おすすめに出てきてくれてありがとう。50秒ぐらい見てチャンネル登録余裕でした。
気づきを与えてくれる有益なコメントでした！こちらこそありがとうございます！
すごくわかりやすい！本当にありがとう
やっぱり実際に小さなことでも自動化されたらすごく嬉しいです。 とっても気持ちいいツボを付いてくるキノコードさんはさすがです！
家にいる時間が長いので一から勉強したいと思います。
このような動画は大変ありがたいです。
応援しています！
応援ありがとうございます。心温まります。今日も頑張ります！
待っていました！この40分をじっくりじっくり再現しながら理解していきます！
動画のケースをそのまま使うのではなく、それに似たことを身近なところから見つけ出して再現するので、結構エラーが出たりするのですが、根気強くやっていきます！
リヒャさん、お待たせしました！今後もPythonによる自動化関連の動画をアップしていきます。また、もうちょっと先にはなるかと思いますが、人工知能関連の動画もアップしていきますので、チャンネル登録を解除しないでお待ちくださいね。笑
キノコード / プログラミング学習動画のTH-camr
気長に待ちます笑
でも受動的にはなりたくないので、pandasとnumpyの本を買って頑張ってます！
いやほんとにこういう動画があると助かる…
ありがとうございます😊
ありがとうございます！お役に立てたかもしれないので、今日は嬉しさに包まれながら寝れます。
何ができるか分かってなかったけど、Phytonに興味がすごく湧きました！
動画の編集がうまいです
大変嬉しいです！ありがとうございます！
すごーくモチベーション高まりました！ありがとうございます！
それはすごーく嬉しいです！
「こんなことができる」という引き出しをたくさん持っていると、いつかきっと役立ちます！
具体的なケース1。正に私の探していたケースそのままでした。丁寧で非常にわかりやすく、とても助かりました。チャンネル登録しました、他の動画も見て勉強させていただきます。
ピンポイントで動画を作れてよかったです！またK純さんのピンポイントにヒットすることを！
素晴らしいですね
動画の編集が綺麗です。
もっと進化していけるように精進します！
わかりやすい！これから勉強していく仲間にもおすすめしておきます。
1コメントで、何倍も嬉しいです。
とってもみやすいです。
最高に嬉しい褒め言葉ありがとうございます。
Python講座が一番いいです！
わかりやすい動画をありがとうございます
macでの、時間になったら実行するやり方を、楽しみにしています！
ご意見ありがとうございます！6月中に出しますね！
@@kinocode ありがとうございます！
16:29
現在はfind_element_by_id()は使えませんので、
find_element("id","swpm_user_name")と記載する必要があります。
助かります
どなたか存じませんが、助かりました！ありがとうございました。
死ぬほどわかりやすかった。今まで立ち止まってたけどやっと進みました
いやー、嬉しいですよ！次の動画の糧になります！今日も頑張ろう！
ありがとうございます。参考にさせていだきます。
ありがとうございます。
もっといろいろな実践講座が見たいです！
承知しました。実践講座を作っていきますね。とはいえ、Pandasで便利なTipsもあるので、Pandas超入門コースと織り交ぜながら作っていきますね！
外国人にも分かる易いです。ありがとうございました😊
この教材はいいものですね、Tkinterと一緒に使えた、いい感じ
Tkinter面白いですね！どんなことをやられたのか共有していただきたいぐらいです！
seleniumのバージョンが更新されたことにより、find_element_by_*メソッドはfind_element(" * ", " ")に変更されたようです。少し躓いたので共有。
find_element(" * ", " ") では動きませんでした
find_element(By.*(大文字), " ")で動きました
これって使用環境によって変わるものなのでしょうか
助かりました！
@@nekokororon find_element(" * ", " ") で動きましたか？
@@ztsE7NKQ それで動きましたー
windows10環境ですが、browser.find_element(“id”,”swpm_user_name”) で動きました
ブログ見たけど読む気が起こらないくらいシンプルだったので、動画に来ました。
動画の方が頭に入りやすいですね。
ウェブスクレイピングの勉強をしていてかなり助かりました！
お忙しい中動画作成有難うございます。
お手数ですが、ログインページはいつ頃できるでしょうか、
また、ログインページがない場合は一旦勉強を止めていた方がよろしいでしょうか
お忙しい中ですが、回答していただけるとありがたいです。
ログインページについては、2週間以内に対応したいと考えています。
そこの部分は、スキップしていただいたり、利用規約などでオッケーのサイトで試していただければと思います！
@@kinocode さん、回答していただき有難うございます！
個人事業主インフラエンジニアです。開発系(AI)の勉強も始めたいと思って動画を探してました。わかりやすいです。参考にさせてもらいます。
インフラエンジニアさんですか！AIとのスキルの掛け算は強いですね。お互い頑張りましょう！
いつも勉強させていただいています。ありがとうございます。一つ質問があります。pip と !pip の違いは何なのでしょうか？ライブラリをインストールするときに、どちらでもインストールができたのですが使い分けがあるのでしょうか？
ちょうどpythonでスクレイピングの勉強してました！
自分の探してる操作があるといいな。
では、見てきます。
いってらっしゃい！
そして、どうでした？
素晴らしい動画をいつもありがとうございます。プログラミングの勉強を始めてまだ間もないのですが、何度もみて、実際に成果物を作ることから初めています。例えば簡単なご質問などコメントしてもいいのでしょうか？それとも個別にプラン設定などされていますでしょうか？お答えできる範囲で構いませんのでよろしくお願いします
多くのコメントをいただいているのですべてのコメントに返信できるわけではありませんが、お答えするように頑張っております！個別指導はやっておりません…。申し訳ありません。
大変参考になりました。
pyファイルにして実行するところが、二回流れているようです。
キノコードさんの動画を見てPythonを勉強したくなりました。 もし差し支えなければお教えいただきたいのですが、LINEなどをPCの画面に表示させてそのテキストをメール送信させるようなことはPythonだけで実現可能でしょうか？ しかしこれだけの動画クオリティが無料なんてすごいです！
概要欄が神。手厚い。
動画ありがとうございます。すごい楽しかったです！
私はWindows10を使っているのですが、
37:36 で csvに保存した際にが文字化けになりましたので、encodingを加えました。
df_contain_python.to_csv('output.csv', encoding="shift-jis")
どこかで書かれてあったらすみません...。
引き続き２回目やりまーす。
ありがとうございます！！助かりましたよ～。
為になる動画ありがとうございます。
クラウドにアップしたした画像ファイルなどを分類毎分けながらダウンロードしてくるみたいな事をしたいのですが、この動画からもう一歩踏み込んで勉強しないと難しいですかね？😅
独学でスクレイピングの勉強していたのですが、僕の数時間の学びが40分程度に凝縮されていて素晴らしい動画だど思いました！
これからもたくさんの動画が配信されること期待してます！！
大変だと思いますが頑張って下さい！！
無料でこの内容は神
スーツ交通チャンネルさんになった気分。ありがとうございます。
このレベルの内容で、この動画のクオリティ やばすぎ
「よりよい学習の機会を、より多くの人に」というコンセプトでやっています。より多くの人に届くと良いな〜
@@kinocode なんか泣きそうな程いい人やな
見てるだけでワクワクしてくる🤩
うわー。そうなんですか！？動画やコードを作っている当事者なので、るーさんの感想は大変参考になります。ちなみに、ワクワクするのは、どんなところですか？「うわー自動で動いている！？」ってところでしょうか？それとも「あっ、これなら効率化できて楽になりそう！」って感じでしょうか？
キノコード / プログラミング学習動画のTH-camr さん
素人感想で申し訳ないのですが、まずは動画をみて、世の中にこんな事ができるツールがあるんだというワクワク感と、目で見てコードから実装されるのはほんと感動すると同時に自分もしたい！と強く感じます。
私はプログラマーになりたいわけではないのですが、なんらかのプログラムを一通り勉強したいと思っており、javaで挫折しswiftでもう一回挫折したところでpythonに出会いこれなら行けそうと感じてるところに、キノさんの動画に出会いました。
今の目標は、毎日決まった時間にweb上で公開されるcsvデータを自動で取得して、見易く整理して勝手にブログにUPする事です。
正直自分では無理だろうと諦めかけていたのですが、キノさんの動画を見てると本当に自分でも出来るんじゃないかとやる気が満ち溢れてきます‼️
乱文ですいません💦
@@lue819 動画を作っている当事者としては、もうこれ以上ない褒め言葉です。
私としては、そのワクワク感を提供できていることを知れて、とても嬉しいです。
より質の高い学びの機会を、より多くの人に届けたいと思ってTH-camで動画を配信しています。
質の高いとは、視聴者さんが「わかりやすい！」「みていて美しい！」ということだと思っていたのですが、「ワクワクする！」ということも感情としてあるのだなと、るーさんの丁寧なコメントを見て思いました。
皆様がワクワクするような動画を作っていけるよう、これからも精進していきます！
キノコード / プログラミング学習動画のTH-camr さん
それと、書き忘れたのですが、プログラミングは漠然と難しそうなイメージがあるのですが、動画の自動ログインするすプログラムのとこで、
右クリックでwebの裏側が見えて、そこにアクセスするあの感じは、
プログラマーの方は当たり前かもしれませんが、僕には新鮮すぎました。なんだ、簡単じゃん‼️って思えました。
勉強するにあたり一から文法などを勉強する方が多いかと思います。
ですが、
Pythonにこんな便利な機能があり、
こんな事も出来ちゃいますよ！
皆さんは、その機能をただ知らないだけですよ！
難しいわけではないですよ😌
と思える動画ですので、沢山の方が興味を持てると思います^_^
くれぐれもお体にはお気をつけ下さいね‼️
非常に丁寧な説明で分かりやすかったです。やって見たいことの入り口が見つかった気がします。ありがとうございます。これからも学ばさせて頂きます。よろしくお願いします。
キノさんのコンセプトにもジーンとしてしまいました。
転職して1年半程度PRAエンジニアをしているものです。
以前は違う畑の仕事をしていたため、ITやプログラミングが知識が不足している状態でした。
RPAツールで開発するうえでもやはりプログラミング知識などは必要で勉強中で、
PythonでのRPA化スキルも習得して、よりワクワク仕事をしていきたいとおもいます。
（チャンネル登録させていただきました。）
外国人のようなスタイリッシュな動画で、とても見やすいです。
今回も気合をいれて望もうと思ったのですが、ログインページが見当たらなくてすぐに挫折してしまいました。新しいurlになったせいかな？もし、改善策を教えていただけたらすぐに挑戦しようと思います！いつも素晴らしい動画ありがとうございます！！
その通りでURLを変更しており、概要欄に記載しております！
が、わかりにくくてすみません！
「kino-code.work」に置き換えてみてください。
また、近々Webスクレイピングの第2弾をアップする予定ですので、お待ちくださいませ！
9:45付近の"brew cask install chromedriver"は、今だと"brew install --cask chromedriver"としなければならないようです。
【備忘録】
09:26
この部分、私はbrew install --cask chromedriver で正常にインストールされました！
既出でしたらすみませんmm
キノコードさん、いつもありがとうございます！
ありがとうございます！
ここの書き方がアップデートされており、動画の書き方だとエラーになってしまうんですよね。
固定コメントに補足いたします！
いつも勉強させてもらってます！
質問よろしいでしょうか？
ログインボタンを自動化して、クリックをするときにnameもなく、type,value,classしか表記されてない場合どうすればよろしいでしょうか？
返信していただけると幸いです。
本当に勉強になります。
1点、質問があります。Webスクレイピングですが複数ページ(賃貸情報等のデータ)の場合
どのような構文が必要でしょうか。
複数のページをスクレイピングをするには、URLの構造を把握すれば行けると思います。あるいは、次のページへいくリンクのボタンの要素を把握すれば良いです！
ありがとうございます。
毎回楽しみにしています。
有料でもいいのでセミナーがあれば行きたいレベル
勉強になります！
動画編集もご自身でされているんですか？
ありがとうございます！続編も出しているのでどんどん学習を進めてみてください！
本サイトを参考にクローリングコードを作成したものです。殆どはこのサイトのおかげで問題なくブラウザを制御できるようになりました。しかし、タグが複数ある場合などのスクレイピングがうまくいかなかったりします。今度はそんな場合に対する解決策など提案していただけたらうれしいです。
キノコードさんのメンバーズログインページにアクセスしたら拒否されてしまって先に進めないのですが、困りました。
同じです！！
pythonでワークフロー作るApache Airflow の解説動画お願いします。
I don't get what you're saying, but it sounds interesting
めっちゃええやん
うれしいやん
RubyVerでも見たいです...!
■■Google Chromeが起動しない場合■■
以下の記載を試してみてはいかがでしょうか。
import chromedriver_binary
クロームを開く際、このインポートを記載すれば開けるようになるかと思いますので
よろしければお試しください。
これってやはりpandas,python入門講座終えてからの方がいいんですかね
こんにちは、すばらしい動画をアップデートありがとうございます。14:42くらいログインページは「404 NOT FOUND」ってエラーが出ましたので進んでいけません。お手数をおかけしますが、教えていただければ幸いです。
23:43 の部分についてご質問がございます。
コマンドプロンプトで入力後Enterを押した後に、VScodeが開いてしまいます。
そのあと、またコマンドプロンプトでEnterを押すと、Chromeが開いて実行は出来るのですが、
VScodeが開かないようにする方法などはありますでしょうか。
【質問】
動画の13:24あたりで、下記のエラーが出てしまいました。
いろんな解決方法を検索しましたが解決に至らず、アドバイスを頂けますと幸いです。
【エラーの内容】
WebDriverException: Message: 'Chromedriver' executable may have wrong permissions. Please see sites.google.com/a/chromium.org/chromedriver/home
【記載したコード】
browser = webdriver.Chrome(executable_path = 'Chromedriverが記載されているpath')
browser.implicitly_wait(3)
【当方の状況】
・windows
・googleのバージョン: 87.0.4280.88（Official Build） （64 ビット）
・ダウンロードしたchrome： ChromeDriver 87.0.4280.88
もう試されているのかもしれませんが...
① 'Chromedriverが記載されているpath'は、このようにバックスラッシュを2つ使ってフルパスで記載されていますでしょうか？
▼例
browser = webdriver.Chrome(executable_path = ‘C:\\Users\\KinoCode\\Desktop\\MyCode\\chromedriver.exe’)
②Windows用のChromedriverをダウンロードされていますでしょうか？
③Chromedriverの場所を変えてみてはどうでしょうか？
@@kinocode
①でご指摘いただいた通り、パスをフォルダ名のみ記載していたことが原因でした。
フォルダ名＋ファイル名(chromedriver.exe)を修正したところ、うまく動作しました。
ありがとうございました！今後も楽しみにしています！
素晴らしい動画をありがとうございます！
質問なんですが、13:15でのwindowsで
browser = webdriver.Chrome••••••••
と入力するとエラーでwebdriver が定義されていないと表示されます。何か解決策があればご教授願います
google sheets でのやり方も教えてください
プログラミング言語には得意不得意、結果記述量の多寡があって
同じことを実現するのに読みやすく書きやすい言語を選ぶのが楽する一歩目なんだね!
よしやってみよ
頑張ってください！業務効率化は目の前だッ！
13：15あたりの、googleクロームを起動しようとしたのですが、実行すると指定したファイルが見つからないと出てしまいます
エラーの原因は何が考えられますでしょうか？
また、キノコードさんの動画を視聴しつつ、勉強をしているのですが、セルを入力してはエラーが出て、その解決に1週間かかり非常に学習のペースが遅いのが悩みです。
キノコードさんはどのように学習されていますでしょうか？
返信が遅くなってしまったので...解決しましたでしょうか？？
Windowsですか？Macですか？
「browser=」のところはWindowsかMacかで書き方が違います。
Windowsでしたら、パスを間違えて記述してしまっているのではないでしょうか。
Macでしたら、その次の行にあるWindows用の「browser=」をコメントアウトしていないと変数が上書きされてしまっているかと思います。
私もエラーが出るところは調べたりして進まなくなることもあります。。
よく使うような構文などは、いつでも引き出せるように自分用の学習用ノートにまとめています。
せっかく解決しながら進められているのでしたら、次に同じようなことで悩まないように、モをしたりまとめたりするのはおすすめです！
まとめることで身に付くということもありますね。
何より、住田さんが時間をかけてでも着実に歩まれているということはすばらしいと思います！
動画ありがとうございます！
自分で試した結果、やりたいページでログインしようとすると、一度アコーディオンを展開してからログイン処理をするため、idやXpathで指定するときうまくいきません。このような場合どのようにするとうまくいきますかね？検索してもなかなか出てこないんですよね...
23:18 大事なことだから2回やります。
pythonを現在使っており、参考にさせて頂いています。
ただ、Webドライバーを使ってブラウザを読み取ろうとするのですが、getメソッドが使えませんと言うエラーが上がってしまいます。
ライブラリーの問題でしょうか、それとも他に何か設定が必要なのでしょうか？
エラーの詳細が分からないため、何が誤っているかわかりません。「browser = webdriver.Chrome(chromedriver実行ファイル)」コマンドを実行すると、chromeは起動しますか。
動画ありがとうございます。
CSVデータのダウンロードですが、
jupyter lab上ではうまくいきましたが、pyファイルに変換してターミナル上で実行しても反映されません。
エラーの表示が出ていないので原因が分からなく。。解決策がありましたらご教示お願いいたします。
pythonは世界を変える
Dockerで「PythonでWebスクレイピング第01回」を実行したいのですが、Chrome Driverを使う場合のDockerfile記述を教えてほしいです。
【質問が3つあります】
お世話になっております。
キノコードさんの大変わかりやすい動画、参考になります。
質問があります。
GoogleClassroomの提出状況を
Googleスプレッドシートに出力したい
と思い、Webスクレイピングに
最近興味を持ちました。
そこで以下の質問について知りたいです。
①PythonからGoogle スプレッドシートへ出力ってできるのでしょうか？
②もしPythonからGoogleスプレッドシートに出力できるとして、その解説動画を作られるご予定はありませんか？
③GoogleAppsScript(Java Script)の勉強を始めるか、Pythonの勉強を始めるか悩んでいます。のちのち博士課程でAPIを利用して研究をする予定なので、APIについても学びたいです。とすると、APIも学ぶならPythonを学び始めた方がいいですか？
すごく勉強になります。ありがとうございますｍｍ
pyファイルに変換後に実行すると成功しますが、下記のエラーがコマンドプロンプト上に表示されます。
メッセージ：Bluetooth: bluetooth_adapter_winrt.cc:1060 Getting Default Adapter failed.
プログラミングを1ヶ月ほど前に始めた超初心者です。
使用PC Mac M1チップ
Jupyter Labでは問題なくブラウザの自動操作ができましたが、これを.pyファイルに変換し、VS Codeで実行すると
get_ipython().system('pip install selenium')
NameError: name 'get_ipython' is not defined
といったエラーになります。.pyファイルはJupyter LabからエクスポートしたファイルそのままVS Codeで開いています。
もしエラーの解決方法がわかれば教えて下さい。
有益な情報ありがとうございます！Chromeドライバーの指定の仕方がわかりません！教えて頂けると嬉しいです！
的確なコメント、無駄のない喋り、見た目にも分かりやすい説明、キノコードさんは頭の良い人なんだなと感じます。自分はまだPython初級者ですが、一緒に仕事して学ばせていただきたいと思える師匠と感じます。自分の職場は伝えるのが下手な人ばかりで、「適当・曖昧・面倒臭い」な性格の人の意見を伺いながらExcelのマクロづくりなどを担当しています。「あなたの作業を減らすためにやっているんでしょ！」と思うんですが、相手は「自分の仕事減らすなよ。どうでもいいわ」と言わんばかりの非協力的姿勢。効率化など一切関心無く、日々の作業をこなして給料欲しいだけ。ただただ呆れるばかりです・・・
いつも見てます。
jupyter labからpyファイルにしてwindowsコマンドで実行したらNameError: name 'get_ipython' is not definedとエラーが出て解決できないのですがわかりますか？
今更ですみません！
エラーの箇所が「!pip install 〜」の部分でしたら、コメントアウトしてから実行してみてください！
ここが「get_ipython().system('pip install 〜')」に変換されている可能性があります。
いつも勉強させてもらってます。
output.csvが意図しない場所に出力されてしまうのですが、例えばデスクトップに指定したい場合どうすればよいでしょうか？
ご視聴ありがとうございます！
↓こんなかんじで、ファイル名を指定する時にディレクトリも指定します。
df.to_csv('/Users/user_name/Desktop/output.csv') ※Macの例
Windowsでも同様に、ディレクトリを指定すればOKです！
WOW! 素晴らしい動画
日本政府はAI人材の育成とか、情報技術で日本は遅れているとか、社会デジタル化とかいうなら、
このようなコンテンツを見習うべき、あるいは公費をかけてつくるなり、コンテンツ製作者を支援すべき
9:45 brew cask install chromedriver→brew install chromedriver --cask
22:25 pyファイルで実行
23:22 ソースコードの実行
で動画が重複しているように思います。
役立つコンテンツをこれからもよろしくおねがいします。
ご指摘ありがとうございます。のちほど確認をしておっしゃる通りなら概要欄に記載させていただきます。ご指摘ありがとうございます！
わかりやすい動画をありがとうございます。
20:12 のダウンロードボタンが表示されずに、404 NOT FOUNDの表示が出るのですがどうしたらよいでしょうか。
すみません！固定コメント、概要欄に記載していますが、URLはこちらに変更しております。
kino-code.work/membership-login/
Windows10でやっています。
動画の22:24ぐらいのところで、
jupyter labのコードを~.pyファイルにした後に、python超基礎のvscode環境に持っていきました。
jupyter labでのpip install~のところがget_ipython().system('pip install selenium')に変わっていて、
Undefined variable 'get_ipython'
というエラーが出ました。
下のコメントにあった~library\binに通したりもしましたが、結局コメントアウトすると問題なく動くことを確認しました。
get_ipythonはどういうものなのかと、pipでインストールしたものはどこに保存されているのか知りたいです。
めちゃくちゃ、勉強になります。良いサイトをありがとうございます。
［質問］
キノコードのブログのログインページにアクセスする際に、
WebDriverException: Message: chrome not reachable と表示され、キノコ―ドブロクに到達しません。
色々調べてはみているのですが、回答が見つかりません。解決方法があれば教えてほしいです。
解決しました！
私も同じところで躓いてしまいました。
どのように解決したのか教えて頂けると嬉しいです
「browser.get(url_login)」が使えません。
実行するとエラーが出てしまいます。
「NoSuchWindowException: Message: no such window: window was already closed」
これはどういうことなのでしょうか
ウェブスクレイピング時にFileのダウンロードできたが、中身のContentはないです。コードでcontentをprintしたら「URL was rejected. please consult with ur administrator」どうすればいいかご存知ですか
『プログラミングの独学のコツ』の動画を上げて欲しい
承知しました！ひと段落したら作ってみますね！
findelementとクリック動作やsend操作の間にtimesleepを入れるのはなぜでしょうか？
大変参考になりました。「WebDriverException: Message: 'chromedriver' executable needs to be in PATH.」でかなり苦戦しましたが、Google ChromeとChrome driverのバージョンが違っていたようです。（ここまで１週間要しました）
すんなり進むより、苦戦してもがいた方がよく覚えるようです。
これからも学習動画で勉強させていただきます。
さやんさん、初めまして。
急なメッセージすみません。
私もさやんさんと同じエラーが出てしまい、行き詰まってしまいました。対策を教えていただけますでしょうか。
@@yukimori9169 さん。ご連絡ありがとうございます。
最近、Python学習を一旦保留し、Web制作系の言語から再学習しており、11ヶ月前に苦労して解決した問題が思い出せずにおります。
薄い記憶を思い出す限りでは、前述の通りGoogle ChromeとChrome Driverのバージョンが違っていたため、そこを修正したら解決したように記憶しております。
ただ、yuki moriさんのケースも同じとは断定できませんので、ご期待に沿えないかもしれませんが、頑張ってください！
udemyとかでお金払って見るレベルの教材が無料…
ありがとうございます！最大の賛辞です！これからも無料でよいコンテンツを配信していきたいと思いますので、引き続きよろしくお願いします！
本当にそれですよね、えぐすぎるw お世話になってます😌
Windows ユーザーです。
browser = webdriver.Chrome(executable_path = ‘C:\\Users\\KinoCode\\Desktop\\MyCode\\chromedriver.exe’)のところで
SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escapeというエラーが発生しました。
原因 pythonにおいて'\'（backslash） はescaping characters
対策方法① a raw stringとして認識させるためにパスの前にｒをつけてexecutable_path =ｒ‘C:\\Users\\KinoCode\\Desktop\\MyCode\\chromedriver.exe’
対策方法② '\'をすべて'/'に変えてexecutable_path =‘C://Users//KinoCode//Desktop//MyCode//chromedriver.exe’にする。
素早く解決できました。ありがとうございました。
ありがとうございます！
print(parse_html.title)を実行するとNoneと出てくるのですが、どうすれば対処できますか？
細かいことですが、seleniumで表示を待つ間、sleepを使うのは非推奨、最悪の手段とされています。
なので、できればwebdriberに搭載されている待機メソッドを利用することをおすすめします
フォローありがとうございます。私の方でも調べてみました。qiita.com/katsuya_ds/items/725840f11f5c7b314daa
と言ったような記事がありますね。なるほどって感じです。有益なコメント&フォローありがとうございます！勉強になりました！
わかりやすい動画ありがとうございます。send_keys(USER)のところでAttributeError: 'list' object has no attribute 'send_keys'とエラーが出るのですがなにがいけないかわかりますでしょうか
解決しました。find_elements_と複数形になってました
自分もここで躓いたので有益な情報となりました。ありがとうございます。