【PythonによるWebスクレイピング入門】vol.04：ランキングサイトの掲載情報を全て自動で取得する方法を徹底解説！

PythonによるWebスクレイピング入門第四弾です！
旅行検索サイト、ECサイト等やオススメ情報を掲載したサイトから掲載情報を自動で抽出する方法をお伝えします。
前回同様、Beautiful Soupを用いて情報を抽出する方法についてお伝えします！非常に実践的な内容となっております。是非お楽しみください！
◎講義で使用するページ
scraping-for-b...
■ 本講座のベースになっているUdemy講座
PythonによるWebスクレイピング〜入門編〜
www.udemy.com/...
■ PythonによるWebスクレイピング入門
Pythonを用いた業務効率化、自動化の中でも代表的なWebスクレイピングについてお伝えしていきます。ブラウザ操作の自動化からテキストや画像データの自動抽出等を行う方法についてわかりやすくお伝えします。
【PythonによるWebスクレイピング入門】vol.01：ログインなどのブラウザ操作を自動化しよう（Selenium）
• 【PythonによるWebスクレイピング...
【PythonによるWebスクレイピング入門】vol.02：Webページ内のテキストデータを自動で抽出（Selenium）
• 【PythonによるWebスクレイピング...
【PythonによるWebスクレイピング入門】vol.03：Webページ内のテキストデータを自動で抽出（Beautiful Soup）
• 【PythonによるWebスクレイピング...
■ 他シリーズ人気動画
習得したい言語第1位！！Pythonとは？ | 中学生でもわかるPython入門シリーズ
• 01. 習得したい言語第1位！！Python...
クラス | 中学生でもわかるPython入門シリーズ
• 15. クラス | 中学生でもわかるPyth...
PythonでぐるなびAPIを扱おう | Python活用シリーズ
• PythonでぐるなびAPIを扱おう | P...
■ Twitter
/ 03imanyu
■ Udemy
www.udemy.com/...
#スクレイピング #Python #BeautifulSoup

[@user-bq6ec2ju5j]

今回取得したデータは1ページ目(10個のデータのみ)ですが、
2ページ目、3ページ目も自動でデータを取得する方法が知りたいです。
これが出来たら、データ収集は非常に便利になりますね。
毎日更新される株価データの取得とかに役立ちそうです

[@asagayakun4731]

最高です。最後の方は魔法を見ているようでした。感動しました。ありがとうございます。

[@imanyu_programming]

そのようにおっしゃっていただき嬉しいです！！

[@dshiny9753]

動画の投稿ありがとうございます。とても有意義な講義でした！！スクレイピングのHowToだけでなくどのようにしたら（具体、抽象）目的にたどり着けるかを学ばせてもらいました！素晴らしい！
ただ私の場合頭悪いのでこの動画を理解するまでに3日かかりました（白目）。
次回も楽しみにしてます！

[@imanyu_programming]

いつもコメントありがとうございます！
そのようにおっしゃっていただき非常に嬉しいです！！
ありがとうございます！！
最初は理解に時間がかかるかもしれませんが、徐々に慣れていけば問題ないと思いますよ！！
はい！お待ちいただければと思います！！

[@aNcnbjkEJX]

pandasでまとめるとこまで解説している動画を探していたので、とても参考になりました！ありがとうございます。

[@paprikaredman]

やってみて実感しましたがすごく面白かったです。色々勉強させて頂きます。

[@imanyu_programming]

楽しんでいただけたようで良かったです☺️
はい！！是非色々ご覧になってみてください！！

[@sasapurin]

ありがとうございます。すごくわかりやすかったです。
我流（苦肉の策）でなんとか結果を得ていた部分が実は簡単にできるということが分かりました。
CSV形式にする方法もわからなくてforで無理やり行ってましたが、Pandasというのを使えばこんなに簡単で柔軟なのだと分かりました。
スクレイピングで使う基本的なテクニックがVol.1～4にほぼ入っていると思うので、理解度を深める為に実際に作ってみて、また動画を見て理解を深めてとやってみます。
多分、2～3回実践と復習を繰り返せば完璧に身につくと思います。

[@imanyu_programming]

コメントありがとうございます！！
はい！基礎は本動画で間違いなく抑えられるので、是非理解を深めていってください！

[@Kof95kusanagi]

ありがとうございます。とてもわかりやすかったです。

[@imanyu_programming]

こちらこそご視聴ありがとうございます！！

[@___keisuke___8267]

素晴らしい、わかりやすい！

[@imanyu_programming]

ありがとうございます！！！！！！

[@user-mb3pc2be8k]

観光地11〜の情報をスクレイピングする際の方法は載せていないですか？

[@ttymy2038]

Response [200] が、response [503] と出て、ちょっと焦りました。
ググってみると、サーバーが忙しかったみたいです。
サーバーが忙しくなるくらい、人気なんですね。
1時間後には、無事、Response [200] が出て
受講させていただきました。

[@imanyu_programming]

無事リクエストが通ったようで良かったです！！
マシンスペックをそろそろ上げねばですね、、、

[@oga1055]

動画とても参考になりました！有意義な情報をいつもありがとうございます！
1点質問なのですが、Jupyter lab でWebスクレイピングした際、日本語部分が文字化けしてしまい。。。。
これの解消法はございますでしょうか？？

[@iiaa4064]

まったくの初心者です　質問です　これをするとどんなメリットがあるのですか？取得した後どのように使うのか気になります

[@imanyu_programming]

業種次第によりますけど、競合の調査であったり、記事執筆の情報に使用したり、様々なケースが考えられるかと思います！

[@akanuke_bizyo_matome]

28:46の時に実行したら　Key error：0 と出てしまいます。何がおかしいかわかりません。どうすればいいでしょうか？

[@akanuke_bizyo_matome]

36:10のときTYPE errorがでてきます。どうすればいいでしょうか？