GASでお手軽Webスクレイピング【Google Apps Script】
ฝัง
- เผยแพร่เมื่อ 24 ธ.ค. 2024
- ※新しいGASのエディターだと動画内で使用しているライブラリ「Parser」をプロジェクトキー「M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV」で追加できないようになっています。古いエディターに切り替えてからプロジェクトキーでライブラリを導入するか、スクリプトID「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」で導入するようにしてください。
-------------------------------------------------------------------------------------
Google Apps Script(GAS)を使ってWebスクレイピングのプログラムを作ります。GASはJavaScriptベースのスクリプト言語なので、基本的にコードの書き方はJavaScriptと同じように書けます。
一般的にWebスクレイピングのプログラムを書くときはPythonをよく使うと思うのですが、GASでも書けます。
GASで各メリットとしては以下のことが挙げられます。
・無料
・環境構築不要
・サーバーレスで定期実行可能
・スプレッドシート等との連携が簡単
逆にデメリットです。
・ブラウザ内のエディタが使いにくい
・動作速度が使いにくい
・モバイルデバイスからは基本的には使えない
メリットの中で最も魅力的なのは「サーバーレスで定期実行できる」ことだと思います。
例えばPythonでWebスクレイピングのプログラムを作っても、その後サーバーを用意して定期実行のプログラムも作る必要があります。
しかしGASならトリガー設定で簡単に行なえます。
ただ、GASはWebスクレイピングのプログラムを書くにはあまり向いていないかもしれませんが・・・。
どのようなシステムを作るかにも寄るので、GASを使うことも一度検討してみても良いとは思います。
--------------------------------------------------------------------------------------------------------------------------------------------
2020年12月からGASのエディターが新しいものに変わったので、解説しました。
Google Apps Script（GAS）の新しいエディターの変更点についてざっくり確認してみた【Google Apps Script】
• 新しいエディターの変更点についてざっくり確認...
-------------------------------------------------------------------------------------
動画内で使用したテキスト検索・抽出ライブラリ
Parser
www.kutil.org/...
-------------------------------------------------------------------------------------
以前に投稿したJavaScriptの変数宣言の動画です。
「var, let, constの違い!?【JavaScript】」
• var, let, constの違い!?【J...
-------------------------------------------------------------------------------------
以前に投稿したWebスクレイピングの解説動画です。
「すぐできるWebスクレイピング [python]」
• 【基本】すぐできるWebスクレイピング （p...
「【画像保存】Webスクレイピングによる画像保存を徹底解説！！（Python）」
• 【画像保存】Webスクレイピングによる画像保...
「【CSV出力】Webスクレイピングで取得したデータをCSVファイルに書き出す方法を徹底解説！！」
• 【CSV出力】Webスクレイピングで取得した...
-------------------------------------------------------------------------------------
※Webスクレイピングは使い方によっては「偽計業務妨害罪」等の罪に問われる恐れもあります。
サイトのrobots.txtや利用規約を確認して正しく使いましょう。
Webスクレイピングの注意事項に関しては以下のサイトが参考になります。
【スクレイピングと法律】スクレイピングって法律的に何がOKで何がOUTなのかを弁護士が解説。
it-bengosi.com...
スクレイピングは違法？スクレイピング前に注意すべきこと
qiita.com/Scra...
Webスクレイピングの注意事項一覧
qiita.com/nezu...
--------------------------------------------------------------------------------------------------------------------------------------------
今後の頑張りに繋がりますので、高評価・チャンネル登録もよろしくお願いします。
↓チャンネル登録は以下のリンクからでもできます！
/ @noelrecords-programming
ツイッターでも情報を発信しています。
/ noelrecords_app
欲しいものリスト作ってみました。
開発環境を更新したい！！いろいろ実験してみたい！！
www.amazon.jp/...
#プログラミング #GAS #NoelRecordsのプログラミング研究室
これは面白い言語ですね。
僕もGASを勉強してみたくなりました。
スプレッドシートに抽出できるのですね。
グッド👍です！
GASは固有の関数以外はJavaScriptと同じですし、環境構築も不要なのでいいですよ〜☆
新しいGASのエディターだとプロジェクトキー「M1lugvAXKKtUxn_vdAG9JZleS6DrsjUUV」ではライブラリが追加されないようです。
古いエディターに切り替えてからプロジェクトキーでライブラリを導入するか、スクリプトID「1Mc8BthYthXx6CoIz90-JiSzSafVnT6U3t0z_W3hLTAX5ek4w0G_EIrNw」で導入するようにしてください。
またヤフーニュースの見出しリストのクラス名は定期的に変わるようで、現在は「topicslist_main」ではないようです。
動画内のプログラムを試す際はデベロッパーツール等で現在のHTML構造を確認するようお願いします。
とてもわかりやすかったです！！
コメントありがとうございます！
お役に立てたようで良かったです(^^)
こんにちは。動画拝見させていただきました。
Googleマップから飲食店の店名と住所を抜き出したいのですが、教えていただけませんか？
また市ごと絞って抜き出しできたりしますか？
動画の視聴・コメントありがとうございます。
「Googleマップから飲食店の店名と住所を抜き出したい」とのことなのですが、動画とは直接関係がないことなので、申し訳有りませんがお答えしかねます。
動画外のことを個別で対応してしまうと、キリが無くなってしまうので。
もちろん、仕事としての依頼ならば引き受けさせていただきます。
しかし今回の件はGoogleマップの利用規約に違反すると思われますので、依頼としても引き受けることはできません。
GoogleのサービスであるTH-camで動画投稿しているので、万が一利用規約に違反した行為でアカウントをバンされてしまうと困ったことになりますので。
申し訳有りません。
今後ともよろしくお願いします。