超簡単！自作でウェブスクレイピングアプリを作ってみよう！

[@51030343]

短時間でスクレイピングについて理解を深めることができました。ありがとうございます。

[@kozukaeleven9040]

お若いのにすごい技術で感激します😃
今はphpでスクレイピングしてます！

[@みのむしめんたる]

とても勉強になりました
ありがとうございます

[@髪切れ]

どんな感じでプログラムを組むのかがイメージが掴めました。有用な動画をありがとうございます！

[@testnahdle6154]

参考になりました、ありがとうございます。

[@梁瀬健太]

毎回わかりやすい説明で参考にしております。
cheerioを使用してログインが必要なサイトのスクレイピングをする方法が分からず動画を作っていただけたら嬉しいです。

[@hiruchannel1227]

ありがとうございます。
すごく分かりやすくて参考になりました。
チャンネル登録して応援します。

[@suzumesakurajosui]

この動画でchを知り、登録させて頂きました。私は、これまでいくつかの言語の入門をして、次にアルゴリズムなどをやってはみましたが実用に繋げられず、その先に進めないでいました。そんな中、今後はデータを集めて分析が出来るようになろうと考え、最近その情報を集め始めた者です。こちらの動画を見て、やりたい事ができる機能をもったライブラリの関数の仕様を知って使って行けばいいのかなど、参考になることが多くありました。ありがとうございました。

[@anna77777777]

こちらのチュートリアルを改めてやってみました
変数htmlPalserに格納された値にあるクラス名と実際にブラウザで確認したクラス名が異なっているようでした
shinさんはどういった事が原因だと思いますか

[@sabacan304]

これexpress何に使ってるんですかね…？

[@tsubasa_km]

ウェブスクレイピングってどんな時に使われるんですか？調べるだけなら手作業でもいいような気がしてます。

[@programming_tutorial_youtube]

常に価格を監視して差額を知りたいときや、大量にデータを取得したい場合に使います。手作業で済む量なら使う必要はないでしょう。

[@ft-ef2cg]

すごく分かりやすい動画でスクレイピングに興味がでました。
見積業務を自動化したいのですが、ターミナルに抽出されたデーターを外部ファイルに出力するか、ローカル環境で制作したWEBサイトにｊｓで反映させるといったことは不可能なのでしょうか？
いろいろ試しているのですが、そもそも情報が少なくて詰んでしまっています。
もしよろしければ助言をいただけると幸いです。

[@programming_tutorial_youtube]

抽出したデータをcsvファイルなどには出力できると思います。Javascriptで出力専用のライブラリもあるはずです。なければPythonでスクレイピングする必要があるかもしれません。Webサイトへも反映できるはずです。ここで説明することはできないのでご了承くださいませ、、

[@ft-ef2cg]

@@programming_tutorial_youtube
ありがとうございます。
いろいろ方法があることが分かり安心しました。いつも動画参考にさせてもらってます。
これからも面白い動画を沢山だしてください。楽しみにしています。
丁寧な返信ありがとうございました

[@マービンインシーシャンマイ]

早口ワロス
チャンネル登録した

[@py9833]

早口過ぎるので0.75倍が普通の速度

[@hrsitube]

const title = $(this).find(".title").text();
const price = $(this).find(".important").text();
でデータ取得できませんでした。
楽天のタグが違うのでしようか？

[@nanasi2001]

自分も全く同じで取得することができませんでした。結論から言うと楽天の公式サイトでスクレイピングを禁止されていました。そのためスクレイピングをブロックしているのだと思います。タグなど、htmlも動画と見比べたのですが変更がなかったので問題はないと思います。
さらに調べてみると、.catch((error) => console.log(error));を使用していてもHTTPリクエストが正常に行われているもしくわネットワーク間で問題がなければ、エラー扱いにはならないのでブロックされたことに気づかないのだと思います。
あと、自分のタイポも疑ったので主のコードをコピペして実行すると、エラーもでず綺麗にtitleとpriceだけを返して中身が空で返ってきました。GPTでもブロックされた場合に、空の状態でレスポンスを返すことも物によっては、あると言っていたので、おそらくブロックによるものだと思います。