2023.05.22
カテゴリ：テクニカルガイド
Changedetection 変化検出システム
WEBサイトのWEBページの細部まで監視、変化の検出を最奥部まで見逃さない監視、検出システムです。
データは貴重ですよね。
しかし、この監視システムがあれば、データが貴重であることは（もはや）秘密でもなんでもありません。
この監視、変化検出システムを使えばWEBスクレイピング同様の威力を発揮します。
Webスクレイピングは違法ではありませんが、グレーゾーン（オフホワイト？）です。
では、話を少し戻して簡単にWEBスクレイピングとは、なんなのかをザクっと、おさらいします。
Web スクレイピング (Web ハーベスティングとも呼ばれる) は、Webサイトからデータを自動的に抽出して収集するプロセスです。これは、 APIを持たない Webサイトから構造化データを取得する必要がある場合、または API がデータへのアクセスを制限している場合に便利なアプローチです。
例えば、製品名、価格、在庫状況など、オンラインストアの売れ筋製品トップ50に関するデータを含むスプレッドシートを、あなたは必要だったとします。
1つのアプローチでは、Webサイトからスプレッドシートにデータを手動でコピーして貼り付けることですが、これには非常に時間がかかり、人の手によるエラーが発生しやすくなります。
そこで、Webスクレイピングを使用してこのデータを自動的に収集することで時短につながり、かつ、一瞬でデータを収集できるよ。
というわけです。
なので、ある意味、WEBスクレイピングは、ちょっとしたハッキングの技術でもあるわけです。
なぜ、グレーゾーンなのかというと、Webスクレイピングを明示的に禁止している Webサイトもあれば、Webスクレイピングを許可している Webサイトもあるわけです。また、収集できるデータが制限されている場合もあります。
そういうわけで、そのサイトの規約などを見て最終的にはルールに沿ってスクレイピングをやれば、現状問題ないということです。
WEBスクレイピングのザクっとしたおさらいでした。
話は、もとに戻りますが、
Changedetction.ioについて
Changedetction.io は、特定のWebサイトに変更が加えられたかどうかを検出するように設計されたシステムです。
これは、先ほど述べたようにWEBスクレイピング同様の威力を発揮します。
このサービスは、ページの出力を定期的に取得することで機能します。その後、変更が見つかるたびに、サービスは通知を送信し、最後の更新以降に正確に何が変更されたかを簡単に確認できる方法を提供してくれるのです。
わかりやすく言うと、たとえば、
監視しているWEBサイトのAさんが、WEB上でメモを更新しました。しかし、それは、会員限定ページとしての更新でした。
このシステムは、その変化を逃しません、その秘密のURLを検出します。
なので、ここでは秘密のページもある意味、無意味となります。
ほかにもWEBページを１行変更しただけでもどのページのどこの部分を変更したかも検出してしまいます。
そんなシステムです。
Web サイトのコンテンツの変更を検出し、意味のあるアクションを実行します。Discord、電子メール、Slack、Telegram、API 呼び出しなどを介して通知をトリガーしてくれます。
データ収集は、いったんWEBスクレイピングで、そして、監視対象からさらにの最新情報をいち早く手に入れる場合に役に立たすのが、この監視、検出システムってわけです。
次回は、インストール方法といい意味での使用例について示します。
以上です。
余談：
人は悪魔に熱狂する 悪と欲望の行動経済学は、行動経済学やマーケティングについて書かれている本があります。
その本とここでのマーケティングに関するデータ収集術やいかに最新テクノロジーでのデータ収集をするべきかがよくわかるようになります。
Tag: マーケティング