前回までに、要素の削減や画像処理を行ってデータ通信削減を試みました。 さいごに、自作クローラーによる検索によってデータ通信を削減します。

設定の流れは次のとおりです。

【検索機能の流れ】
１．Braveアカウントを作る
２．BraveAPIキーの発行
３．除外キーワードの登録

はじめに、「Brave」という検索エンジンのアカウントを取得します。登録後、 Braveから検索APIキーを発行します。

除外したいキーワードがある場合は テキストファイルに追記します。※テキストファイルは中級編ですでに アップロード済みとします。

さいごに、BraveAPIキーを入力すれば、拡張機能内の 検索バーより検索が可能で、検索結果が拡張機能内に表示されるという感じです。

通常の検索では、サイトを指定して、そのサイト内だけをクロールさせたり、そのキーワードを 必ず含めるといった検索ができます。しかし、除外キーワードなど、 絶対出てほしくないキーワードなどを毎回入れるのは面倒ですし、 数が多くなれば大変です。

また、「○○年」や、「【○○○○年版】」という、数字のあとに決まった文字がつくものや、 カギカッコで囲まれた値などは検索バーの除外キーワードでは除外できません。

自作クローラーなら検索APIと合わせることで、正規表現という方法で上記のような キーワードを除外できます。

今回つくる自作クローラーは１ヶ月２０００回のアクセス（＝検索）が可能です。 検索結果は１検索につき２００タイトルまでと制限がありますが、除外キーワードで絞り込むことで、 出てほしくないページはカウントされず、精度の高い検索結果を手に入れることができるのです。

すこし、興味が湧いてきたでしょうか。手間はかかりますが、作ってしまえばあとは使うだけです。 まずはやってみましょう！