情報収集メインユーザーのためのデータ削減ガイド

データ通信量は自分で減らせるって知ってました?拡張機能とサーバーを使った方法をご紹介します

検索に除外キーワードを追加する

自作の検索機能はどうですか?通常の検索で十分という方もいるかと思いますが、検索結果を操作することで思わぬ発見をすることもあります。また、通常の検索で埋もれてしまうページを見つけることもできるのです。

今回は個々の除外キーワードの設定方法を説明していきます。うまく組み合わせれば自分仕様の検索機能を作れるかもしれませんよ。

検索バーに入れる除外キーワードの設定

はじめに、XREAサーバーにログインします。

このWebサイト上の画像はハーフトーン画像(C版・籠目網代式)が使われています。Chromium系(Chrome/Brave)では正しく表示されないことがあります。 Mozilla系(Firefox/LibreWolf)のブラウザをご利用ください。

データ削減画像 データ削減画像

XREAのダッシュボード管理画面の左端の「サイト設定」をクリックします。表示された画面からアクションにある「WebFTPクライアント」(=雲のようなアイコン)をクリックします。

データ削減画像 データ削減画像 データ削減画像

FTPクライアントが表示されます。一覧から「exclude_keywords.txt」の「編集」をクリックします。

データ削減画像 データ削減画像
データ削減画像 データ削減画像

入力画面が表示されます。ちなみに除外キーワードの書き方にはルールがあります。

-あんぱん
NOT mt
NOT site:go.jp

日本語のキーワードの前には「-(マイナス)」をつけます。

-あんぱん

アルファベットのキーワードの場合は、(大文字で)「NOT」のあとにスペースを空けてキーワードをつけます。

NOT mt

特定のURLを除外したい場合は「NOT site:」のあとにURLをつけます。

NOT site:go.jp

また、キーワードは1語句ごとに改行します。

データ削減画像

画面左上の矢印の隣りにある保存(=フロッピーディスクのマーク)をクリックします。これで準備完了です。 ※FTPクライアントのトップページに戻るときは矢印のマークをクリック。

データ削減画像 データ削減画像
データ削減画像 データ削減画像

データサクゲンダーの検索画面に戻り、「やなせたかし」と入力してみましょう。

データ削減画像 データ削減画像 データ削減画像

連続ドラマ「あんぱん」についてのWebページは除外されています。ドラマでなくやなせさんのことを調べたいときは有効です。

データ削減画像 データ削減画像

データサクゲンダーの検索画面に戻り、「マスキングテープ」と入力してみましょう。

データ削減画像 データ削減画像 データ削減画像

かわいいマスキングテープで有名な「mt」が除外されました。業務用のマスキングテープを探しているときは除外したいものです。

データサクゲンダーの検索画面に戻り、「e-tax」と入力してみましょう。

データ削減画像 データ削減画像 データ削減画像

行政のサイトが除外され、e-taxに関して書かれたWebページがヒットします。行政のサイトは通常の検索エンジンでもヒットするので、それ以外の情報を探したいときに有効です。

今回のは一例です。これらの除外キーワードは検索対象キーワードの特性に依存するものなので、検索バーに一緒に入力するほうが有効ではあります。マスターキーワードに入れるのは汎用的なキーワードです。

このファイルは、基本的にマスターキーワード、つまり、どのような検索キーワードを入れた場合でも、必ずそのキーワードを含むWebページを除外するときのキワードを入れるためのものです。

それ以外は、検索ごとにキーワードと一緒に「キーワード -〇〇」と入力すれば、マスターキーワード+〇〇を除外してくれるということです。検索バーで除外されたWebサイトはカウントされないため、欲しい情報に近いWebページをより多く手に入れることができます。

「NOT site:」と「site:」が使える数が合計14個までのようです。 「exclude_keywords.txt」では13個までにすると決めて、残り1つは検索バーで「NOT site:」と「site:」が指定できるようにしておくといいです。

NOT YouTube
NOT YouTuber
-ユーチューバー
-アフィリエイト
-アフィリエイター
NOT Instagram
NOT Facebook
NOT TikTok
NOT site:co.jp
NOT site:x.com

検索バーで除外しきれないキーワードの除外方法

ただ、検索キーワードに入力できる文字数(=2KB)は限られていますので、どうしても妥協しなければいけないキーワードもあります。解決方法として、検索結果で得られた検索結果をXREAサーバーの機能で絞り込みます。

検索結果を利用しますので、得られた200件以内のWebタイトルから絞り込まれます。検索結果は減ってしまいますが、欲しい情報により近いものだけが残りデータ通信も減らせるわけなので経済的です。

さらに絞り込むために「exclude_keywords_more.txt」にキーワードを入力します。XREAのFTPクライアントの一覧から「exclude_keywords_more.txt」の「編集」をクリックします。

データ削減画像 データ削減画像

ここでは「-(マイナス)」やNOTは不要です。ただし、ここで判定できるのはtitle要素とdescription要素(=補足)のみです。

ウィーン金貨ハーモニー
ウィーンハーモニー
LINE
データ削減画像

画面左上の矢印の隣りにある保存(=フロッピーディスクのマーク)をクリックします。これで準備完了です。 ※FTPクライアントのトップページに戻るときは矢印のマークをクリック。

データ削減画像 データ削減画像
データ削減画像 データ削減画像

データサクゲンダーの検索画面に戻り、「田中貴金属 購入できる 金貨 種類」と入力してみましょう。

データ削減画像 データ削減画像

しつこいくらいに出ていたLINE公式アカウントの検索一覧が消えました。ウィーン金貨に関連するページも除外されています。

データ削減画像 データ削減画像

本文をスクレイピングしてさらに振り落とす

検索APIによる除外とXREAサーバーによるキーワード除外で検索が絞られました。しかし、判定で使われていたのはAPIに内包されたインデックスとタイトル、補足とURL情報のみです。本文内に含まれるキーワードまでは絞られていません。

そこで、Webページ内部にあるテキスト情報とキーワードをすり合わせて、合致する場合はページ情報を除外します。(スクレイピングと呼ばれる手法のようです。)また、特定の記号などで囲まれていたり、一定のルールを持つ文字列の除外も正規表現という手法で行います。

ただし、サーバーへの負荷も時間もかかる処理ですので、ある程度キーワードを絞り込んでから最終的に実行することをおすすめします。※200件ぐらいだと、サーバーが停止する可能性があります。

データサクゲンダーの検索画面で「最新 SNS ランキング」と入力してみてください。ほとんどが【】で囲まれた文字列が含まれています。この文字列は厄介で検索バーでは除外ができません。

【2025年版】【2025年版】…、TOP10、12選などの文字列が踊っています。除外しようにも記号で囲まれた数字やよく見る文字列のあとの数字がバラバラですね。

データ削減画像 データ削減画像
データ削減画像 データ削減画像
データ削減画像

データサクゲンダーの検索画面で「site:https://kakuyomu.jp/works/1177354054881030597 田仲ひだまり」と入力してみてください。全てではないですが、いくつかのページがインデックスされています。29話と35話があることを覚えておいてください。

※タイミングによってはインデックスされていない場合がありますので、その場合は別のページでお試しください。

データ削減画像 データ削減画像

では、「exclude_regex.txt」にキーワードを入力します。XREAのFTPクライアントの一覧から「exclude_regex.txt」の「編集」をクリックします。

データ削減画像 データ削減画像
/【[0-9\uFF10-\uFF19]+選】/u
/[0-9\uFF10-\uFF19]+選/u
/【[0-9]{4}年度】/u
/【[0-9]{4}年度版】/u
/【[0-9]{4}版】/u
/【[0-9]{4}年版】/u
/【TOP+[0-9\uFF10-\uFF19]】/u
/TOP+[0-9\uFF10-\uFF19]/u
/おもちゃと文房具が株主優待/u
/自社商品を安く買うことができる/u

順番に見ていきます。/【[0-9\uFF10-\uFF19]+選】/uは、【○○選】の形式であり、○○のところには必ず数字が入ります。桁数は問いません。半角と全角両方に対応しています。/【TOP+[0-9\uFF10-\uFF19]】/uも共通キーワードの「TOP」が先頭に来ているだけで考えは同じです。

/【[0-9\uFF10-\uFF19]+選】/u
/【TOP+[0-9\uFF10-\uFF19]】/u

/[0-9\uFF10-\uFF19]+選/uは、○○選の形式であり、記号で囲まれていないが、○○のところには必ず数字が入ります。半角と全角両方に対応しています。/TOP+[0-9\uFF10-\uFF19]/uも共通キーワードの「TOP」が先頭に来ているだけで考えは同じです。

/[0-9\uFF10-\uFF19]+選/u
/TOP+[0-9\uFF10-\uFF19]/u

/【[0-9]{4}年度】/uは、【】で囲まれており、数字が4ケタの西暦+共通キーワードがあとに続くことが合致の条件です。【○○年度版】、 【○○年】、【○○版】、【○○年版】も同様です。

/【[0-9]{4}年度】/u
/【[0-9]{4}年度版】/u
/【[0-9]{4}版】/u
/【[0-9]{4}年版】/u

/おもちゃと文房具が株主優待/uは、単に本文から除外したいキーワードを入力します。キーワードは「/(=スラッシュ)」と「/u」で囲みます。 「自社商品を安く買うことができる」も同様です。

/おもちゃと文房具が株主優待/u
/自社商品を安く買うことができる/u
データ削減画像

画面左上の矢印の隣りにある保存(=フロッピーディスクのマーク)をクリックします。これで準備完了です。 ※FTPクライアントのトップページに戻るときは矢印のマークをクリック。

データ削減画像 データ削減画像
データ削減画像 データ削減画像

検索バーに「最新 SNS ランキング」を入力し、「本文検索」を「本文検索する」に変更します。※すこし時間がかかりますので、今回は60件でやってみます。

データ削減画像 データ削減画像

【】で囲まれた検索結果がほとんどなくなったと思います。TOP10や10選も消えています。※SHIFT-JIS形式や、文章が長すぎるものはタイムアウトするため除外対象から外れています。

データ削減画像 データ削減画像

検索バーに「site:https://kakuyomu.jp/works/1177354054881030597 田仲ひだまり」を入力し、「本文検索」を「本文検索する」に変更します。

データ削減画像 データ削減画像

29話と35話が検索結果から外されました。

データ削減画像

URLで除外する

さいごに、URLで除外する方法で終わります。「exclude_keywords.txt」では汎用的なホストドメイン(=co.jpやgo.jp)などを省くために使いました。しかし、個別にあるドメインのサイトも除外したいという場合もあります。そこで、「exclude_url_patterns.txt」を使い、特定のURLを除外していきます。

まずは除外無しで「萩原朔太郎 青猫 猫町」と入力します。一覧から著作権切れの著作を扱う「青空文庫」がいくつか見られます。

データ削減画像 データ削減画像

この「青空文庫」を「exclude_url_patterns.txt」で除外してみましょう。XREAのFTPクライアントの一覧から「exclude_url_patterns.txt」の「編集」をクリックします。

データ削減画像 データ削減画像
aozora.gr.jp
データ削減画像

画面左上の矢印の隣りにある保存(=フロッピーディスクのマーク)をクリックします。これで準備完了です。 ※FTPクライアントのトップページに戻るときは矢印のマークをクリック。

データ削減画像 データ削減画像
データ削減画像 データ削減画像

データサクゲンダーの検索画面に戻り、「萩原朔太郎 青猫 猫町」と入力してみましょう。※ここでは本文検索をオフにして行っています。

データ削減画像 データ削減画像

青空文庫が一覧から消えました。

データ削減画像 データ削減画像

お疲れ様です!これらは一例ですので、ユーザーさんの設定次第でいろんな検索結果を見つけることができますよ。

「情報収集メインユーザーのためのデータ削減ガイド」いかがだったでしょうか?格安SIMを使って情報収集ができればとりあえずOK!で、ちょっと電子漫画も読めたら最高!というわけで作ってみた次第です。

今後も色々作っているかもしれませんが、私の副業のメインは3Dモデリングですので、また時間ができたら「削減できる」なにかをつくるかもしれません。

では、さようなら!