月曜日, 6月 29, 2015

公開ホワイトリストの棚卸し

 いつもホワイトリスト情報とブラックリスト情報にご協力くださっている方が、明らかに無意味になったホワイトリスト項目の指摘も時々くださっている。私もホワイトリストの棚卸しをしたことはあるが、「ホワイトリスト登録されたホストからスパムを受けた」という申告がない限りはほったらかしても実害はないから優先度は低いと思っているうちに、棚卸しをしないまま何年か過ぎてしまった。
 最も古い項目(ファイルの一番下)の登録日は、S25Rを発表した2004年である。11年も経ったらもう廃止されてしまったホストもあるだろうと思って、登録の古いものから順に棚卸しを始めた。コメントアウトしたものでいくつか典型的なものを古い順に示す(これらの記載はファイルの上部へ移動している)。

# Jun 28, 2015: (host has become unreachable)
# Feb 24, 2004: pioneer.co.jp's
#/^221x115x147x174\.ap221\.ftth\.ucom\.ne\.jp$/

 かつてパイオニア社から私が受けた案内メールの送信サーバである。221x115x147x174.ap221.ftth.ucom.ne.jpはping応答がない。tracerouteをかけるとucom.ne.jp内の途中のルータからunreachableの応答が返る。ホストは生きていてもセキュリティのために(ホストの存在を無差別に探られないためとか?)ICMPを遮断しているという可能性が考えられなくもないが、もしそうだとしても、「私は生きています」という返事さえ返さないホストをいつまでも救済対象としておく価値はないという考えに基づき、コメントアウトした。

# Jun 28, 2015: (domain "info-ntt.co.jp" expired)
# Apr 17, 2004: info-ntt.co.jp's
#/^ps23\.suite2\.arena\.ne\.jp$/

 かつて、NTTのサービスの広告をウェブサイトに載せてくれないかと連絡してきた会社である。info-ntt.co.jpドメインはもう消滅していることがわかったので、コメントアウトした。

# Jun 28, 2015: (host expired; canceled whole domain permission by policy)
# Nov 29, 2004: rohhc.com's h216.70.22.140.superiorbroadband.com, etc. (*)
#/\.superiorbroadband\.com$/

 コメント行に記載していたh216.70.22.140.superiorbroadband.comは順引きできなくなっていた。superiorbroadband.comドメインは存在するが、「顧客のコントロール下にあって悪用されるリスクのあるホストを収容するネットワークサービス」(サーバをネットワーク攻撃に悪用するユーザーがいるとの情報があるamazonaws.comのような)でないという確信が持てないので、ポリシーに基づいてsuperiorbroadband.comドメインの丸ごと許可を取り消した。もしそれで即時受信に支障を来たすサイトがあったら、改めてホワイトリスト登録を申請してください。

 この調子で昨日(6月28日)、2006年3月登録の分まで見直した。今後も気が向いた時にちょっとずつ棚卸しをするつもりである。登録項目は1600以上あるから時間がかかりそうであるが。
 ちなみに、コメントアウトした許可条件から「OK」のキーワードを消しているのは、エディタで「 OK」の文字列を数えることによって有効なホワイトリスト項目を数えるための便宜である。

公開ブラックリストの需要はまだ少ない

 公開ブラックリストの本格運用を開始したが、ブラックリストファイルへのアクセスは少ない。
 試行運用をブログでアナウンスした6月9日の前日の6月8日には、black-list.txtファイルへのアクセスは5件あった。2010年に「S25Rの一般規則を使わない代わりのドメインブラックリスト」を試行したことがあり、その後立ち消えになってしまってファイルをほったらかしていたが、その後ずっとcronで定期的に取得していたサイトが複数あるようである。black-list.txtファイルの作成ポリシーを私が突然変えてしまったことになるが、メンテされていなかったブラックリストが今さら役に立っていたはずもない。実際、ファイルの内容が根底から変わってしまったことについての苦情は受けていない。
 6月24日に本格運用をブログでアナウンスするとともに、今までにS25Rに関する用件でメールをいただいたことのある人55人(アドレスエラーになった人を除いて)にメールで案内したが、その日のアクセスは33件(アクセス回数であり、アクセスしたホスト数は数えていない)。その後、25日には20件、26日には18件、27日には13件、28日には12件という具合で、需要は少ないようである。
 アクセスが少ない理由については、普段協力してくださっている方からもコメントをいただいたのだが、自前のドメインでS25Rを突破するスパムが現れたとはいえ、受信者が業務を妨害されるほどに突破率が増えているわけではないので、私のウェブコンテンツをまめにチェックする人はあまりいないのかもしれない。また、案内メールを55人に送ったが、その中には異動やシステム運用の外注化などでもうS25Rの運用に関わっていない人も少なくないかもしれない。
 ただ、案内メールへの返信をくださった人が1人だけいた。「ヘッダチェックでブロックするケースが増えてきていたので、感謝です」と言ってくださった。
 今後需要が伸びるかどうかはわからないが、推定数千くらいのS25R導入サイトのうち数サイトでも利用してくれるなら、続ける価値はあると思っている。また、どのくらい使ってもらえるかはともかく、「金をかけてドメインを買ってまでS25Rを破ろうとする手口をS25R方式の開発者は容赦していない」という姿勢を見せることが、S25R方式への信頼を維持し続けるために役に立つと思っている。

木曜日, 6月 25, 2015

私のサーバの逆引きドメインの説明ページ

 公開ブラックリストのポリシーでは、スパムの送信元ホストの逆引きドメインのまともなウェブがなければ怪しいと判断することにしている。
 考えてみたら、私のgabacho-net.jpドメインのメールを送信するサーバ(ウェブサーバも同じ)の逆引き名はa.reto.jp(retoはエスペラント語でnetの意味)で、reto.jpドメインを説明するウェブページを用意していなかった。もちろん私のサーバがスパムを送信することはないが、これでは紺屋の白袴のようなもの。そこで、http://www.reto.jp/のURLで以下の意味の英語の説明を表示するようにした。

reto.jpは、以下のためのドメインです。
  • オーナーのgabacho-net.jpドメイン用サーバの逆引き名
  • ウェブリダイレクションサービス
  • 非公開のメール/ウェブサービス

 なお、ホスト名省略のreto.jpにはAレコードもMXレコードもない。なぜか「***@reto.jp」(***は心当たりのない日本人名)というアドレスに宛てたメール送信アクセスを何度も受けてうざかったことがあるからである。非公開のグループに提供しているメールアドレスは、このドメイン名の直下にホスト名を指定しなければならないようにしている。

 余談だが、紺屋の白袴で思い出した。もう消えてしまったブログだが、ずいぶん前にこんな記事を見たことがある。その人(日本人)は外国のVPSサービスを使って個人用サーバを運用していた。スパム除けのためにS25R方式を使っていたが、自分に割り当てられたIPアドレスには逆引きが設定されていない。「これでは、『健康のために痩せなさい』と言っている医者が太っているというようなものだな」と思って、プロバイダに「逆引きは設定してもらえる?それとも、逆引きゾーンを委譲してもらうことになる?」と問い合わせたら、すぐに「OK。名前は何にする?」と返事が来て、対応のあまりの早さに驚いたということだった。

ブラックリスト項目の見直し

 本格運用を開始した公開ブラックリストであるが、整理したポリシーに基づいて、すでに掲載していた項目を一部見直した。

/^nairobi.\pollmans\.co\.ke$/ 450 spam ex-convict

このホストについては、6月13日「名前が怪しくないホストのブラックリスト登録」で述べた。何度も第三者中継のアクセスをしてきている(その記事を書いた後も、6月14日から23日にかけて6回のアクセスがあった)。pollmans.co.keドメインのウェブがないので、「名前は怪しそうでない」という感覚でなくポリシーに則って、ドメイン全体を警戒する拒否条件

/^(.+\.)?pollmans\.co\.ke$/ 450 spam ex-convict

に改めた。
 co.keを冠するからには、ケニアの法人格を持つ企業なのだろうが、ウェブがないこととスパムの前科から、憶測だが、まともな会社ではなく、スパム送信を請け負う仕事をしているのかもしれない。

 もう一つ、ポリシーがまだ固まっていなかった試行運用期間中に協力者から報告された

/^pavlovickyalpha\.hanacke\.net$/ 450 spam ex-convict

があった。ウェブはあって、チェコ語と英語のページが用意されているが、英語のページは工事中になっている。チェコ語を翻訳にかけたところ、ネットワークサービスらしいと見当が付いたが、本格的なビジネスとしてのネットワークサービスには見えず、同好会のようなものかもしれない。
 スパムを送信したホストがネットワークサービス事業者のコントロール下にあるメールサーバならば載せない、顧客のコントロール下にあって悪用されるリスクのあるホストならホストまたはホスト群だけを警戒する拒否条件を載せるというポリシーである。ホストpavlovickyalphaはhanacke.netのMXではないとはわかった。かといって、ネットワークサービス事業者のコントロール下にあるメールサーバでないという確証はないけれども、スパム送信の前科がある以上は疑わしいと判断してよいと考え、そのままとした。

水曜日, 6月 24, 2015

公開ブラックリストの本格運用を開始

 S25R公開ブラックリストの本格運用を開始した。
 ポリシーは以下のように説明している。

 スパムを送信したことがあり(そのスパムが受信されてしまったかどうかにかかわらず)、かつ以下のいずれかの条件を満たすホストまたはドメインをブラックリストに掲載します。
  • そのドメインのウェブサイト(http://www.ドメイン名/ または http://ドメイン名/)がない。――ドメイン全体を警戒する拒否条件を掲載します。
  • ウェブサイト(リダイレクトされたページを含みます)があっても、そのドメイン固有の真っ当なビジネスの説明が掲示されていない。――ドメイン全体を警戒する拒否条件を掲載します。
    (空白のページ、パスワード入力ページ、ドメイン転売のページ、リンク集だけのページ、違法なビジネスのページはこの条件に含まれます。)
  • ウェブサイト(リダイレクトされたページを含みます)に掲示されたビジネスは、顧客のコントロール下にあって悪用されるリスクのあるホストを収容するネットワークサービスである。――そのドメイン内の不審なホストまたはホスト群だけを警戒する拒否条件を掲載します。
    (ネットワークサービス事業者のコントロール下にあるメールサーバは、たとえそこからスパムが送信されても、掲載しません。)
 上記の条件に当てはまらないホストであっても、挙動が悪質である(ビジネスは合法でも、広告メールの送信を違法に繰り返しているなど)ならば、掲載することがあります。

 このように明確なポリシーを整理できたのは、試行運用期間中にご協力くださった方のおかげである。ここに厚くお礼申し上げます。

 公開ブラックリストの自動ダウンロードは、一日4回まではしていただいてよいことにした(6時間に1回までという意味ではなく、一日内の適当な時刻に4回までということである)。公開ホワイトリストは、頻繁にダウンロードしなくても各サイトでの正当なメールの受信に失敗するわけではないので「一日1回まで」とお願いしているが、公開ブラックリストは、もう少し頻繁にダウンロードしてもよいとした方が、スパムの阻止に成功する確率が上がって喜ばれるだろうと思うからである。また、スパマーがスパム送信のために多数取得するドメインは長期間維持されずに消滅するだろうから、ブラックリストファイルはあまり巨大にならずに済むだろうと考えてのことでもある。ダウンロード頻度については以下のように説明している。

サーバで定期的にダウンロードされる場合は、ダウンロードの頻度は一日4回までにしてください。日本時刻23:00~7:00の時間帯に2度ダウンロードするのは無駄と思われます。

 もちろんこれは、日本時刻23:00~7:00の時間帯でのダウンロードは避けてほしいという意味ではない。その時間帯での1回のダウンロードは、前日の最後の更新を取り込むことができるが、翌日の私の活動が始まらないうちにもう1度ダウンロードするのは無駄だという意味である。だから、たとえば毎日0時、6時、12時、18時にダウンロードする設定では、そのうち6時は無駄である。
 でもまあ、時刻設定の推奨例は書かない方がいいだろうな。その時刻にアクセスが集中することになりかねないので。

月曜日, 6月 22, 2015

「あなたの方式は今なお有効ですか?」

 6月20日の夜遅くに、トップレベルドメイン名がnetのドメインから「admin」名のメールが届いた。アメリカのサイトらしい。
「あなたのサイトの最終更新は2009年でした。あなたの方式は今なお有効ですか?」
 なお、「有効」と訳した英単語は「relevant」である。これを英和辞書どおりに「関連した/適切な」と訳すとわかりにくいが、英英辞書を引いたら「環境に適合している(appropriate)」という意味があることがわかったので、「様々な手口のスパムが存在するというインターネット環境に今なお適合しているか」と解釈して「効果がある」=「有効」と訳した。
 で、返事を送った。
「はい、ことに日本では今なお広く使われています。」

 多分、S25R方式のレポートの最終更新日が2009年11月23日になっているので、そういう疑問を持たれたのであろう。どのページにも他ページへのインデックスがあって、更新履歴を見れば、今年2015年に至るまで何らかのコンテンツ更新を続けていることや、2014年にも導入報告の追記をしていることがわかるはず。また、ホワイトリストのページを見れば、今もホワイトリストファイルの頻繁な更新を続けていることがわかるはず。とはいえ、方式を説明するコンテンツが6年もバージョンアップされていないのに、様々に手口を進化させているであろうスパマーに今なお対抗できているとは、にわかには信じにくいのもわかる。
 ともあれ、もうすぐ6月26日で発表11周年を迎えるS25R方式に新たに注目してくれる人が今なお現れていると知ったのは嬉しい。

日曜日, 6月 21, 2015

スパムを送信したウクライナのサイトに通報

 6月19日の記事で、ウクライナのベビー用品会社のメールサーバと思われるmail.malysh.uaからのスパムアクセスがSpamCopでブロックされたが共有ブラックリストに掲載しなかったことを述べた。
 その後さらに
Jun 19 12:51:31
Jun 19 20:47:30
Jun 20 00:24:10
にもスパムアクセスがあった。6月20日(土)の早朝にたまたま目が覚めてしまった時に、同ホストからのスパムアクセスが続いていることに気付き、同社に通報することにした。
 www.malysh.uaのウェブを見たら、ウクライナ語でしか書かれていない。キリル文字の「Контакти」がcontactの意味だろうと推測してクリックしたら、移動先のページに「m***@malysh.ua」(m***はmalysh)というメールアドレスが書かれていたが、なぜか「m***@」と「malysh」と「.ua」に3分割されたリンクで、mailtoアンカーではないのでメーラーの送信メールがポップアップすることはなく、メッセージ入力フォームが現れるでもなかった。そこで、スパムアクセスの送信者アドレスだった「a***@malysh.ua」(a***はadmin)に宛てることにした。もちろん、スパムの送信元がmalysh.uaドメイン配下であることはパラノイド検査で確認されていることなので、アドレスをかたられた被害者に迷惑がかかるからやってはならないとされる「スパムへの返信」にはあたらない。

「こちらは日本のアマチュアのインターネットサイト管理者です。貴社のホストmail.malysh.uaが私のサイトへスパムを送ろうとしているようです。それはSpamCopにブラックリスト登録されています。一時的拒否に対するそれの挙動はまともなメールサーバのものではありません。侵害されている可能性があります。チェックしてください。」

 メールは正常に送信された。ウクライナの時刻は日本より6時間遅いので、向こうでは金曜の夜遅くである。ウクライナでも土日は休業なら、返事があるとすれば22日以降になるだろう。もし同社が意図的にスパムをばらまいたのだとすれば返事は来ないだろうが、私のメールを「スパムを送るな。バカたれ!」と解釈してくれるだろうから、それでよし。

(2015/06/27追記)
 結局、ウクライナ時刻の26日(金)の終業時刻まで営業日1週間、返事が来ることはなかった。同社が意図的にスパムをばらまいた可能性は否定できないが、その後同社からのスパムアクセスは来ていないので、もうどうでもいい。

ブラックリスト掲載基準の見直し

 共有ブラックリストの試行運用に協力してくださっている方から、blackhole2.hknet.comおよびblackhole4.hknet.comから何度もスパムアクセスがあるとの情報をいただいた。www.hknet.comにアクセスするとまともなウェブが現れるが、それらのホストの挙動の悪質さを聞き、また、ホスト名を構成するblackholeという語の怪しさから、特例のつもりで

/^blackhole.*\.hknet\.com$/ 450 spam ex-convict

と掲載した。
 その後、その方からの追加のメールで、hknet.comは香港にあるNTTコミュニケーションズ・グループのネットワークサービス会社であることを知り、改めてウェブを見て確認した。hknet.comドメイン配下のホストを顧客がスパム送信に悪用していると推測される。
 そこで、共有ブラックリストへの掲載基準を以下のように見直した。

スパム送信(着信に成功したものに限らない)の前科があるホストであって、以下のいずれかに該当するもの。
  • 「http://www.ドメイン名/」または「http://ドメイン名/」のウェブサイトがない。
  • ウェブサイトがあっても、そのドメイン固有のまともなビジネスについての情報が掲示されていない。
  • まともなビジネスのドメインであっても、顧客のコントロール下にあって悪用されるリスクのあるホストを収容するネットワークサービスである(スパム送信元はその事業者のコントロール下にあるメールサーバでないこと)。
 なお、「顧客のコントロール下にあって悪用されるリスクのあるホストを収容するネットワークサービス」とは、ボットに感染するリスクのあるエンドユーザーコンピュータを収容するISPも含むものとする。そのようなエンドユーザーコンピュータはS25Rの一般規則でほとんど阻止でき、阻止できない逆引き名を使っているドメインからのスパムアクセスはほとんど来なくなってしまったが、もしS25Rで阻止できないエンドユーザー回線の逆引き名を使っているISPが新たに見つかったら、共有ブラックリスト(本格運用後の公開ブラックリスト)に載せることになる。
 また、S25Rの一般規則を使わない代わりとするブラックリストを検討していた頃の2010年11月3日の記事で、ウクライナのvolia.netの配下の、S25Rに引っかからない多くのホストからスパムアクセスがあったことを述べた(私はローカルのブラックリストでvolia.netをまるごと一時的受信拒否の対象としている)。www.volia.netにウェブアクセスするとwww.volia.com/ukr/にリダイレクトされ、翻訳にかけてみると、ネットワークサービスの会社とわかる。そこで、今後volia.net配下のホストからのスパムアクセスを私が発見したか協力者から通報された時には、上記3点目の条件に基づいてホストごとの一時的受信拒否条件を共有ブラックリストに掲載することになる。

金曜日, 6月 19, 2015

ウクライナのまともそうなサイトからのスパム――ブラックリストに登録せず

 今日(6月19日)、メールサーバっぽい名前のホストがSpamCopでブロックされた。

Jun 19 10:03:27 reject: RCPT from mail.malysh.ua[178.251.108.21]: 450 4.7.1 Service unavailable; Client host [178.251.108.21] blocked using bl.spamcop.net; Blocked - see http://www.spamcop.net/bl.shtml?178.251.108.21; from=<a***@malysh.ua> to=<d***@gabacho-net.jp> proto=ESMTP helo=<mail.malysh.ua>

 www.malysh.uaとmalysh.uaを順引きしたら別のIPアドレス77.87.194.17が検索され、ウェブアクセスしたらウクライナのベビー用品会社と思われるウェブページが現れた。
 メールアドレスはスパマーのプログラムで拾われないように伏せたが、送信者アドレスのユーザー名は「admin」である。受信者アドレスは私の個人アドレスで、whoisを調べればわかってしまうが、私が自分のウェブサイトで公開してはいないアドレスである(公開しているのはwebmaster)。受信拒否の応答コードは450にしているが、その後1時間以上過ぎてもリトライがない。このことから、一応はまともなビジネスの会社だが、多量のスパムのばらまきにチューンしたソフトをメールサーバにインストールして宣伝のスパムをばらまいたか、あるいはサーバが侵害されたと推測される。
 6月13日の記事で提案した「そのドメイン固有のまっとうなビジネスの情報を掲示するウェブがない」という条件に合わないので、共有ブラックリストに掲載しなかった。スパムを発信したとはいえ、この会社と取引のある国内会社が絶対にないとは言えないし、本格運用後の公開ブラックリストが外国でも使われたとしたら、その会社の顧客や取引会社が困ることになりかねない。だから、スパムの前科のあるホストについての「そのドメイン固有のまっとうなビジネスの情報を掲示するウェブがない」という掲載条件は妥当と言えると、今のところ考えている。

日曜日, 6月 14, 2015

怪しいホストの発見は順調

 昨日6月13日の記事で、着信したスパムに基づいて本文チェックの条件を変更したことを述べた。これが功を奏した。

Jun 14 19:41:43 reject: body Email: a***@sina.com from siyue.yujiazhan.com[64.110.129.130]; from=<k***@yahoo.de> to=<w***@gabacho-net.jp> proto=ESMTP helo=<siyue.yujiazhan.com>: 5.7.1 message content rejected

 これでsiyue.yujiazhan.comという新たな怪しいホストをまた発見して共有ブラックリストに掲載した。S25Rでは防御できないスパムを阻止しつつ、そのスパム送信元の情報を集めるということができている。なかなか快調である。
 こんなにちょくちょく怪しいホストが発見されると、本格運用開始後の公開ブラックリストの自動ダウンロードの頻度は、公開ホワイトリストの自動ダウンロードと同じく「一日1回まで」とお願いするよりも、もう少し高頻度でもかまわないとした方が、スパム阻止の成功確率が上がって喜ばれるかもしれない。そう考えていたら、ブラックリスト情報でご協力くださっている方がこれについてのご意見・ご提案もくださったので、今考えているところである。

土曜日, 6月 13, 2015

本文チェックによるブロック条件の追加

 昨日6月12日と今日13日の2回、「business solutions」というサブジェクトで本文がまったく同じスパムが着信した。送信者アドレスと送信元ホストは異なっていた。昨日の送信元ホストcongcong.diqiutong.net [181.214.50.138]はその後共有ブラックリストに掲載していた。今日の送信元yixiang.3dsheji.cc [103.41.176.30]も、そのドメインのウェブサイトがないという掲載条件を確かめた上で掲載した(いずれも、末端ホスト名とその有無にかかわらず引っかける正規表現にしている)。
 そのスパムの本文に特徴的な部分は、

Email: a***@sina.com

であった。5月22日の記事で、body_checksに

/(E-?mail|Contact):.+@tom\.com/ REJECT
/(E-?mail|Contact):.+@aliyun\.com/ REJECT

と設定したことを述べたが、これに「@sina.com」を加えて、文字列サーチの処理効率を考慮して

/(E-?mail|Contact):.+@(tom\.com|aliyun\.com|sina\.com)/ REJECT

と一行の条件に書き換えた。
 www.sina.comにアクセスすると、中国のまともそうなウェブサイトが現れる。しかし、「@sina.com」は拒絶ログで何度も見た記憶がある。だからといってsina.comは怪しいドメインだという意味ではなく、アドレスをかたられたり標的にされたりしやすいドメインなのかもしれない。
 今までにも言っているが、上記のような本文チェックや、サブジェクトなどのヘッダチェックは、無実のメールを恒久的受信拒否で蹴飛ばすおそれが皆無ではないので、個人サイトか、受信者全員の同意を得ることができる小規模サイトにしかお勧めしない。しかし、このようなスパムの送信元を掲載した共有ブラックリストは、中規模以上のサイトでも使っていただいて差し支えない。一時的受信拒否で蹴るように書いてあるので、そのまま使えば、あるいは許可の遅れ時間を長めに設定したグレイリスティングによって、偽陽性からの救済の余地があるからである。

名前が怪しくないホストのブラックリスト登録

 nairobi.pollmans.co.keというホストから何度かスパムアクセスが来ている。まだロールアウトされていないログを見る範囲では5月20日以来6回あり、宛先は毎回<a***.s***@yahoo.com>と同じで、Relay access deniedで蹴っている。
 keはケニアの国ドメイン、coは日本と同じく企業の属性ラベル、pollmansも、ヨーロッパ人の姓としてpollmanというのがある(sはDenny's(デニーズ)のsと同じく英語の所有格語尾とも推測できる)し、nairobiは都市名。名前からは怪しさは感じられない。しかし、www.pollmans.co.keは順引きできず、ウェブは見つからない。
 「いかにも怪しいと見えるドメイン」ではないが、前回の記事で述べた「スパム送信の前科があり、かつそのドメインの(まともな)ウェブがない」という、感覚的でない明確化した判定条件に合致するとして、共有ブラックリストに登録した。このホストからのスパム送信アクセスが第三者中継を目論むものだけだとすれば、ちゃんと対策しているサイトにとっては被害はないが、このホストが正しい宛先にスパムを送り込むことがないとは断定できないので。

送信元の怪しさの判定基準

 試行運用を始めた共有ブラックリストは、スパム送信用のドメインをたくさん取得するという手口でS25Rが突破されるのに対抗することを主目的としている。数字ばかりのサイトドメイン名やランダムっぽい英字列のサイトドメイン名は怪しいと考えられる。
 しかし、スパム送信の前科があるからといって、一応はまともなメールサーバがスパム送信に悪用されただけだとしたら、すべてのS25R利用サイトに対して「このホスト(またはドメイン)からのメールは一時的受信拒否で蹴飛ばして大丈夫ですよ」と情報提供するというわけにはいかない。そこから送信される正当なメールを受信したいサイトでは、ホワイトリストによる救済作業が必要になるか、救済を自動化していても受信遅延は起こってしまう。だから、ブラックリスト情報を提供してくださる方々のためにも、「怪しい」と判定できる明確な基準が必要だと考えた。
 そこで考えたのは、「そのドメインのウェブサイト(ドメイン名の左に「www.」を付けてアクセスする)がない」という判定条件である。6月9日の記事に記載したブラックリスト項目の大多数はこの条件に合っていた。昨日6月12日に着信したスパムの送信元congcong.diqiutong.net [181.214.50.138]を共有ブラックリストに掲載したが、やはりwww.diqiutong.netはアクセスできなかった(順引きできない)。
 例外は

www.27838.net
www.7819888.com

で、いずれも中国語のウェブページが現れた。しかし、前者は英語で「This domain name is for sale」という表示があり、後者は中国語で「このドメイン名(7819888.com)は有効期限が切れています」という意味らしいことが書かれている。このことから、まっとうなビジネスのためにきちんと運用されているドメインではないということが推定できる。
 まとめると、スパム送信の前科があったドメインを怪しいドメインと判定する基準は、
「ドメイン名の左に『www.』を付けてウェブアクセスをした時にウェブページが現れない、または、現れても、そのドメイン固有のまっとうなビジネスについての情報が掲示されていない」
ということである。

火曜日, 6月 09, 2015

共有ブラックリストの試行運用のお知らせ

 4月11日の記事で、数字だけのサイトドメイン名のホストからスパムが送られてくることが多いと報告して以来、スパマーがスパム送信のために取得したと思われるドメインがかなり多く見つかっている。また、6月3日の記事で、ランダムっぽい英字列のサイトドメイン名のホストからのスパムもかなり多いとの情報をコメントでいただいたことを紹介した。
 そのコメントをくださった方からメールをいただいた。日頃ホワイトリスト情報で協力してくださっている方だった。そういう、S25Rに引っかからない怪しいドメインを集めた共有ブラックリストを私が提供するなら協力していただけるとのことだったので、試行運用をしてみることにした。「ボットからのスパム送信を封じ込めてしまったS25Rが、多数のスパム送信用ドメインの取得という手口で裏をかかれ始めている」と思われるのが癪だからという思いもあってのことである。
 提供ファイルのURLは

http://www.gabacho-net.jp/anti-spam/black-list.txt

である(以前、このファイル名で「S25Rの一般規則による偽陽性を避けるために一般規則をやめる代わりのドメインブラックリスト」を試行提供したことがあるが、立ち消えになってしまったので、そちらはもうやめることにする)。
 共有ブラックリストを利用するには、/etc/postfix/main.cfファイルで以下のように指定する(サイトごとのカスタマイズは適当に)。

smtpd_client_restrictions =
  permit_mynetworks,
  check_helo_access regexp:/etc/postfix/helo_restrictions, # 違法なHELOの拒否
  reject_unauth_destination, # 第三者中継の拒否
  reject_unlisted_recipient, # 受信者不明の拒否
  check_client_access regexp:/etc/postfix/white-list.txt, # 公開ホワイトリスト
  check_client_access regexp:/etc/postfix/white_list, # ローカルホワイトリスト
  check_client_access regexp:/etc/postfix/black-list.txt, # 共有ブラックリスト
  check_client_access regexp:/etc/postfix/rejections # ローカルブラックリストと一般規則

 cronジョブで自動ダウンロードされる場合は、試行運用期間中は一時間1回までならしていただいてよい。ただし、もし本格運用に至った時には、公開ホワイトリストと同じく一日1回までとお願いすることになると思う。
 ポリシーは以下のとおりとする。
  • スパムの前科があり、S25Rチェックをパスする(つまり、逆引きできてパラノイド検査もパスする)送信元ホストのFQDNをコメント行に記載する。
  • ドメイン自体が怪しいと推測される場合は、ドメイン丸ごとの拒否条件式を記載する。
  • 拒否条件指定は「450 spam ex-convict」(スパムの前科者)とする。システム環境やポリシーに応じた書き換えは利用サイトで適当に。
  • ドメインが消滅したか、または怪しいドメインではないことに、私が気付いたかまたは協力者から通知された時には、掲載を取り消す。
 協力いただける方は、メール掲示板かこのブログへのコメントのいずれでもよいので、情報をお寄せください。

 このような怪しいドメインで、スパムアクセスがあってから1ヶ月も経たずにもう消滅しているものもあった。今日サーバに載せた内容は以下のとおりである。今日時点で、FQDNが順引きできることは確認している。

# *** PUBLISHED S25R BLACK LIST ***
# Last update: Jun 09, 2015
# (*): reported by a contributor

# Jun 09, 2015: yayi.armsgame.com
/^(.+\.)?armsgame.com$/ 450 spam ex-convict

# Jun 09, 2015: kongdao.hljccl.com
/^(.+\.)?hljccl\.com$/ 450 spam ex-convict

# Jun 09, 2015: sunshine.nunv.net
/^(.+\.)?nunv.net$/ 450 spam ex-convict

# Jun 09, 2015: coco.27838.net
/^(.+\.)?27838\.net$/ 450 spam ex-convict

# Jun 09, 2015: july.7819888.com
/^(.+\.)?7819888\.com$/ 450 spam ex-convict

# Jun 09, 2015: dove.150686.com
/^(.+\.)?150686\.com$/ 450 spam ex-convict

# Jun 09, 2015: pizza.89mt.com
/^(.+\.)?89mt\.com$/ 450 spam ex-convict

# Jun 09, 2015: chu.0530ok.com
/^(.+\.)?0530ok\.com$/ 450 spam ex-convict

# Jun 09, 2015: mar.xzmp4.com
/^(.+\.)?xzmp4\.com$/ 450 spam ex-convict

# Jun 09, 2015: black.loudiok.com
/^(.+\.)?loudiok\.com$/ 450 spam ex-convict

# Jun 09, 2015: right.68706.net
/^(.+\.)?68706\.net$/ 450 spam ex-convict

# Jun 09, 2015: maidong.20962.net
/^(.+\.)?20962\.net$/ 450 spam ex-convict

# Jun 09, 2015: white.91yuepao.com
/^(.+\.)?91yuepao\.com$/ 450 spam ex-convict

# Jun 09, 2015: jizhoudao.13015.net
/^(.+\.)?13015\.net$/ 450 spam ex-convict

水曜日, 6月 03, 2015

Fromヘッダでブロック

 すでに着信してしまったスパム、およびサブジェクトのチェック(「image editing」)や本文チェック(「@aliyun.com」)や「5桁以上連続する数字で始まるサイトドメイン名」の条件でブロックされたスパムに、送信者エンベロープアドレスとFromヘッダのメールドメインが共に「@yandex.com」であるものがかなりあることに気付いた。そこでheader_checksに

/From:.+@yandex\.com/ REJECT

と設定しておいたら、これが効いていた。

Jun  2 20:20:32 reject: header From: "Louis" <q***@yandex.com> from coorner.yjec.net[108.170.60.178]; from=<q***@yandex.com> to=<w***@gabacho-net.jp> proto=ESMTP helo=<coorner.yjec.net>: 5.7.1 message content rejected
Jun  3 00:29:03 reject: header From: "Louis" <q***@yandex.com> from white.91yuepao.com[192.99.193.104]; from=<q***@yandex.com> to=<w***@gabacho-net.jp> proto=ESMTP helo=<white.91yuepao.com>: 5.7.1 message content rejected

 「check_sender_accessで蹴った方がデータ伝送が減るのに」と思う人がいらっしゃると思うが、あえてFromヘッダをチェックするようにした。というのは、エラーメッセージが「sender address rejected」だと、スパマーは「ならば送信者アドレスを変えれば着信するだろう」と容易に推測できてしまうが、ヘッダチェックだとエラーメッセージが「message content rejected」になり、ヘッダと本文の中のどこが引っかかったのかがスパマーにはわからないからである。

 2014年11月3日「一日中拒絶記録がなかった日」で、スパムアクセスが非常に減っていることを述べたが、またぞろ増えてきた(1ヶ月で6158個ものスパム送信元ホストが発見された2007年ほどのひどい状況ではないが)。これに対抗する工夫をするのもなかなか楽しい。

ランダムな英字のサイトドメイン名

 5月25日「数字で始まるサイトドメイン名――今までに見つかったもの」に対して、匿名さんからコメントをいただいた。

ランダムっぽい6文字の英字.com も、はやりのようです。
コメント(#)は、whois情報。
以下は、いわゆる、お馴染みさんの例です。(同じ登録者で複数のドメイン)
いずれも、milter-greylist の数十分の再送要求期間を突破してきたものです。
逆引きが設定されていることは少ないですが、helo または エンベロープfrom で、ブロックすることができます。

# Lloyd, David ( Coxsackie NY, US )
/\.wbecse\.com$/
/\.gqxbut\.com$/
/\.nstjss\.com$/

# Ruiz, Aaron ( San Gabriel CA, US )
/\.svjpjp\.com$/
/\.dbdwdt\.com$/

# Robertson, Anna ( Auburn WA, US )
/\.tstdmt\.com$/
/\.xnqsad\.com$/

# Ray, Brian ( Queensbury NY, US )
/\.tfsmdk\.com$/
/\.rnjqdm\.com$/
/\.uuhwxd\.com$/

# Sun, Yingting ( Gangtang Hubeisheng, CN )
/\.anfpsk\.com$/
/\.kfkayj\.com$/
/\.picqym\.com$/
/\.qixjsf\.com$/
/\.typlej\.com$/

6文字の英字.com 以外のお馴染みさんの例は、

# Marius Mica ( Bucuresti, RO )
/\.debita\.info$/
/\.sockinga\.info$/
/\.bristlesa\.info$/
/\.shutteremail\.info$/

# Sam Lin ( Shenzhen GD, CN )
/\.summerglasses\.info$/
/\.supsunglass\.info$/

これ以外にも沢山ありますが、きりがないので、サンプルとして。

 貴重な情報に感謝したい。
 「5桁以上連続する数字で始まるサイトドメイン名」という条件は怪しさを定式化できたものだが、「ランダムっぽい英字列」は定式化しにくい。スパマーがスパム送信のために取得したドメインで、怪しさの定式化に合致しないものは、一つ一つブラックリストに載せるしかないだろう。その情報を皆で提供し合ってS25R導入サイトで共有できるようにしようとの気運が盛り上がれば、私が公開ホワイトリストと同様にそのまとめ役をしてもよいと思っている。

 ちなみに、私のサイトで発見した、数字で始まるサイトドメイン名のスパム送信ホストとしては、冒頭でリンクした5月25日の記事で紹介したものに加えて、その後さらに以下が見つかっている。

subway.88881122.com [181.214.50.111]
maidong.20962.net [199.119.206.105]
white.91yuepao.com [192.99.193.104] *
martyi.10001688.com [192.99.193.103]

(*は「5桁以上連続する数字で始まる」という条件には引っかからなかったもの。ヘッダチェックでブロックしていた。)

火曜日, 6月 02, 2015

某著名サイトのホワイトリスト項目

 本日(2015年6月2日)、公開ホワイトリストに以下の著名サイトの項目を掲載した。

# Jun 02, 2015: outbound.apac.e.paypal.com
/^208\.94\.23\.107$/ OK

 実は、私宛のアナウンスメールがブロックされているのを発見してホワイトリスト登録で受信したのは5月23日のことである。Postfixが表示した逆引き名はunknownだったが、逆引きできないのではなく、逆引き結果がoutbound.apac.e.paypal.com.23.94.208.in-addr.arpa.となり、パラノイド検査エラーになっていたのである。
 著名なサイトだから、教えてあげればDNS設定を直してくれるだろう、そうすれば公開ホワイトリストに掲載するまでもないと思った。問い合わせフォームには適切な分類先がなかったが、近いと思われるものを選んで書き込んだ。
「私のメールサーバーが貴社からのメールを受信保留しました。原因は、貴社のメールサーバーのIPアドレス208.94.23.107の逆引き名がoutbound.apac.e.paypal.com.23.94.208.in-addr.arpa.と誤ったものになっていたため、不審なホストと判定したものです(許可条件を設定してすでに受信はできています)。DNSの設定で逆引き名の末尾のドットが抜けていると思われます。ご確認いただければ幸いです。」
 世界的な企業なので、ネットワーク管理担当者は日本人ではないだろうと気を回して、英文も併記した。
 日本語の回答が来て、「技術的な内容なので、テクニカルサポートへ」とたらい回しされた。
 示されたテクニカルサポートのURLにアクセスして、また英文併記で書いた。英語で「関係部門で調査します」という回答が来た。
 その後、問い合わせについてのフィードバック依頼が来たので、対応について「きわめて不満足」と回答した。「顧客サポートを依頼したのではなく、貴社のネットワークマネジメント上の不備を善意で教えて差し上げたのだから、どの担当者が受けたものであっても、たらい回しせず、貴社内で連絡を伝えてくださるべきです」。

 結局、今日に至るまでDNSは直っていないので、公開ホワイトリストに掲載した。もちろん、同社のネットワークマネジメント上の不備を言いふらすためではなく、S25R導入サイトへの協力のためである。

[追記]
 208.94.23.107の逆引き名を「outbound.apac.e.paypal.com.」と設定すべきところ末尾のドットを抜かしただけかと思ったら、そうではないようだ。outbound.apac.e.paypal.com(HELOアドレスもこうなっていた)を順引きしたら、96.47.30.195、96.47.30.198、96.47.30.197、96.47.30.196、96.47.30.181、96.47.30.182という、別のIPアドレス帯の複数のIPアドレスが検索された。通常は一つの名前から複数のIPアドレスが順引きされるのはかまわないが、逆引き名として設定された名前でこれをやっちゃいかん。同社のDNS設定はあまりきちんとしていないらしい。
 で、公開ホワイトリストのコメント行は

# Jun 02, 2015: paypal.com's

と変えた。コメント行に正確なFQDNを記載するのは、その順引き結果のIPアドレスが、逆引きできないIPアドレス、またはS25Rに引っかかる逆引き名に対応するIPアドレスに一致する場合というのを公開ホワイトリストの記述の原則としてきたので。