一括表示

今年もこの手のツリーを立ち上げます。
ま、仕方ないですな。業務連絡もありますから。
願わくば、大きなツリーになりませんように。

ということで、一発目は業務連絡。
来る２月４日の昼過ぎ、地主におかれましては、敷地整備が行われます。
何かというと、うちのサイトがお世話になっているケーブルテレビ屋で、老朽化
した設備の更改が近日中に行われるそうなのですが、現在、私のところで使って
いるケーブルモデムでは、新規設備に対応していないとのこと。そこで、事前に
交換する事になったということです。
これに伴い、２月４日の昼過ぎに３０分から１時間程度、この板塀にアクセスす
る事ができなくなります。また、もしかしたら復旧後、ＩＰアドレスが変化して
しまうかもしれません。最近は直接アクセスしてくるのはスパマーか検索エンジ
ンのロボットくらいなので、ほとんどの人には影響がないはずですが、一応、念
のため。
なお、ケーブルテレビ屋の設備の更改は、５月ごろにも行われる予定だそうです。
仮に今回はＩＰアドレスが変化しなくても、５月には変化するかもしれません。
あるいは、２回とも変化してしまったとか、２回とも変化無し、という可能性も
あります。つまり、どんな結果になるか予想がつきません。まぁ、変わったら変
わったで、スパマー除去には役立ちそうです。

で、もう一つが、サーバ障害のお話。
#1496や#1503と同じような事象が再発してしまいました。
回復にいたるまでも、前回・前々回とほとんど同じ。
１６時過ぎにサーバダウンを検知。
１９時過ぎに帰宅してサーバ沈黙を確認。
電源を落したら再起動せず。
ただ、今回は前回・前々回と異なり、あまりじたばたせず。
一旦、電源ケーブルを外して再接続し、電源投入で立ち上がらない事を確認した
ら、そのまま約３分放置。そしておもむろに電源投入で無事に起動。
ん〜、一体なんなんだろうなぁ。
ログによると、落ちる前の最後の正常アクセスは14:56ごろ。多分、アクセス元は
久志本さんではないかな。復旧までのサービス中断時間は４時間強ぐらい。

以下、ちょいとまとめてみました。

１１月３０日　→　13:20ごろ発生、20時ごろ回復
１２月３１日　→　13:30ごろ発生、21時ごろ回復
　１月３０日　→　14:56ごろ発生、19時ごろ回復

うぅん、途中で何回もリブートしたりしているので、連続運転時間には関係ない
はず。となると、月末になるとマシンをスタックさせるようなウィルスかなにか
にたかられているのかなぁ。ウイルスチェックでは何も検出されないのだけど。
もし仮に、約３０日周期でマシンを落すウィルスに感染しているというのであれ
ば、次回は２月をすっ飛ばして、３月２日ごろに何かが起こる、ということかな。
ではなくて、単に月末に発生する、というだけのことであれば２月２８日ごろに
なるだろうし、さらに異なり、毎月３０日ごろに発生する、ということであれば
３０日のない２月は何も起こらず、次回発生は３月末ごろ、という事になります。

いずれにしろ、４月末か５月末まで様子を見て、さらに再発があるようであれば
サーバマシンの変更その他、必要な対処を取らせていただきます。
 

> る事ができなくなります。また、もしかしたら復旧後、ＩＰアドレスが変化して
> しまうかもしれません。最近は直接アクセスしてくるのはスパマーか検索エンジ
> ンのロボットくらいなので、ほとんどの人には影響がないはずですが、一応、念

見事に、ＩＰアドレスが変化してしまいました。
おかげで、向こう数週間の間はスパムに悩まされることはなさそうです。
当面の問題は、googleのクローラーかな。
だいたい、２週間前後でやってくるんですけどね。これがものすごい。
まさに、絨毯爆撃、というような感じ。
なにせ、通常のうちのリクエスト総数はせいぜい１日あたりの３００回を越える
程度なのに、googleがくると、なんと１日あたり４０００回を越えることもあり
ますから。

ほんと、敵は物量に物を言わせてくるんだから。
こちらは竹槍と精神論で迎え撃つしかないというのに。
  

> おかげで、向こう数週間の間はスパムに悩まされることはなさそうです。

半月あまりたちましたが、今のところ、スパマーは全く来ていません。が、

> 当面の問題は、googleのクローラーかな。
> だいたい、２週間前後でやってくるんですけどね。これがものすごい。

今日の午前１０時になるちょっと前から来るようになりました。
大体、２分半に１回くらい。
あれ、でも、約１２時間の累計で５００回を越えている。計算が合わないぞ。
と思ってログを確認したら、午前中のうちはかなり何回も、全く同じ時刻に複数
のサーバから、同時に１０発とか被弾していることが判明。
お〜い、やめてくれ〜。

でもって、ここが再びgoogleの検索にひっかかるようになると、またぞろスパマ
ーさんたちが大拳して押し寄せてくる事になるんだろうなぁ。
もっとも、検索エンジンにひっかかるという事は、一般のお客様にも来ていただ
く機会が増えるという事だから、決して悪いことだけではないのですけどね。


とりあえず、基礎代謝じゃないけど、安静時というか、検索エンジンやスパマー
の大群が押し寄せてこなかった、５日から２０日までの１６日間の概略データを
以下に。

１日あたりのアクセス総数は、最小が25、最大が76、平均は41。
掲示板のみに限ると、最小が5、最大が36、平均は14。
この期間に訪れた検索エンジンのクローラーは新規サイト発見用だと思いますが、
合計でgoogleが9回、yahooが24回で、msnと百度からのアクセスはありませんでし
た。そうですか、そういう頻度で巡回しているんですね。

ま、でも、それがここの実力、という事になるのでしょう。
 

> 半月あまりたちましたが、今のところ、スパマーは全く来ていません。

６日夜、久しぶりにスパムを書き込まれました。何ヶ月ぶりのことだろう。
その後も、７日の夕方から夜にかけて立て続けに２発、書き込まれました。

ただ、これ、本当に機械書き込みなのかな。
なんとなく、手動書き込みのような気もする。
なぜかというと、普通、機械書き込みだと、読まずに書くとか、読んでからすぐ
に、数秒とたたずに書く、というパターンが多いのですが、今回は、読んでから
十数秒経ってから書いているからです。さらに、ログをチェックした結果、なん
と、きちんとクッキーに対応していることが判明。仮にこれが機械書き込みだと
したら、こんなスパマーは初めてです。
もひとつおまけに、実は、２発目と３発目の間に、ほんのちょっとだけ、スパム
除けのルーチンを書き換えているのです。手動書き込みだとまったく影響がない
のですけれど、もし仮に、自動書き込みツールのようなもので２発目までと同じ
パラメータを送ってきた場合はきちんと弾くようにしたのです。でも、それにも
関らず書き込まれたので、手動である可能性が高いのかなぁ、と。
元々、ここでは大したスパム対策をやっているわけではないので、ある程度の書
き込みは仕方のないことです。ただ、今回、いきなり書き込みが成功したという
のは、正直言って予想外。私の予想では、ＩＰアドレスの変更後、その新しいア
ドレスに対して何回か書き込み失敗があって、その結果を解析して自動書き込み
ツールを対応させてから書き込み成功となる、と思っていました。ところが実際
は、アドレス変更後、海外からの書き込み失敗が３回ぐらいあって、その次には
いきなり国内から書込みに成功されてしまっているわけです。それに、２発目と
３発目の間の対策変更の時も試行錯誤された形跡はありません。いきなり３発目
が着弾成功。やっぱりこれは手動書き込みなのかなぁ。

ただ、やはり機械書き込みのような感じもあって、例えば、今回の３発のうちの
最初の２発は、メールアドレスの記載はあったけどＵＲＬの記載がありませんで
した。手動書き込みなら、こんなことにはならないはず。もしかしたら、これら
は、きちんと通るかどうかの単なるチェックだとか。で、３発目からが本番。
えぇっと、ＵＡは、ごく普通のブラウザ。偽装は簡単なのであんまりあてになり
ませんが。もしかして、機械書き込みは機械書き込みだけど、書込用のツールを
使ったわけではなくて、キー入力自動化ツールのようなものでブラウザを制御し
た、というのはありかもしれない。それならクッキー対応も理解できます。

ちなみに、今回の３発は、いずれも odn からです。
odn は発信元が特定しづらいのですが、多分、大阪でしょう。



> とりあえず、基礎代謝じゃないけど、安静時というか、検索エンジンやスパマー
> の大群が押し寄せてこなかった、５日から２０日までの１６日間の概略データを
> 以下に。

２１日以後のデータも書いておこうかな。

google：
２１〜２８日は１日平均５００回。１〜６日は１日平均１３０回。
yahoo：
ＩＰアドレス変更後に一番速く訪れたのはyahoo。
変更のあった２日後である２月６日にはもう訪れている。
ちなみに、googleの初見は２月１１日。
でも、その後は完全に逆転して、yahooの２１〜６日の合計は１２回。
msn：
ＩＰアドレス変更後は２２日に６回だけ。
百度：
ＩＰアドレス変更後は３月１日に１回だけ。

う〜む、google以外の検索エンジンは、なんでこんなに少なくなったんだろう。
 

> なるだろうし、さらに異なり、毎月３０日ごろに発生する、ということであれば
> ３０日のない２月は何も起こらず、次回発生は３月末ごろ、という事になります。

３月３０日もほとんど１日止めてしまいました。
ただ、状況は、１２月や１月とは異なります。

３０日は朝から外出。
１４時ごろにちょっと空き時間があったので、ｉモード経由で接続しようとして
みました。ところが、うまく繋がらない。502エラー、なんぞというのが表示され
てしまう。
とっとと帰宅して様子を見たかったのですが、あいにくと、夜は宴会。いわゆる
人事異動に伴う送別会というやつです。それでも、何とか日付が変わる前に帰宅
できました。で、サーバの様子はというと、なんか盛んにカリカリ言っている。
しばらく前にもあったなと思いつつスクリーンセーバーを解除すると、リソース
が足りないとのメッセージ。CTRL+ALT+DELの連打とプロセス削除を幾つかかまし
たら、無事に再起動。
再起動後にログをチェックしたら、ソケットが足りない、というメッセージ多数。
最初は朝の７時５０分頃、最後は２３時５０分頃なので、少なくとも約１６時間、
サーバは正常に動いていなかった模様。
ざっと過去ログを検索してみたところ、このメッセージを出していたと記録に残
っているのは、#879、#983、#1034くらいですか。
実は今回、連続運用期間がやや長めだったのですね。前回、サーバの再起動を行
ったのは２月１７日。ということは、連続運用約４０日ですか。ただ、この程度
の連続運用でリソースが足りなくなるということは、サーバをWinMEなんぞという
いかれたＯＳで運用しているのが悪いんだろうなぁ。

もう一つの問題は、サーバのダウン検知機構がきちんと機能しなかったこと。
いわば裏側から手を回して表側のドアがきちんと空いているかどうかをチェック
する、というような仕組で作っているので、タイムラグはともかくとして、間接
的すぎるのでしょう。その結果、ろくに機能していないサーバをきちんと機能し
てしまっていると誤認してたわけですから。
う〜ん、どうするかなぁ。
検知ロジックを変更するとしても、適当な方法が思いつかないんですよね。
 

連日のようにサーバが止まっています。
幸い、今度はきちんとバックアップに切り替りました。

４月１日２３時すぎ、ログ監査をしようとしました。
遠隔でログ監査は全てできるようになっているのですが、ログ整理の都合があっ
て、珍しくサーバマシンに直接触りました。ところがここで、エクスプローラと
いうかマイコンピュータが懐中電灯状態で無限待ち状態。[CTRL]+[ALT]+[DEL]で
プロセスを切ることはできましたが、なぜこうなったかという原因は不明です。
念のため再起動しようとしたのですが、これがとどめを刺してしまったというか、
あがってきてくれません。というか、落ちきりません。まだ何かのプロセスが残
っていた模様。
仕方がないので、電源ボタン長押しで強制的に落としたのですが、例によってと
いうか、電源が切れた後はなかなかあがってきてくれません。数十分間、何十回
となくからかっていたのですが、どうしてもあがりませんでした。電源を外して
数分放置したり、電源を入れたまま放置とか、ＨＤＤを外してみたりと、過去に
うまくいった方法を含めいろいろと試したのですが全くどうしようもありません。
連日の宴会で睡眠不足のために眠くなってきたもので、２４時前にはあきらめて
就寝してしまいました。
２日は宿直で夕方出社なので、ゆっくりと朝８時に起床。起き抜けに顔も洗う前
に試したら、今度はなんと、２度のチャレンジで無事に電源ＯＮ。
が、それでうまくいったと思いきや、セーフモードで起動してしまいました。そ
のくせ、自動でscandiskもかからない。なんだかよくわからない状況でしたが、
もう一度、今度は通常モードで立ち上げるために再起動。これも無事に立ち上が
ってきたのですが、ここから再びはまりまくり。ディスプレイドライバがうまく
動作していないとかで、１６色ＶＧＡモードであがってきてしまったのです。
scandiskがかかっていないことが悪いのかと思い、３時間かけて実施するも状況
かわらず。その後もドライバを読み込みなおしたりなど、何回も再起動を実施し
たのですが、はかばかしくありません。
最終的には、実はドライバがうまく動作していなかったわけではなかったようで、
ディスプレイの設定を通常の32bit色1024x768ドットに変更しただけで無事に起動
しました。これが１３時ごろ。この間、サーバの機能としてはきちんと動作して
いましたので、８時以降は断続的にはサービス提供できていました。

まったく、なんだかなぁ。ＯＳが的確なメッセージを出してくれていたら、あと
５時間は早く回復できていたというのに。
 

地主のケーブルテレビ屋から連絡がありました。
１２月８日の早朝帯に、設備のメンテナンスが行われる関係で、ネットワークが
止まるります。時間は、午前１時から午前６時の間で最大４時間。
過去の例だと、午前１時を過ぎたらわりとすぐにネットワークが止まりました。

これが火曜日でなければ、このタイミングを使って、サーバを新居に移設するん
ですけどね。それとも、いっそ、８日の昼間は会社を休んでしまおうかな。
 

> １２月８日の早朝帯に、設備のメンテナンスが行われる関係で、ネットワークが
> 止まるります。時間は、午前１時から午前６時の間で最大４時間。
> 過去の例だと、午前１時を過ぎたらわりとすぐにネットワークが止まりました。

今回は、１時から３時過ぎまでの、約２時間ほど止まりました。
ＩＰアドレスの変化もなかったし、まぁ順調ですね。

でも、たった一つ問題があって。
それは、回線の断線検知システムが機能しなかったこと。
これは、１時間に１回、自動起動して、断線を検知したら携帯電話に通知メール
を飛ばすようになっています。４時間も止まると、３通程度はメールが来るかと
思っていたのですが、１通もなし。

実は、その前から予兆がありました。
７日の夕方、携帯電話からこの板塀にアクセスするも応答なし。
残骸に切り替わっているわけでもないので、サーバだけが落ちているということ
はないはず。また、断線検知メールもないので、回線だけに不具合発生というこ
ともないはず。となると、想定される原因は、自宅のシステムが丸まるお亡くな
りになっている、という状況。
これはもう、即座に様子を見に行きたかったのですが、なんとか駆けつけられた
のは２１時半過ぎ。とりあえず、サーバを見るも正常動作。ログを確認したら、
15:40ごろのアクセスを最後に、外部からの接続なし。サーバマシンから自室内の
他のホストには正常にアクセス可能だけど、自宅内ゲートウェイに対してはアク
セス不可。この状況は、自宅内の配線不良です。
そこで、15:40ころに何かなかったかと弟に訪ねたところ、大掃除の関係で
誤ってうちの弟がＬＡＮケーブルの中継端子をはずしてしまったことが判明。そ
の中継端子を接続して無事にサービス回復。サービス停止時間は６時間強。

疲れていたので、昨夜はそこで終わりにしてしまいましたが、本来はこのときも
断線通知メールが飛ばなければならないはず。実際、暫定サーバを構築したとき、
自宅内配線断線というパターンでテストして、きちんとメールが飛んでいます。
後ほど原因を調査しますが、なんとなく、定期起動がきちんと動作していないよ
うな気がします。
 

> 後ほど原因を調査しますが、なんとなく、定期起動がきちんと動作していないよ
> うな気がします。

タスクスケジューラのステータスを確認したところ、正常に定時に起動している
ことになっていました。
また、バッチ単独での動作試験も再度実施してみましたが、これも正常。
こういうときはgoogle先生。
「vista バッチ タスクスケジューラ」で調べたら、類似事象多数。
結論は、タスクスケジューラにバッチを登録する場合は作業フォルダを指定しな
ければならない、ということ。ところが、該当の項目名は「作業フォルダ」では
なく「開始（オプション）」となっているところに記入しなければならない、の
だとか。ばかたれ〜！

とりあえず、設定を変えて試験してみたところ、何とか動いている模様です。
全く、とんでもない話でした。