一括表示

あ〜、このエントリにくっつけるのも久しぶりだな。
半年以上、それなりに安定して動いていたんだ。自分でもびっくり。

さて、１月１０日は宿直でした。
会社の個人用マシンは、電源が入っている時は４時間に１回程度、自宅サーバの
死活チェックをかけるようになっています。
夕方、出社してきて、まず16:20ごろのチェックでは特に問題ありませんでした。
次は、通常であれば20:20ごろのはずなのに、何が起こったのかわかりませんが、
実際にチェックがかかったのは21:20ごろでした。この時のチェックで、既に何か
がおかしくなりつつあったようです。チェック結果は異常と出ました。だけど、
応答なし、ではなかったのですね。自分の使っているツールをよく把握していな
いのですが、応答なしではなかったという事は、何らかの結果を返していたとい
う事なのでしょう。割とすぐに気がついて、21:30ごろだったかな、ブラウザでア
クセスしようとしてみたのですが、今度は応答なし。
その後はチェックツールの方もきちんと４時間毎にチェックしていましたが、全
て応答なしという結果でした。

今日、１１日は宿直明けです。
宿直明けの時は普通なら午前中に帰宅できるのですが、今日は所用があり、帰宅
できたのは１７時過ぎ。マシンを見たところ、なんかＨＤＤが盛んにカリカリ言
っている。サーバソフトのステータスはＣＧＩ実行中。
とりあえずリブートして、17:30過ぎにサービス回復。
ログをチェックしてみたところ、ソケットが足りない、何ぞというエラーメッセ
ージを大量に吐き出していた。大体、数秒に１回の頻度。最初に発生した時刻は
１０日の21:50ごろ。最後に正常に応答を返しているのは21:40ごろ、東京大学か
らのアクセスに対して。む、なんか時間が合わないぞ。不安定ながらも動いてい
たという事かもしれないけれど、だとすると、いつごろから不安定になったかと
いうのが全く特定できない。
ソケットが足りない、というエラーメッセージの方から追いかけてみたところ、
考えられる主な原因は２つ。１つは、同時に大量のアクセスがあったというもの。
でも、この板塀の場合では非常に考えにくい。もう一つは、何らかのバグにより
ソケットが開放されず、長時間の連続運用によりだんだんと食い潰されていって
しまうというもの。でも、過去の運行履歴を調べてみたところ、１２月２９日に
リブートを実施したばかりだったのですね。つまり、半月経っていない。今まで
ももっと長い期間連続運行していてあんまり問題が起きていないわけで、こちら
も考えにくい。まぁ、こちらの方が可能性としては高いのかな。急に千客万来状
態になったりしたらありうるわけで。でも、サーバのログを見る限りは、そんな
事もないわけで、やっぱり原因は闇の中。
  

今回の障害は罹障時間こそ短かったものの被害甚大という感じ。

２月２５日23:55ごろ、自室でWin3.1のソリティア何ぞやってくつろいでいたら、
弟から内線電話がかかってきました。ネットゲームをやっていたら突然切断され
たとの由。さっそく調査を開始したところ、自宅内のゲートウェイであるコレガ
のルータからの応答がありません。いつものパターンならルータの遠隔リブート
で回復するのですけど、自室からの遠隔アクセスに応答なし、ノード停止状態。
こうなったら現地に出向いての出張保守しかありません。
弟がゲームをしていたのは居間ですが、このルータも居間に設置してあります。
廊下から障子を開けるとすぐにルータのランプ状況が目に入ったのですが、なん
と全点灯状態。これは明らかに異常です。即座に電源アダプタの端子を抜いて、
数秒してから電源再投入しても、すぐにこの状態になってしまいます。２〜３回
繰り返してみたのですが、状況に変化はありません。となると、次に疑わしいの
はブロードキャストストームです。

ここでちょっと用語解説。
ブロードキャストストームとは、データがループしてしまって無限に流れてしま
い、正常なデータのやり取りが圧迫されて、最終的には阻害されてしまうという
状態。一番簡単には、余ったＬＡＮケーブルの両端を１つのＨＵＢに挿してみる、
なんて事でも発症させる事ができます。あるいは、既に接続済の２つのＨＵＢの
間をもう１本別のケーブルで繋いでやる、なんて事でも起きえます。
これが起きると、ネットワーク構成にもよりますが、結構影響範囲は大きいです。
つい数週間前にも東京都某市の自治体ネットワークでこの事象が起きたと聞いて
いますが、その時には回復するまで数十分（約２時間ぐらいらしいが詳細不明）
にわたってオンラインシステムがすべてダウンしてしまったそうです。
それどころか、今日２６日昼過ぎ、私の職場でも起きました。うちの職場は新し
い場所に引っ越してきて今日が最初の平日という事でいろいろとパソコンの設定
とかがあったのですが、迂闊にも誰かがＬＡＮケーブルの両端をＨＵＢに挿して
しまったのです。さすがにうちはこの手の探索が職業なのですぐに不良箇所も発
見できて１０分ほどで回復しました。「実戦演習だ〜」とかいって笑い話で済み
ましたが、フロア内のネットワークが全断でネットワークプリンタへの印刷もで
きない状況になったわけで、場合によっては大問題でしょう。

さて、話を戻して、ブロードキャストストームが起きると大量のデータが流れる
ために、ルータのランプは全点灯ではなく全点滅なのですが、点滅速度があまり
にも高速になってしまって全点灯に見える事があります。もしかして今回がそれ
に該当しているのかとも思いましたが、我が家の網構成でループしそうな部分は
１つしかありません。最近導入された無線ＬＡＮです。これ、ゲーム機にだけし
か繋がっていないはずなのですが、弟が自分のパソコンに勝手に無線ＬＡＮを組
み込むと、このパソコンはもともと有線ＬＡＮでも繋がっているわけですから、
何が起こるかわかりません。でも、弟に確認しても、やはり無線ＬＡＮは組み込
んでいないとの事。
ただ、ブロードキャストストームがＣＡＴＶ会社のネットワークの側から流れ込
んでくるという可能性もあります。そこでルータとケーブルモデムの電源を落し、
ルータだけ電源を再投入してみましたが、やはりランプ全点灯となります。ここ
までくると、これはさすがにルータの故障だろうと考えました。ならば、という
ことで弟のゲーム機を直接ケーブルモデムに繋いでみたら案の定、正常にネット
ワークゲームに接続できました。

故障箇所が特定できたので、次は回復措置です。
まず、ルータの設備回復を図ろうとしました。
何回も電源のＯＦＦ／ＯＮを行っても回復しないのですから、一旦ルータを工場
の出荷時状態に戻そうと考えました。そのために本体の初期化ボタンを押したの
ですが、これが最終的にトドメをさしてしまったようです。電源が入らなくなっ
てしまいました。正確には、電源アダプタからのコネクタを接続すると一瞬だけ
ランプが点灯するのですが、それっきり後は全く音沙汰なし、全ランプ消灯、ま
るで電源が入っていないような形です。あ〜あ。

仕方ないので、設備回復はあきらめ、予備のルータを使ってサービス回復を図る
ことにしました。幸い、我が家には予備のルータが何台もあります。ジャンク屋
で入手した旧式（低速）だけど元気なルータとか、やはりジャンク屋で入手した
動作未チェックなルータ（もし動けば高速・高機能なはず）とか。でも、今回は
素直に一番新しいものを使うことにしました。今まで、無線ＬＡＮのアクセスポ
イントとしてしか使っていなかったバッファローのものです。これは先日、新品
で入手したばかりですから、鮮度には問題ありません。カタログスペック的には
若干速度は落ちますが、ＣＡＴＶの回線速度がそこまで速くないので、フルに性
能を発揮する事はないというか、今までがオーバースペックだったという見方も
あります。さっそくこれを、ブリッジモードからルータモードに変更し、その他
いくつかの必要な設定を施してケーブルモデムに接続。さらにその下部にゲーム
機やらパソコンやらを取り付けてインターネットへの接続性を試験し、問題なし
を確認。ネットゲームもパソコンのブラウザでのネットサーフィンも正常。
これで自宅内のネットワーク環境としてはサービス回復。
回復時刻は大体00:30。

この関係で、今回、自宅のＩＰアドレスが久しぶりに変化しました。なんと、実
に１年４ヶ月ぶりぐらい。ちょっと残念な気もするけど、いろいろなしがらみが
解消された部分もあるので、まぁよしとしましょう。
ただ、これに伴い、あちこち変更しないと、この板塀へのアクセスが絶たれたま
まとなってしまいます。自宅サーバではTIPSというソフトがＩＰアドレスの変化
を監視し、それらの変更を自動で行ってくれる事になっています。現在は監視周
期を１時間と設定してあります。
自室に戻り、TIPSの動きを確認したところ、たまたまタイミングが合ったようで、
00:33にＩＰアドレスの変化を検知しています。ところが、モロモロの変更を行っ
てくれていません。なぜだ？
ところが、サーバマシンをチェックしてみたところ、なんかおかしい。どこが、
という事ではなく、全体的になんとなく固まっています。完全に固まっているわ
けではなく、まさに、なんとなく、という形容がピッタリ来るような感じ。ルー
タが壊れたときに、異常なデータでも吐き出して、それに影響を受けたのかな、
というような印象も受けました。そこで、ちょっと挙動に不安があるという事で、
サーバマシンを再起動しました。
サーバの再起動前後ではＩＰアドレスに変化はないのですが、手動介入というか、
TIPSの監視上では変化があったことにして、強制的に各種の変更を行わせました。
これはうまくいったのですが、このあと再び、なんかおかしいという状態になっ
てしまいました。もしかして、これがトリガーなのかな。ちょっとあとで追及し
ないといかんな。とりあえず、もう一度サーバを再起動して完全に回復。
ということで、板塀がきちんと立て直されたのは大体01:30ごろ。

今後の予定。
可能であれば、壊れたルータを分解してみます。内部のヒューズが１ヶ所切れて
いるだけ、なんて事であれば簡単に直せるでしょうし、全然ダメそうであれば素
直に燃えないゴミに出す事になるでしょう。
今回発生したサーバ不安定事象とTIPSの関係についても追及してみます。実は、
TIPSの中からバッチファイルを呼んでいるのですが、これはＤＯＳを動かしてい
るのと似たようなものですから、もしかしたらこちらの方が原因かもしれない。
あるいは、TIPS自身に不具合を内在しているというのであれば、これは公開停止
なりバージョンアップなりを図らないといけないでしょうし。
ＩＰアドレス変化に伴なう各種の変更は、ごく最近導入されたようなものは反映
されていない部分もあると思われます。例えば、ＲＳＳによるサマリーの提供。
この辺、うまく対応していなければ、おいおい変更していきます。
ルータが変更になってしまったので、今まで準備してきたルータの自動リブート
ツールはまるっきり作り直しとなってしまいます。これも結構大変かも。
 

今回の故障に付随して、いろいろな不具合が発見されてしまいました。

まず、小さいところから。
前回の書き込み、結構長い文章になりましたが、これがWin3.1のネスケからは投
稿できなかったのです。ボタンを押したところでサーバの応答待ち状態になって
しまい、それっきりでした。３回くらい試したのですが全然ダメ。サーバ側のス
テータスを確認しても、そもそも投稿されようとした痕跡がありません。
ところが、Win3.1のIE4.01から投稿したら、一発でうまく行きました。どうも古
いネスケではあのくらいの量になると長すぎるという事で投稿できないようです。

サーバ側のステータスを確認していたときに発覚したことです。
なんと、マイコンピュータを開けなくなってしまいました。
以下、被害状況および調査状況。
・マイコンピュータを開こうとすると、フォルダを懐中電灯で照らしている
　アニメーションのままずっと待ち状態。一晩ほっておいても状況変わらず
・ただし、その状態であっても、ＷＥＢサーバとしての機能には問題なし
・マイコンピュータと一蓮托生のＩＥも当然使用不可
・デスクトップ上の、マイドキュメントをはじめとする他のフォルダは正常
　に開けるが、パスを表示するドロップダウンを開こうとすると固まる。ま
　た、一つ上ボタンを何回か叩いてマイコンピュータまでたどりつこうとす
　るとそこで固まる
・ドロップダウンに直接新しいパス名を入力した場合はきちんと開ける
・メモ帳の「ファイルを開く」ダイアログでは、マイコンピュータの階層を
　開いても問題は起きない、きちんと表示される
・マイネットワークを開こうとした場合は、微妙に状況が異なる。ウィンド
　ウの表示領域は真っ白。例のアニメーションも表示されない。この時、ウ
　ィンドウの左下には「３個のオブジェクト・・・」と表示されている。マ
　イコンピュータの懐中電灯のアニメの時は、ウィンドウの左下に表示され
　ているのは「０個のオブジェクト・・・」です。
・scandiskでは異常なし
・セーフモードではきちんとマイコンピュータが開ける
・bootlog.txtを収集してみたら、msgothic.ttcの読み込みに失敗しているよ
　うだけど、その他は特に異常なし
・デバイス一覧の表示を見ても、変な黄色いマークとかはついていない
・ウィルスもスパイウェアも両方とも、チェックして何も引っかからない。
・ウィルスチェックはマカフィーだけなので、ネスケ7でAVGをダウンロード
　しようとしてダウンロードがうまく行かない。ただし、ネスケでの通常の
　サイトアクセスはＯＫ
・覚えている範囲では２週間ほど前にはきちんとマイコンピュータが開けて
　いたから、それ以降に更新されたファイルをすべて検索してみるも妖しそ
　うなファイルはなし

これらの事から、もしかしてネットワーク共有の関係の何かが悪さをしているの
ではなかろうかと思って、その関係をアンインストールしてみたのですが状況は
変化せず。さらに、msconfigを使っていろいろなファイルを外していって、やっ
と原因を突き止めました。ndis.vxdです。こいつが読み込まれると、マイコンピ
ュータが開けない。外してやればＯＫ。ただ、これを外すと、TCP/IPも含め全て
のネットワーク関係が止まってしまい、即ちサーバとしても機能させる事ができ
ないので、どうにもこうにも。
一応、ndis.vxdと、それの一つ下の階層だと思われるvnetsup.vxdについては新し
いファイルにコピーしてみたのですが状況変わらず。原因はさらに下の階層だと
思われます。
う〜ん、でも、根本原因は一体なんだろう。最近新しくインストールしたソフト
はないし、タイミング的にはルータの故障くらいしか思いあたるものがない。

> 今回発生したサーバ不安定事象とTIPSの関係についても追及してみます。実は、
> TIPSの中からバッチファイルを呼んでいるのですが、これはＤＯＳを動かしてい
> るのと似たようなものですから、もしかしたらこちらの方が原因かもしれない。
> あるいは、TIPS自身に不具合を内在しているというのであれば、これは公開停止
> なりバージョンアップなりを図らないといけないでしょうし。

ということで、TIPSは無実のようです。
２月２７日午前中には、配線の整理の関係で、ルータの電源を２〜３分落しまし
た。以前はこの程度ではＩＰアドレスは変わらなかったのですが、ルータを変え
たせいか、今回はしっかり変わってしまいました。私としては、まさか変わると
は思っていなくて油断していたのですが、ふとTIPSのログを見たら正常に変更作
業が完了しているのに気がつきました。これからも、TIPSはきちんと自分の仕事
をしていると思われます。

> 可能であれば、壊れたルータを分解してみます。内部のヒューズが１ヶ所切れて
> いるだけ、なんて事であれば簡単に直せるでしょうし、全然ダメそうであれば素
> 直に燃えないゴミに出す事になるでしょう。

分解してみましたが、全然手も足もでそうにありません。
ソフト的に壊れている可能性も高そう。
ということで、燃えないゴミとなる事が決定。
 

> なんと、マイコンピュータを開けなくなってしまいました。

その後の調査状況。

> ・ウィルスチェックはマカフィーだけなので、ネスケ7でAVGをダウンロード
> 　しようとしてダウンロードがうまく行かない。ただし、ネスケでの通常の
> 　サイトアクセスはＯＫ

別マシンでAVGをダウンロードし、このマシンに転送して起動。
ところが、最新版のウィルスデータがダウンロードできない。
高々500KBちょっとだというのに。
とりあえず、元々含まれていた２月２１日版のウィルスデータでチェックした限
りでは、やはりウィルス感染はなし。

> ・覚えている範囲では２週間ほど前にはきちんとマイコンピュータが開けて
> 　いたから、それ以降に更新されたファイルをすべて検索してみるも妖しそ
> 　うなファイルはなし

多分、２月１４日にはマイコンピュータが正常に開けたはずです。

> これらの事から、もしかしてネットワーク共有の関係の何かが悪さをしているの

は間違いないようです。何かのドライバが無限に待ちに入っているのでしょう。
そこで、いろいろとネットワーク設定を変えては再起動を繰り返しているうち、
偶然、一度だけマイコンピュータが開けた事がありました。この時は何を行った
かというと、スタートボタンの上で右クリックして「エクスプローラで開く」を
選択したら、shell32.dllがエラーを吐いたのですね。このエラーのダイアログで
キャンセルを選んだ後でマイコンピュータを開いたら、なんと開けてしまったと
いう。ところが、この状態でネットワーク設定を変えずに再起動したら、同じく
スタートボタンの上で右クリックして「エクスプローラで開く」を選択してもエ
ラーがでなくなってしまいました。当然、マイコンピュータも開けなくなってし
まいました。
でも、shell32.dllって、シェルエクステンションの関係でしたっけ。
ネットワーク関係のシェルエクステンションなんて複雑なもの、私は使っていな
いはずなんだけどなぁ。

複合原因だとすると、もはや追いかけきれません。
とりあえず、ＷＥＢサーバとしては動いているからよしとする、という考え方も
ありますが、非常に不安。
そろそろ、システムの再インストールかなぁ。でも、リカバリディスクを紛失し
ているんだよなぁ。いっそ、WinXPあたりを導入してみるかなぁ。
 

> なんと、マイコンピュータを開けなくなってしまいました。

完全には回復していませんが、とりあえずなんとかなりました。
今までの調査から、セーフモードで起動するなど、TCP/IPのプロトコルをはずせ
ば症状が発現しない事、および、今回ルータを変更したら症状が発覚したという
事から、実はルータが関係するのではないかと判断しました。つまり、マシンが
ルータに何かを問い合わせ、今まではすぐに応答が返ってきていた、あるいはす
ぐにタイムアウトしていたものが、今回は無応答のままになってしまったがため
にマシンの方は永遠に待ち状態になってしまっている、ということを疑ったわけ
です。
そこで、今度のルータの各種設定を精査してみましたが、明らかに原因と思しき
ものは見つかりません。１つだけ、あれれ、と思ったものは、有線ＬＡＮの設定
が10Mbps半二重固定になっている、というもの。以前のものは、10M/100M自動設
定になっていたはずです。この設定をかえられないかとあちこち探してみました
が、どうも見つかりません。

そこで、サーバマシン側で行った事は以下の通り。

・ネットワークカードのデバイスドライバの設定を10Mbps半二重固定にした
・TCP/IPで、メディアの接続の認識のチェックボックスをＯＦＦにした
・ここで一旦リブート
・TCP/IPで、メディアの接続の認識のチェックボックスを再度ＯＮにした
・もう一度リブート

この状態で、マシンからＬＡＮケーブルを抜いてマイコンピュータを開いてみた
ら、きちんとマイコンピュータが開けます。多分、ＬＡＮケーブルを抜いている、
というのがうまくいった最大の理由で、挿していた場合にはまだうまく行かない
可能性が高いと思いますが、とりあえず回避策がわかったからいいや。


ただ、この他にも、ルータが変わったせいで不便になった事がいくつかあって。
#888で触れているルータのリブートバッチ、ルータが変更になったから当然書き
換えなくてはなりません。実際にはパラメータをちょっと書き換えるだけで済ん
だのですが、試験実行させてびっくり。以前のルータでは何回リブートさせても
ＩＰアドレスは変わらなかったのですが、今度のルータはリブートさせるたびに
ＩＰアドレスが変化してしまう。
う〜ん、これってDHCPのクライアント部の実装の問題なんだろうなぁ。
ま、世間一般の家庭用ルータはリブートさせるたびにＩＰアドレスが変わる機種
が多いらしいので、これはこれであきらめるしかないのだろうけど、サーバ公開
しているような場合にはちょっとだけ不便。というか、こういう機種が多いから
DynamicDNSというものがでてきたのだろうけど。
ちなみに、コレガのルータはどっかのメーカーのＯＥＭ製品だけど、同じメーカ
ーからＯＥＭを受けているのがPlanexと聞いているので、Planexのルータならリ
ブートしてもＩＰアドレスは変わらないかもしれない。
 

一つ訂正。

> ものは見つかりません。１つだけ、あれれ、と思ったものは、有線ＬＡＮの設定
> が10Mbps半二重固定になっている、というもの。以前のものは、10M/100M自動設

半二重固定になっていたのは、ＷＡＮ側のポートのステータスでした。
ＣＳＳを切っているブラウザでは非常に誤認しやすい表示なんですが、これは何
とかしてほしいな。それはさておき、つまり有線ＬＡＮは10M/100M自動設定にな
っているという事だから、

> ・ネットワークカードのデバイスドライバの設定を10Mbps半二重固定にした

これは無意味だという事が確定。あとで戻しておこう。



> ただ、この他にも、ルータが変わったせいで不便になった事がいくつかあって。

ルータが変わって不便になった事がもう一つ。
ルータには、ＷＡＮ側とＬＡＮ側にそれぞれ異なったＩＰアドレスがつきます。
ＬＡＮ側に接続したパソコンのブラウザでＬＡＮ側のＩＰアドレスにアクセスす
れば、ルータの設定ページが出てきます。つまり、ルータ自身に繋がります。
ＷＡＮ側に接続したパソコンのブラウザでＷＡＮ側のＩＰアドレスにアクセスす
れば、やっぱりルータの設定ページが出てきます。つまり、やっぱりルータ自身
に繋がります。ただ、これはセキュリティ上とっても恐いので、ＷＡＮ側からの
遠隔アクセスはできないように設定するのが普通です。
自宅でサーバを公開するような場合には、ＷＡＮ側のＩＰアドレスに入ってきた
特定のデータをＬＡＮ側の特定のマシンに転送する、という設定を行います。こ
れを行ってやっと、ＷＡＮ側のＩＰアドレスにＷＡＮ側に接続したパソコンのブ
ラウザからアクセスしたときに自宅サーバにに接続できるようになります。

さて、ここで問題。
ＬＡＮ側に接続したパソコンでのブラウザで、自宅サーバの公開設定を行ったル
ータのＷＡＮ側のＩＰアドレスにアクセスすれば、一体どこに繋がるか。

答は、家庭用の多くのルータの場合、ルータ自身に繋がるのです。そして、実際、
新しいバッファローのルータでも、ルータ自身の設定ページが出てきました。
まぁ、こういう実装の方が楽なんでしょう。
あるいは、コストが安くなるのが大きいのかもしれません。
でも、今まで使っていたコレガのルータでは、ＬＡＮ側のマシンでもＷＡＮ側の
ＩＰアドレスを指定すれば、公開しているマシンにごく普通にアクセスする事が
できたのです。う〜ん、ルータも含めた自宅サーバの動作確認が容易にできない
という意味で、これはやっぱりちょっとだけ不便だぞっと。
次に新しいルータを買う時は、ちょっと高めのものを選ぶことにしよう。

ただ、現状では、別のルータを既にいくつか持っています。いろいろと検討した
結果、結局、そのうちの一つをネットワークに組み込むことにしました。
現状のルータでは不便な点が多いという事もありますが、一番大きな理由は、常
に予備ルータを確保しておきたい、ということ。今使っている無線ルータが壊れ
た場合に予備がない、という状況は避けたいのです。手持ちの古いルータの方を
いざという時に使えればよいのですが、えてして、設定がどうしたという話が始
まりそう。そもそも、使おうとしたら壊れていた、なんて事では困ります。そこ
で、無線ルータの方を、ルータとしては常に予備役扱い。とは言っても、常時通
電状態で無線アクセスポイントとして使用しておけば、いざ使おうとした時に壊
れていた、と言う事態も避けられます。ホットスタンバイ、でいいのかな。
一応、予定としては、手持ちにあるマイクロ総研のルータを使用予定。ジャンク
屋で入手したもの。完動品、税込み８４０円。７年ぐらい前の高級機だと思う。
カタログスペックだとスループットは約30Mbps。ちなみに、現在使っている無線
ルータの有線側スループットは60Mbps弱、先日壊れたコレガの製品は95Mbps以上。
なんか４割ぐらいづつ速度低下しているけど、現在のアクセス回線が10Mbpsだか
らまだまだ十分。このマイクロ総研のルータについては、まだ各種設定とか使い
勝手の検証ができていないので、もし今の無線ルータよりも使い勝手が悪化する
ようなら、新しいものを買ってしまうかも。

ルータ交換時にはまたＩＰアドレスが変わってしまうだろうな。
でも、頻繁なＩＰアドレスの変更は避けたいし、そもそも使い勝手の検証だのフ
ァームウェアのアップデートだのに時間が必要。
ということで、ルータ交換作業は今月末、または４月初旬に実施予定。
 

> 一応、予定としては、手持ちにあるマイクロ総研のルータを使用予定。ジャンク
> 屋で入手したもの。完動品、税込み８４０円。７年ぐらい前の高級機だと思う。

> でも、頻繁なＩＰアドレスの変更は避けたいし、そもそも使い勝手の検証だのフ
> ァームウェアのアップデートだのに時間が必要。

とりあえず、ファームを最新版にしました。
モロモロの事前設定もほぼ完了。未設定なのは、ＬＡＮ側のＩＰアドレスくらい。
ただ、動作を検証していて判明した事が一つ。
このルータ、私の現在の技術力では、自動リブートのさせ方がわからない。
これがわからないと、アクセスラインが一時的に途絶して回復した場合に、自動
で復旧を図る事ができない。

う〜ん、どうしようかな。
   

> ということで、ルータ交換作業は今月末、または４月初旬に実施予定。

無事、ルータの交換は終了しました。
あぁ、自宅ネットワーク構成図を早いとこアップデートせねば。

ルータを変えたら、自宅サーバマシンでも再び、マイコンピュータが開けるよう
になりました。やはり、根本原因は、バッファローのルータにあったようです。
また、#896で触れた、リブートするとＩＰアドレスが変わるか、という点。
今回のマイクロ総研のルータでは、まだハードリブートは試していませんが、少
なくともソフトリブートではＩＰアドレスは変わりません。以前のコレガのルー
タではハードリブートでさえもＩＰアドレスは変わらなかったので、今回のルー
タもそうだと嬉しいな。とにかく、ソフトリブートごときでＩＰアドレスが変わ
るようでは非常に困る。
実は、ＤＨＣＰで取得したＩＰアドレスのリース時間、コレガとマイクロ総研の
ルータでは３時間なんですが、バッファローのルータでは２４時間だったのです。
同じＤＨＣＰサーバから取得しているはずなのにこのような差が出るという事は、
クライアント部の実装が違うとしか思えない。多分、バッファローのルータでは
ＤＨＣＰクライアントの部分が独自の変な実装になっているんでしょう。
できれば、もう二度とバッファローのルータは使わずに済ませたいなぁ。

なお、#904でわからないと書いた、マイクロ総研のルータのブラウザを使わない
遠隔リブートの方法、なんとか発見できました。ロジカルに追い込んでいったら、
数回の試行錯誤と１５分程度の時間で解決してしまった。
やはり山勘ではどうしようもないということか。

そうだ、ルータの自動リブートツールを作る方が自宅ネットワーク構成図を作る
よりも優先順位が上だな。こっちを先になんとかしよう。
 

申し訳ない、最近ちょっと障害頻度が上がっているようです。

３月１６日、会社から帰宅して、メインマシンからサーバマシンに接続しようと
したところ、うまく接続できない。サーバマシンに触ってみたら、割と熱くなっ
ている。画面を見てみたら、熱暴走をした時のような青画面。
とりあえず、サーバマシンのリブートで回復。
回復してからサーバのログを確認したところ、正常に応答している最後の痕跡は
午前１０時２０分頃。そして、不正な応答を１件して、その後沈黙してしまった
模様。回復は２０時過ぎなので、停止時間は約１０時間弱。

今回、回復措置に限ると、家主としてはあまり不満はありません。
ただ、一つ不満なことがあって。
職場の自席のパソコンから自宅サーバの死活チェックを定期的にしているので、
通常は帰宅前に異常に気がつくのです。ところが、今日の場合、職場では全く気
がついていませんでした。
出社時、午前９時前ぐらいのチェックはきちんと行われていて、このときは正常
に応答がありました。実際、この時点ではまだサーバが倒れる前ですから、ここ
までは問題がありません。
その後、昼休みと退社前にもタイマーで自動的にチェックを行い、異常があれば
画面にポップアップするようになっているのですが、今回、それがなかったよう
なのです。もしかしたら、ポップアップしたのを無意識に消してしまったのかも
しれませんが、そうであれば自分の行動をきちんと覚えていないという意味で、
それはなおさら問題です。

いろいろと自動化をしてあったところで、所詮、使うのは人間、という事か。
う〜ん、ちょっと考えてしまうな。
  

> 申し訳ない、最近ちょっと障害頻度が上がっているようです。

またしても発生してしまいました。
月に１回か。私の基準では、やはり、ちと高め。

４月１７日は宿直明けでした。
珍しく大規模故障多発でヘロヘロになって帰宅する直前、朝０９：３０ごろには
まだ正常にアクセスできる事を会社から確認しています。帰宅して昼食を取って、
ちょっとネットサーフィンしてから１３：１５ごろに倒れるように眠ってしまっ
たのですが、眠る直前に自宅サーバをチェックしていればすぐにすぐに回復措置
が取れていたはずなのです。サーバのログによると、最後に正常にアクセスでき
ていたのは１３：０２、そのあと、異常を最初に記録しているのは１３：０５で
す。なんとなく虫の報せはあったんですが、眠さには勝てませんでした。

一眠りして起床した１８：４５ごろ、サーバにアクセスできないことを確認。
画面を確認したところ、お馴染み、Windowsの青画面で停止。リブートにて回復。
停止時間は約５時間４０分。

あぅ、なんかすごく悔しいな。
 

うぅ、やってしまいました。今回は、半分は私の手落ち。

４月２５日０時ぐらいからかな、サーバの挙動が不安定になってきました。
ＣＧＩ実行時に、不定期に５００エラーを返すようになってきたのです。
原因は不明。
とりあえず、よたよたしながらとはいえ動いていたのでなんとかそのまま運用し、
４月２５日午前１時ごろ、就寝直前にサーバマシンのリブートを実施しました。
そして、そのまますぐに寝てしまったのです。

２５日06:30ごろ、出社前にサーバの様子を確認したら、なんと、起動途中で固ま
っている。[CTRL]+[ALT]+[DEL]で確認したら、pchschdというプロセスが応答なし
となっている。これって確かタスク管理のツールですよね。
仕方ないので、もう一度リブートをかけて、今度はきちんと立ち上がった事を確
認してから出社したのでした。
ということで、サーバ停止時間は約５時間３０分。
 

ごめんなさい、また落ちてしまいました。
今回は、レス元の#903とよく似た状況。

５月２日９時前、出社して会社から自宅の正常性確認をしたところ無応答。
帰宅してすぐにサーバマシンを確認してみたら、お馴染みの青画面。
リブートで回復。

回復後、サーバのログを確認してみたところ、最初に異常な応答をしているのが
午前06:10、最後に正常な応答をしているのが06:40、そして最後に異常な応答を
したのが06:54、以後沈黙。この辺はなんとなく、めざらさんによるアクセスのよ
うな気もするけど、根拠は時間帯のみ。いいかげんなもんだな。
復旧は19:10ごろなので、とりあえず停止時間は約１２時間半としておきますか。

う〜ん、日勤の日は、朝、家を出るのが大体６時半くらいなんだけど、さすがに
今日のパターンでは出勤前に気がつくのは難しいものがあるかな。
毎日、出勤前にサーバの状態をチェックするというのも面倒だし。
というか、今まではずっと安定していたのに、なんでここ最近、急に不安定にな
ったのだろう。

ということで、今後もこのツリーのコメントが増えそうな気がしたので、ツリー
を分割してみました。掲示板のＣＧＩにそういう機能がなかったもので、手作業
でやったのですが、これがちょっと面倒。ただ、面倒なだけで複雑なことは何も
ないはず、だったのですが、ちょっと計算外のことがあって。
Ｖｚエディタを使って生ログをいじっていたのですが、一部の発言が、Ｖｚ用語
でいうところのラインバッファをあふれてしまったようなのです。なので、いろ
いろと表示がおかしくなったのでやり直したり、というようなことを繰り返して、
何とか問題のないようにできたとは思うのですが、もしかしたらどこかおかしく
なっているかもしれません。もし、表示がおかしいなどの不具合に気付かれた方
がいらっしゃいましたら、遠慮なくご連絡ください。
 

> めざらさんによるアクセスのような気もするけど、根拠は時間帯のみ。

　正解です。何度か再表示を試みてみましたが，昨日は表示できませんでしたね。
メールするまでもないと思って，そのままにしていましたけれど。

> Ｖｚエディタを使って生ログをいじっていたのですが、一部の発言が、Ｖｚ用語
> でいうところのラインバッファをあふれてしまったようなのです。

　Web Forum のログは，どんなに長い発言でも１論理行ですからね。
ちょっと長めの発言が多い板塀のログを直に弄るのは危ないかも。
釈迦に説法ですが，別ファイルに切り出して，一旦＜BR＞を改行に置換し，
弄ってから元に戻すのが安全でしょうね。

ごめんなさい、ごめんなさい、ごめんなさい。
２日続けてサーバを落してしまいました。
６月５日はほとんど影響のない時間帯でしたが、６日はちょっと影響大。

５日は、午前２時過ぎまでいろいろとやっていて、就寝したのは２時２０分頃。
８時３０分ぐらいに起床して、すぐに異常に気がついてサーバのリブート実施。
状況は、いつもの青画面。
ところが、通常はリブートしてすぐに回復するのですが、このときはなぜかおか
しな挙動。８時３６分ぐらいからサーバにアクセスがあったのですが、しばらく
は異常応答を返し続けているのです。とりあえず、８時４０分くらいには安定し
ましたが、再起動後に不安定だったのは初めてという事で、ちょっと不安。
再起動後にログを確認したところ、ちょうど私の就寝前後ぐらいから、検索エン
ジンだかスパマーだかわからないのですが、あまり名前を聞かないようなところ
から、１分間に数回程度のアクセスが継続していました。で、やっぱり熱暴走が
起きたのでしょうかね。
サーバが最後に正常に応答を返しているのは２時２９分、そして２時３０分に異
常応答を返して、以後沈黙。
停止時間としては約６時間。

６日は、１７時前後ですが、会社からサーバの死活チェックに応答がないことで
ダウンを確認。２３時３０分過ぎに帰宅して確認したところ、やはり青画面。
リブートで回復。
ログを確認したところ、１６時４０分くらいからアクセス集中あり。
検索エンジンのクローラーやらドイツからのアタックやらで、１分間に１０回以
上というアクセスが数分間続きました。その間に、正常なアクセスも混ざってい
たのだから申し訳ない。
１６時４７分に、ドイツからのアタックに正常に応答を返したのが最後。
それっきり、異常応答を返す事もなく、ストンときれいに落ちました。
２３時４６分に再起動しましたが、今回はいつも通りというか、再起動直後から
正常に運行しています。
ということで、停止時間はちょうど７時間。
サーバのログを確認中に気がついたのですが、今回、ちょうどサーバが落ちる直
前に、久志本さんからのアクセスがあったようです。もしかして、レスをつけよ
うとされていたのでしょうか。そうだとしたら大変申し訳ありませんでした。以
前にも、文太さんがちょうど書き込みをなさろうとしたところで倒れてしまった
ことがありましたが、どうもタイミングが悪いというか、早い話がダメダメです。

やっぱり熱暴走なのかなぁ。去年の夏は平穏だったのになぁ。
アクセスが増えて、負荷が上がっているのかなぁ。
もし、今後もこんな感じに数日に１回落ちるというのであれば、ちょっと対策を
講じたいと思います。といっても、どんな手があるかなぁ。単純に送風して冷却
するのでは音がうるさいから、超低回転のファンで風を送るようにしてみるとか。
あるいは、何らかの方法でサーバの負荷を下げるか。ＣＧＩを効率的になるよう
に書き換えるか、サーバの設定でなんとかするか、ファイヤーウォールの段階で
ある程度ブロックするか。う〜む。
 

としきさん
ご苦労さまです。
> サーバのログを確認中に気がついたのですが、今回、ちょうどサーバが落ちる直
> 前に、久志本さんからのアクセスがあったようです。もしかして、レスをつけよ
> うとされていたのでしょうか。そうだとしたら大変申し訳ありませんでした。以
> 前にも、文太さんがちょうど書き込みをなさろうとしたところで倒れてしまった
> ことがありましたが、どうもタイミングが悪いというか、早い話がダメダメです。

書き込みの最中に倒れました。でも、タイミングがぴったりだったので、
前の画面に戻って、テキストはちゃんと保存しましたから、
今日再度書き込んでおきます。

やっぱりというか、久志本さんにご迷惑をおかけしていたことが判明したので、
ちょっと対策を講じてみました。

> 講じたいと思います。といっても、どんな手があるかなぁ。単純に送風して冷却
> するのでは音がうるさいから、超低回転のファンで風を送るようにしてみるとか。
> あるいは、何らかの方法でサーバの負荷を下げるか。ＣＧＩを効率的になるよう
> に書き換えるか、サーバの設定でなんとかするか、ファイヤーウォールの段階で
> ある程度ブロックするか。う〜む。

アクセスログで、異様にアクセス数が大きいけれど、スパムだのなんだのに関係
ありそうなＩＰアドレスからのアクセスを、ファイヤーウォールで遮断してみま
した。.lvって言ったらラトビアなのかな、あと、ドイツからとか、２４ビットマ
スクで１０個ぐらいを弾くようにしました。ということは、端末数というかＩＰ
アドレス数で２５６０くらいからはアクセスできないようにした、ということ。
１ヶ月ぐらいしたら、本当にそのフィルタリングで効果があるのか、他のＩＰア
ドレスも制限した方がよいかなど、また検討してみましょう。

ということで、とりあえずこれでしばらく様子を見てみようと思います。
まだ再発するようなら、ファンで送風を考えます。
動くかどうかわからないジャンクな２４Ｖファンが出てきたので、これを１２Ｖ
で駆動すると静かかな、とか、実験してみます。
 

対策第一弾は効果がない訳ではないのだろうけど。

６月８日、２３時ごろに帰宅したら、例によって青画面。リブート回復。
再起動後にログを確認したところ、落ちたのは１６時２０分頃と判明。
停止時間は６時間４０分くらい。

やっぱりアクセス集中模様。１分間に３〜８回のアクセスが１０分弱続いた後に
システム停止。この程度で落ちるようではどうしようもないんだけど。
それに、今回の相手は、あまり遮断したくはないんですよね。
なにせ、yahooのクローラーだから。
ただねぇ、yahoo.comとyahoo.co.jpからのアクセスがたまたま重なった結果、ア
クセス集中となってしまったようで。なんだかなぁ。

あと、１６時台に落ちることが多いようだけど、何か時限発病式のウィルスにで
も感染しているのかなぁ。一応、ウィルスチェックやスパイウェアチェックはク
リアしているのだけど。もう何日か様子を見て、再び１６時台に落ちるようなら、
この線をちょっと追いかけてみないといけないかも。
 

> まだ再発するようなら、ファンで送風を考えます。

明らかに熱暴走、ということはなかったのですが、とりあえず成行きで、ファン
で送風するようにしてみました。

> 動くかどうかわからないジャンクな２４Ｖファンが出てきたので、これを１２Ｖ
> で駆動すると静かかな、とか、実験してみます。

このジャンクなファンを、９Ｖで駆動しています。うん、わりと静か。
もともと静かな物なのかもしれませんが、２４Ｖで駆動したらどうなるかを試し
ていないので何とも言えません。少なくとも手持ちの各種ＡＣアダプターのうち、
一番大電圧の１８Ｖのもので駆動してもそんなにうるさくはありませんでした。
ちなみに、このファンはサンヨー製。
逆に、電圧が低い方はどうかと試してみたところ、どうも起動時のトルクが足り
ないようで、７．５Ｖ以下では回転を始めてくれません。手で回してやるなど、
一度まわりはじめさえすれば、３ＶのＡＣアダプターでも回り続けてはくれるの
ですが、何らかの事故などで給電が停まったときに、復電しても自動で回転を再
開してくれないようでは困るので、自動で回転を開始する下限の９Ｖで給電する
ことにしました。

これで、今までのファンなしの状況に比べて、少しは温度が低下してくれていま
すけど、温度が高かったからサーバ停止するというものでもないと思っておりま
すので、安定性についてはあまり変わらないんじゃないかという気がしています。
ただ、温度が下がれば下がっただけ、いろいろな部品の高寿命化には繋がります
ので、全く効果がないわけではないと思いますけどね。
 

６月１８日夕方、会社からの自宅サーバの死活チェックで無応答。
帰宅したら、すっかりお馴染みとなってしまった(;_;)青画面。リブートで回復。
回復後、サーバのログを確認したところ、故障発生は12:21、回復は19:16。

今回は、アクセス集中もいいところですな。
同一ホストから、なんとたった２秒間に１０回の読込要求があった模様。
これっていわゆる、ＤｏＳ攻撃というやつなのかなぁ。
ログに記録が残っていた分だけでこれだけあったという事は、もしかしたらログ
に残らなかった分もあるかもしれないわけで、うちのようななんちゃってサーバ
ではひとたまりもありません。二昔前か三昔前は、商用のＷＥＢサーバでもちょ
っと小さめのところは、１秒間に１０００アクセス程度で落ちるものもあったよ
うですから。
取り敢えず、今回アタックのあったサイトは、ルータ側に登録して、さっくりと
アクセス禁止にしてやりました。その他、ログをチェックして、妖しいアクセス
をしているドメインを全部で７〜８個、ルータに追加登録しました。


さて、６月に入ってから、落ちる頻度が異常に上がってきています。
そこで、どの程度のアクセスがあるか、サーバのログをきちんと読んでみました。
結果は以下の通り。

　　　　書き込み　wforun.cgiのみの
日付　　要求回数　読込要求回数　　　備考
01/Jun   0          414
02/Jun   1          166
03/Jun  19          208
04/Jun  14          594
05/Jun   3          313　　　　　　断時間６時間
06/Jun   8          592　　　　　　断時間７時間
07/Jun   7          811
08/Jun   1          751　断時間７時間弱
09/Jun   6         1226
10/Jun  17          748
11/Jun  27          462
12/Jun  27          443
13/Jun  26          224
14/Jun  19          277
15/Jun  23          154
16/Jun  62          650
17/Jun  60          281
18/Jun  13          100　　　　　　１３時間分のデータ

これは、不正と思しきアクセスだけでなく、正統なアクセスも含めた総回数です。
書き込み要求が急激に増えているのが一目でわかります。
６月７日に深夜に、一部サイトに対するアクセス規制を実施しましたが、効果が
あったのはほんの３日ほどですね。これがいわゆる、いたちごっこというやつな
のでしょうか。今回のアクセス規制の追加も、どの程度効果が続くやら。
一方、読込要求の方は、アクセス集中さえなければ、もうちょっと負荷が上がっ
ても大丈夫そうです。なお、ここで集計したのはwforum.cgiへのアクセス要求だ
けですが、当然、その他にwforum.cssやtitle.gifへのアクセスもありますので、
総読込回数はもっと多いです。
 

しばらく安定していたので油断していたら、１０日ぶりに落ちてしまいました。

６月２８日は宿直明けだったもので、夜はとっとと寝てしまいました。
２９日朝、起床して寝ぼけまなこでサーバを見たら青画面。リブートで回復。
回復後、サーバのログを確認したところ、故障発生は01:45、回復は07:39。
停止時間は約６時間弱。
YahooBB方面からのアクセスで、すとんと落ちてしまいました。

今回はアクセス集中ということでもないようです。
でも、だから理由がよくわからん。
時間が時間だけに、サーバの過熱ということは考えにくいなぁ。
回復時にはサーバは熱くなかったけど、これはあまり意味ないか。

う゛〜、去年の夏の安定さがうそのようだ。
いったい何がどうなっているのだろう。
 

> う゛〜、去年の夏の安定さがうそのようだ。

ちょっと統計情報を取ってみたのですが、もはや去年の夏のような安定さは望む
べくもないということがわかりました。
以下に、去年の１月からの、このサーバへの１日平均のアクセス状況を示します。
データは、書き込み件数と、wforum.cgiに対するアクセス件数です。
分母については、１日の半分以上サーバ停止していた日もありますが、単純に、
各月の日数で割り算しています。２００７年７月分については、昨日、７月７日
分までのデータです。
書き込み件数は、掲示板に書き込もうとした件数だけではなく、変なアクセスも
含めた総書き込み件数です。一方、wforum.cgiアクセス数の方は、サーバに対す
る総読み込み件数ではありません。wforum.cssやtitle.gifなどへのアクセスは除
去した形となっております。

      書き込み　wforum.cgi
YY/MM 件数      アクセス数
06/01  3.0       75.2
06/02  2.5       66.7
06/03  1.4       80.9
06/04  0.9       60.2
06/05  0.8       71.6
06/06  3.3       52.7
06/07  0.4      129.7
06/08  0.6      132.2
06/09  1.0      163.7
06/10  0.8      314.3
06/11  0.3      135.1
06/12  3.0      273.3
07/01  1.5      285.3
07/02 59.2      168.7
07/03  0.4       63.0
07/04  0.6      307.0
07/05  2.9      419.7
07/06 21.8      451.6
07/07 31.4      336.0

えっへっへ、笑っちゃいますね。
これだけアクセス数が増えていると、さすがに設備増強を考えなくてはならん。
えとですねぇ、これはあくまでも１日平均です。
例えば、今年２月、ルータが壊れる直前は、１日に２００回ぐらいの書き込みア
クセス数を記録したこともあったりなんかするわけです。ま、それだけあっても、
集中的なアクセスでなければ、十分サーバは持ちます。それにその時は、読み込
みアクセスもあまり多くなかったという事もありますしね。
ん？
ルータが壊れたのって、負荷がかかりすぎたのが原因？
いやいや、まさかそんな、その程度ではありえんな。
でも、それだけのアタックがあっても、それをほとんどハネつけたわけだから、
この板塀のスパム防御ペイントはかなり有効だったな。最近はちょっとハゲてき
たようなので、今日あたり塗り替えを考えていたんだけど、どうしようかな、面
倒くさくて。


あと、ちょっと解説。
この掲示板への普通の読み込みアクセスは、１日平均十数回から、最近は検索エ
ンジン経由がちょっと増えていますが、それでも２０回ぐらいですね。それ以上
の部分は、ほとんどが、検索エンジンまたはスパマーの情報収集用のクローラー。
去年の７月から読み込み件数が倍増していますが、これはmsn searchのクローラ
ーが新たに訪れるようになったからです。同様に、今年の４月以降の件数増も、
live searchのクローラーが新たに訪れるようになったのが原因です。
去年１０月の読み込み件数倍増の原因については、まだ分析していません。
今年の３月に読み込み件数が急減したのは、ＩＰアドレスが変化した事に対して
検索エンジンやスパマーが追従できなかったことが原因でしょう。なので、とて
つもなくスパマーがうるさくなってきたら、またＩＰアドレスとか、あるいはポ
ート番号の方を変更してみるかもしれません。でも、効果は３ヶ月程度か。あま
り大したことはないかな。
 

７月５日はほとんど１日中、この板塀は倒れていたような感じでした。

私が就寝したのは５日の０時３０分ごろでした。
このときは、サーバはまだ正常に運行していました。
６時前に起床したら、既にいつもの青画面。リブートしていったんは回復。
出社してすぐ、９時前の会社からの死活チェックには正常応答。
ところが、昼過ぎの死活チェックには応答なし。
一刻も早く帰宅して復旧作業にとりかかりたかったのですが、何日も前から残業
の予定が入っていたため、それもままならず、結局帰宅して復旧できたのは日付
も変わって６日になってから。

サーバのログをチェックしたところ、１回目のダウンは00:45〜05:55。
２回目は11:55〜00:15。なんだい、１日のうち６時間半あまりしか動いていなか
ったのかよ。
いずれも原因はアクセス集中。
う〜みゅ、変なアタックをしてくるところを、また、ばしばし登録するかな。
 

今回は、ちょっと訳のわからん障害でした。

７月１０日も宿直明けでした。
会社からの死活チェックで、３時過ぎには無事だった事を確認しています。
でも、７時過ぎには無応答でした。
またスパマーによるアタックで落されたものと思い、次はどんな手を打とうか考
えながら帰宅しました。
ところが、帰宅してみたら、いつもの青画面ではない。とりあえずデスクトップ
画面が表示されておる。次に気がついたことは、ＨＤＤがカリカリと動いている
こと。もしかして、サーバは正常に動いていて、でも、スパマーによる大量アク
セスによる帯域圧迫で死活チェックの情報が弾き飛ばされたか、ども思ったけど、
でもなんかおかしい。よくよく見ると、１時間に１回、毎時５分に動作する事に
なっている回線断検知ツールが張り付け状態になっている。おまけに、タスクト
レイに表示されている時計は05:16。おいおい、今は11:16だよ。また、サーバソ
フトのステータスは接続要求待ち。これは、類似の症状だった#879とは明確に異
なる部分。
すかさず[CTRL]+[ALT]+[DEL]を押したら、うぎゃあ、winoldapのプロセスがいっ
ぱい。とりあえず、もう一度押してリブート、回復。

回復した時刻は極めて明確なんだけど、サービスがどうなって落ちたのかがさっ
ぱりわからん。
回線断検知ツールのが残したログによると、これが最後に正常に終了した時刻は
03:17。このツールはWindowsのタスクによって起動させられるのだけど、この状
況だとタスクのログはアテにならないとして、でもこの時刻はおかしい。だって、
普通に動いていれば、どう悪条件が重なったとしても５分くらいで終了するツー
ルなのだから、03:05に動き出したとして、03:10には終了しているはず。では逆
に、03:17くらいにどんなアクセスがあったかとＨＴＴＰサーバのログを見ると、
げ、まさにちょうど私が会社から死活チェックをしたのがその時刻。まさか、私
の死活チェックがトドメをさしたのか？
ところが、サーバログによると、その後も正常に運行している模様。
少なくとも05:09にはyahooのクローラーに対して正常応答の履歴あり。
05:16に異常応答を返して、以後だんまり。
ところが、サーバのエラーログを見ると、#879の時と同様、06:23から11:16まで
１秒に１回ぐらい、ネットワーク通信用のソケットが足りないよ、というログを
吐いている。こちらを信じると、05:16〜06:23の間は既に倒れていたのかもしれ
ないけど、外部からのアクセスがなかったためにその事実が証明できないかもし
れない、という状況。

ま、でも、どんなに短く見積もっても５時間は倒れていたという事で。
 

約半月ぶりに、長時間、サーバを落してしまいました。

７月２７日、朝６時半前に出社する時は、サーバはまだ元気に動いていました。
ところが、会社について、９時前ごろに死活チェックをしたところ、どうもお亡
くなりになっている模様。ただ、普通にお亡くなりになった場合はサーバ応答な
しとなるところ、今回は会社のマシンで５００エラーを受け取っていたのです。
これってつまり、断末魔というか、まだサーバは死んでいなくて、もうすぐ死に
そうだぁと返事をしていたようなわけです。

こういう日に限って会社で残業をするはめになり、２２時過ぎに帰宅。
いつもの青画面をリブートで回復。
回復後に、何時ぐらいまで動いていたかログを確認したところ、おや、７時過ぎ
を最後に沈黙している。え〜と、断時間は１５時間余りということでいいのかな。
でも、そうすると、５００エラーを返したのは一体誰なんだろう。
自宅ゲートウェイのルータか、会社のプロキシか。
う〜む、謎だ。
 

う〜、どうしてくれようかな。
８月になってから、今日も含めて、６回ほどサーバが落ちています。
うち２回は、すぐに気が付いて回復措置を取ったので、断時間は１０分未満です。
一番長いので６時間ほど。
今日は、６時前に起床したら落ちていました。すぐ回復させましたが、落ちたの
は就寝直後の午前０時３０分ごろ。さらに、１７時ごろにも再び落ちて、帰宅し
た１９時半ごろに回復。
２回合わせると、なんと１日の３分の１は落ちていたのか。

問題は、落された相手。
なんと、yahooのクローラーに何回も撃墜されているのです。
統計情報を以下に示します。

                                   掲示板
  日付 総数 google yahoo msn 実質  総数 実質読込 書込
01/Aug  706    62   323  178  143   411     53   44
02/Aug  792    44   536  102  110   427     37   24
03/Aug  920    59   619   91  151   510     67   38
04/Aug  884    33   618  151   82   504     21   34
05/Aug 1201    67   872  188   74   717     18   25
06/Aug  492    73   121  189  109   344     40   28
07/Aug  459    25    36  206  192   343    113   21
08/Aug  391    19    55  223   94   289     33   35
09/Aug  484   103    63  183  135   361     61   32
10/Aug  409    60    67  173  109   312     50   27
11/Aug  347    65    69   87  126   254     59   34
12/Aug  299    35    85   78  101   213     47   26
13/Aug  400    45    54  156  145   293     77   36
14/Aug  381    34    49  132  166   242     60   62
15/Aug  631    19   337   64  211   349     87   42
16/Aug  868    69   575  114  110   503     40   54
17/Aug  529    38   388   67   36   318     18    4

本日分は１９時半頃までのデータです。さらに、８時間分はサーバが落ちていた
ので、実質的には１１時間分くらいのデータです。
なんか、今日は急にスパマーによるアタックが減少していますが、理由は不明。
WindowsUpdateが行き渡って、妖しいものに感染しているマシンが減ったのかな。
あと、この数字から判断すると、#991で書いたgoogle対策ルーチンはそれなりに
効果があったみたい。

で、問題のyahoo。
一応、robots.txtは読んでくれているようなんですがね。
その中で、アクセス間隔は１０時間以上に１回、と書いてあるんですよ。
でも、全然従ってくれない。yahooのサイトに行くと、robots.txtに従います、と
明記してあるのになぁ。え〜い、ウソつきめ。
いや、厳密に言うと、もしかしたら従っているのかもしれない。
実は、yahooのアクセス元のホストって、複数なんですよ。
なので、１つずつのホストからは指定の間隔を開けてアクセスしてきているのだ
けれど、全ホストからのアクセスを合計すると２分に１回になってしまう、とい
うことなのかなぁ。ただ、これって、ＤＤｏＳ攻撃じゃない？

とりあえず、あと３日くらいは様子を見ます。
火曜日か水曜日くらいになっても、アクセス回数が減少しないとか、さらに何回
もサーバが撃墜されてしまったりした場合は、一部ホストに対してアクセス規制
を実施する事になるでしょう。大体、半分くらいのホストを遮断すれば何とかな
るかな。
 

またぞろ長時間のダウンで申し訳ない。
前回から約１週間しか持ちませんでしたか。
なんとか連続運用できていたんだけどなぁ。

今回の停止は８月２４日01:20〜11:20ごろまで、ちょうど１０時間ほどでした。
今回も宿直だったもので、午前３時頃には停止している状況を会社で把握できて
いたのですが、遠隔制御の手段は持っていないもので手も足も出ず。
帰宅後、サーバのリブートで回復。
状況としては、いつもの過負荷に近いんですが、ログを見た限りでは、そんなに
負荷が高かったようには思えない。相手は国外のスパマーなんで、ログに記録す
ることもできないほど短時間で集中的な攻撃を受けたのかもしれませんが。
ちなみに、#1012に書いたyahooは、対策の効果があったのかどうかはわかりませ
んが、現状ではアクセス数は１日１００回未満のペースに落ち着きました。

でも、前にも書いたけど、今年になってから、ちょっと落ちる頻度が高すぎる。
抜本的にはサーバの増強が必要なのかもしれませんが、なにしろWinMEなマシンを
使っていますからねぇ、もしかしたら単にどこかにゴミが溜っているだけかも。
再インストールすれば回復してしまったりして。
でも、マシン購入時の再インストール用の円盤は弟の部屋に食われていて、実質
的に発掘不可。一応、マシンそのものにはWin2k対応のシールも張ってあるので、
今のうちにWin2kを調達してインストールしてみるという手はあるかもしれない。
WinXPだって、入れて入らないことはないだろうけど、やっぱりちょっと不安。
#1000で書いた冷却ファンも、マシンの温度低下にはかなり効果があるようだし、
連日の猛暑日を乗り切ったという意味で言えば実績もあるのかもしれないけど、
サーバ停止を防止するという意味では全く無意味であることが判明してしまった
ので、秋になったら撤去します。

とりあえず、無線アクセスポイント改め謎のLinuxBOXを使った自動ごめんなさい
システムを早急に稼動させるべく努力します。できれば９月末までに導入します。
遅くとも１０月末までにはなんとか。無理かなぁ。
可能であれば、板塀イリュージョンというか、板塀蜃気楼モード、なんていうの
を導入したい気もしますが、この辺は謎装置のftpの仕様に依存するところなんで
ちょっと無理かも。
  

うぅん、今度は３日しか持たなかった。

８月２７日、１８時ごろに帰宅して、いつもの青画面。
が、最近ではちょっと珍しい状況。何かというと、省電力の関係で、数十分以上
ＨＤＤにアクセスがない場合はＨＤＤの回転を止めるように設定してあるのです
が、ここ１〜２ヶ月と言ってもいいかな、青画面の時はいつもＨＤＤが止まって
いました。また、ＨＤＤが止まることも幸いしてか、マシンが熱くなっていると
いう事もないのです。
ところが今回は、ＨＤＤが停止していない。いつぞやのようにカリカリとアクセ
スしているというわけではなく、単にアイドル状態で回転しているだけ、という
感じ。それに伴ってか、マシンの温度も多少高め。

いつもならすぐにリブートをするところですが、今回はしばらくそのままにして
おき、現在作成中の、謎装置による自動ごめんなさいツールの試験をしてみまし
た。動作原理としては、その装置からサーバに向かってpingを打って、応答がな
ければサーバが倒れていると認識し、その場合はホゲホゲしよう、という方針で
作っていました。
ところが・・・なんと、pingに正常に応答があるではありませんが。ひぃ。
もしかして、ＨＤＤが動いている時と止まっている時で状態が違うかもしれない
けど、いずれの時もきちんと検出できなければならないので、とにかく、方針は
変えなければならない。むぅ、次はftpによるアクセスを試みてみるかなぁ。

とりあえず、ping応答があった事を確認して、サーバのリブート実施。
回復後、ログを確認したところ、最後の正常アクセスは午前１１時ごろ。７時間
ぐらい止まっていたのかな。でも、ログ上はアクセス集中の痕跡がない。
１０分に１回くらいしかアクセスがない状況で落ちるとはどういうことよ。
ところが、統計情報を確認したら少し見えてきた。
１１時間分のデータにもかかわらず、２４時間きちんと運行していた昨日に比べ
て、スパマーによるアタック回数がなんと４割も多い。２４時間換算すると、昨
日の２倍くらいになるかな。ということで、状況証拠でしかないけど、なんとな
くスパマーに撃墜されたっぽいことが判明。なんとかせねばならんなぁ。
   

うぅ、久しぶりに長時間倒してしまいました。

９月４日は宿直でした。
１３時半すぎに家を出た時は正常に稼動していました。
会社について、１５時半すぎに死活チェックをしたら、げ、既に停まっている。
帰宅したのは９月５日の正午過ぎ。いつもの青画面だったのでリブートして回復。
ログによると、最後に正常に応答を返しているのは４日の１５時ごろなので、停
止時間は約２１時間。
今回も、妖しいログ記録は残っていなかったので、停止原因は不明。なんか、ア
クセス集中もなかったような感じなので、ますますわけわからん。
でも、だいたい１週間に１回くらいの頻度で落ちているなぁ。
１週間に一度、落ちてしまう前に意図的に再起動するようにすれば、サービス中
断時間を短くできるかなぁ。いわゆる、定期メンテ、というやつ。

ついでに、#1017に書いたネットワーク停止の方は、無事に終わったようです。
自前のネットワーク監視ツールだと何も引っかからなかったのですが、１時間に
１回の正常性チェックというザルのようなものなので、連続で停止していた時間
はそれ以下という事なのでしょう。ログを見ると、不自然にアクセスのないとこ
ろがあるので、たぶんそこでやっていたのだろうな、という見当は付くのですが。
でも、アクセスがなかった時間は最大で約２５分くらいが数回というところなの
で、それほどたいしたこともたかったようです。
 

ひぃ、やっちまったい。

９月１４日朝、６時半頃に出社する時にはサーバーは元気に動いていました。
ところが、９時ごろ、会社に着いたら既に音信不通。こういう時に限って予定の
作業が入っていて、帰宅は日付が変わって１５日の午前２時。入社して１５年以
上経つけど、初めてタクシーチケットなんていうものを会社から支給される羽目
になってしまった。
さて、帰宅後、例によって青画面かと思いきや、なんと、マシンの電源が落ちて
いる。まぁ、普通に再起動して回復なんですが。ログによると、７時半頃までは
きちんと動いていた模様。

実はこのマシン、電源ケーブルがイマイチ具合が良くないのです。
電源ケーブルの内部で断線しているんだか電源コネクタの接触が悪いんだか、ケ
ーブルをゆすると電源の供給が途絶えるのです。ただ、ノートパソコンという強
みがあるもので、ＵＰＳ搭載のような感じで、電源の供給が途絶えてもすぐには
マシンが落ちません。最大で６時間くらいは動くのかな。平均で２〜３時間は動
くはずなので、逆算すると、電源の供給が途絶えたのは５時半ころかな。となる
と、起床時に私が電源ケーブルに触ってしまったという事が原因として推測され
ます。なんてこったい。

今後は十分気をつけたいと思います。
 

> 今後は十分気をつけたいと思います。

と言っているそばから申し訳ない。
今日１５日も、日中帯はほとんどずっと、ろくに動いていませんでした。

まず事実関係。
１５日午前２時過ぎにサーバ再起動で一旦はサービス回復。
ところが、午前８時過ぎより、#983に書いた、「ソケットが足りないエラー」多
発というのが再発。起床してすぐ、ＨＤＤがカリカリ言っていることから状況に
気がつき、再び再起動。９時４０分ぐらいに再度回復したように見えました。実
際、試験アクセスした際には正常に応答が返ってきていたのです。ところが、そ
れがそうではなかった。
外出して夕方に帰宅して、HTTPでアクセスしようとしたら応答なし。NFSでのアク
セスにも応答なし。ところがPingはＯＫ。マシンを見たら、げ、なんか自動リブ
ートが走った模様。そして、起動途中のSCANDISKで入力待ちで停まってしまって
いる状況。とりあえず手動介入で１７時４５分ごろサービス再開。やれやれと思
い、何時ごろから停まっていたのかログを確認したら、１３時１１分ごろから停
まっていた模様。その頃に自動再起動が走ったんだろうな。３時間半しか持たな
かったのね。
ここでほっとしてメールをチェックしたら、めざらさんより１０時ごろにメール
着信あり。板塀が異常なメッセージを出しているけど大丈夫？と、気遣っていた
だいているんだけど、あれ、そのくらいの時間はちょうど正常運行中だったはず、
と思い、再度ログを確認したら、うげげ、なんだこれは。
９時４０分過ぎの再起動の直後、自分の試験アクセスの後はズラッとアクセス失
敗のログが並んでおる。やっと正常に応答を返せていたのは１０時１０分すぎ。
ところが、そのあとも、軒並みアクセス失敗というか、アクセス失敗の合間に時
々成功のログが混ざっているというような感じ。それも１１時１４分が最後で、
そのあと、１３時すぎまではずっとアクセス失敗のログのみ。だけど、次が不思
議というか、１３時０３分からリブートがかかる直前の１３時１１分までは全て
正常応答。

うぅん、いったい何が起こったんだろう。
私のスキルでは、ログを解析してもさっぱりわからん。
なんか今日は日が悪いのかなぁ。
いろんな悪さ加減が一気に噴出してきた感じ。
とりあえず、しばらく様子を見てみます。
 

> 反応としては CGI エラーだったわけで。 Web Forum のスクリプトを grep し
> ても，メッセージで出ていた一時ファイルを作成するような箇所は見当たらな

このメッセージを出していたのは、サーバソフト（デーモン）なんです。
ＣＧＩの仕組として、デーモンがチャイルドプロセスを作り、それの標準入力に
デーモンが受け取ったパラメータをぶち込んで、チャイルドプロセスの標準出力
をデーモンが受け取る、という流れになっています。Windowsではこの時、標準入
出力の名前をすりかえてデータの受け渡しをしているのですが、今回、この名前
のすりかえがうまく行かなかったようです。

当然ながら、なぜ急にすりかえがうまく行かなくなったのか、ということは不明
です。ただ、ＯＳの方の不具合の可能性もあります。
そろそろ、ＯＳ含め、ハードやソフトを更新せよとのＭＳのお告げなのかもしれ
ません。
 

電源系の不具合に気付いたのは、ほんと、ここ数ヶ月のことです。
気付いてから、多分、まだ半年経っていないんじゃないかな。
被疑部位としては、ＡＣアダプタから本体側のケーブルか、または本体のコネク
タ部であるというところまでは絞りこめています。
ＡＣアダプタから１００Ｖ側は、よくあるメガネ端子なんで着脱可能だけど、こ
ちら側は正常。問題のＤＣ側はＡＣアダプタと一体なんで、内部で１ヶ所断線し
ているだけでも、ＡＣアダプタごと交換しなければならない。

コネクタはよく見ていないけど、多分、極性統一型ではないかな。
であれば、秋葉原のジャンク屋でいくらでも売っているので、電圧と電流が適当
なものを調達するのにさほどの困難はない。ただ、電圧と電流がこのクラスのも
のの場合、本当にジャンクなものならともかく、横流れ品みたいなきれいなもの
だと、３０００円程度はするんですよね。せっかく買ってきたはいいけど、壊れ
ていたのはケーブルでもプラグ側でもなく、実は本体のジャック側でした、なん
てことだと、ちょっとお金がもったいない。

でも、なんでこんなところが壊れるかなぁ。
少なくとも、手荒に扱った記憶はありません。
経年劣化するような部分でもないと思うし。
弟のノートパソコンのＡＣアダプタは、ＡＣアダプタ内部の回路が壊れたことが
あるんだけど。

ま、しばらくは様子見とします。
ただ、設置場所が机の下の足元なんで、誤って触ってしまうのが恐い。
多分、今回も直接の原因はそんなところでしょうし。
とりあえず、ケーブルの引き回しを改善します。
 

うぅ、連日のように落ちています。
なんか、傾向として、私の宿直の時を狙って落ちているというか落されていると
いうか。被害妄想かなぁ。

９月１７日は宿直明けでした。
今回の宿直は非常につらく、一晩で２件、大きな故障を扱って、一睡もしていま
せん。幸い、１件目は社内的な大規模の基準をぎりぎり満たさず、大規模の恐れ
という段階で収まりましたが、２件目は思いっきり基準達成。うちの職場として
は数週間振りかな。私個人としては２年振りか３年振りか。
ちなみに、うちも通信事業者なんで、もっと大きな故障になると、お役所に報告
する義務もあったりなんかするわけですが、当然というか、社内基準はもっとず
っと低いところに設定されています。
で、そんな中、午前３時ごろには板塀が倒れている事を把握していました。
正午頃帰宅したら、久しぶりに青画面。リブート回復。
倒れていたのは２時１０分頃から１２時１０分頃まで、ちょうど１０時間ほど。

昼食を取って、１３時ごろログを分析してみたら、なんじゃこりゃ。
倒れる直前の２分間に数十回のアクセスあり。１００回までは行かないけど。
ログに記録が残っている分は、とりあえず全部正常応答は返しているけど、これ
は明らかに過負荷だね。ただ、どっかから集中してアクセスがあったわけではな
くて、あちこちからアクセスされておる。まさにＤＤｏＳ。
うちのサーバの１日の総アクセス回数って、検索エンジンのロボットからの大量
アクセスを除くと、大体３００〜４００回なんですが、今日は１３時までのうち
で１０時間倒れていたにもかかわらず、１００回以上のアクセスあり。単純計算
では１日９００回近くにになるわけだから、通常の２倍以上かぁ。
まぁ、検索エンジンのようにきちんと分散してくれれば１日１５００回とかにも
耐えられるのだけど、今日の状況はさすがにちとキツイ。

う〜ん、う〜ん、う〜ん、さてどうしよう。
多分、今回の大量アクセスに基づいて、またスパムアタックも押し寄せてくるん
だろうな。ほとんど遮断できているけど、いつまた破られることやら。
 

久しぶりに、長時間止めてしまいました。約３週間振りですか。

例によってというか、１０月４日は宿直でした。
夕方、出社してすぐの時点では、まだ元気に動いていました。
ところが、２０時半頃には既に無応答である事を確認。
５日の１１時過ぎに帰宅したら、例によって青画面。まぁ、青画面が表示されて
いることだし、ＬＥＤの状況からも、少なくとも電源の供給が途絶えていないこ
とは間違いなし。そして、すぐにリブート。
ところが、ここからがいつもと違った。再起動途中に、バッテリーの容量が足り
ない、というメッセージが出てきたのです。えっ、そんな馬鹿な、今までずっと
ＡＣで供給されていたはず、と思いつつも、バッテリーメーターを確認したら、
なんと充電１％。
立ち上がってしまえば、通常通りというか、充電は再開されましたけどね。

再起動後、ログを確認したところ、落ちたのは２０時１５分すぎ。
止まっていたのはだいたい１５時間弱といったところですか。
今回も、落ちる寸前まで正常に動作していたようで、まさにストンと落ちたとい
う感じ。ただ、落ちる３分くらい前に久志本さんがアクセスしていた履歴があっ
て、もしかして、またもやご迷惑をおかけしてしまったのでしょうか。



さて、今回の挙動から、一つの仮説を立てました。単なる思いつきですけどね。
いつもの青画面のトリガーは、実は電源系なのではないか、というものです。
例えば、電源の瞬断が発生して、それによるトラップが発生した時に、ちょうど
同じタイミングでサーバアクセスなどによるファイルアクセスがあると、何らか
の競合が発生して青画面に至る、と。つまり、アクセスが多いことによる過負荷
で青画面になるのではなく、アクセスが多いと必然的に競合の発生確率が上がる
ので青画面に落ちることが多くなるのではないか、というものです。そう考える
と、もっと負荷の高い時にも青画面にならない理由の説明がつきます。つまり、
電源系のトラブルが発生しなかったのだ、ということです。
さらに、サーバ停止が頻発するようになった時期と、私が電源系の不良というか
不安定さに気がついた時期が一致するというのも状況証拠の一つです。

この理屈で行くと、今回の事象はどうなるのかな。
えぇと、電源系のトラブルが発生して青画面となった。
それは瞬断ではなく、ある程度継続、あるいは断続的に発生していた。
その結果、徐々にバッテリーの残容量がなくなってしまった。
その電源トラブルは自然回復したが、マシンが青画面で止まっていたために充電
状態にならなかった。
うん、明らかに不合理なところはなさそう。
あるいは、私の帰宅直前、バッテリーがほぼすっからかんになった時にぎりぎり
トラブルが解消した。あと５分長くトラブルが継続していたら残電力不足でマシ
ンがシャットダウンしたはず、というのもありかな。ちょっと無理があるか。
ただ、年に数回起きる謎の自動リブートの発生ロジックは、この理論でも説明が
つかないな。そもそも関係あるのかどうかも今のところ不明だけど。

ということで、電源回りのお勉強で、ちょっとしたプログラムを作ってみました。
Windowsの電源関係のシステム情報を読み取って標準出力に出力するだけという、
面白みも何もないものです。この電源関係の元情報って、APMか何かから取得して
いるのかな。MSDNだったかどっかにあったＣのサンプルソースをDelphiに書き換
えて、私にとって不必要な部分をちょっとだけ削除しただけのものです。
とりあえず、暫定公開というか期間限定公開です。
ttp://www.hinocatv.ne.jp/~toshiki/computer/mysoft/batout.lzh
ドキュメントは同梱されていませんが、ソースが同梱されているので、それを読
めば中で何をやっているのかは一目瞭然。もしお手元にノートパソコンがあれば、
ＤＯＳ窓から実行してみて下さい。
もちろん、このままでは単なるスケルトンにすぎませんが、これに肉をつけて皮
を被せれば、例えば１０分ごとに電源のステータスをチェックして著しく低下し
ていたらメールを送出、なんて事も可能でしょう。

あるいは、この手の標準出力に何かを出力するソフトであれば、大抵はCGIとして
実行することが可能なので、試しにこのサーバに組み込んでみました。これもま
た、暫定というか期間限定公開です。いつまで、というのは未定なのですけど。
ttp://（略）/bbs/bat.bat
このＵＲＬで、このサーバーマシンの電源関係のステータスが一目でわかってし
まうようになります。

あ〜、でも、なにか久々に創作意欲が刺激されたな。
どっかに営業活動に行ってこようかな。
 

> 再起動後、ログを確認したところ、落ちたのは２０時１５分すぎ。
> 止まっていたのはだいたい１５時間弱といったところですか。
> 今回も、落ちる寸前まで正常に動作していたようで、まさにストンと落ちたとい
> う感じ。ただ、落ちる３分くらい前に久志本さんがアクセスしていた履歴があっ
> て、もしかして、またもやご迷惑をおかけしてしまったのでしょうか。

えー、ご想像とおり、メッセージ投稿しようとしてました。
ただし、PK3の操作の件に返信してたのですが、
よくよくみたら、すでにとしきさんが返事していたので、
実際には何も影響はありませんでした。

またもや停まってしまったのですが。

> いつもの青画面のトリガーは、実は電源系なのではないか、というものです。

なんか、電源系が怪しいという傍証をまた一つ。


１０月１０日早朝、米国サンディエゴ方面から猛烈なスパム書き込み攻撃を受け
ました。一発だけは書込みに成功されてしまったのですが、その段階でサーバが
挙動不安定に陥ったようで、それ以降、読出は正常も書き込みに対してはサーバ
がエラーを返すという状況がおよそ３０分にわたって続きました。ただ、それも
５時２０分頃を最後にログ記録が途絶えているので、この時点で完全に停まって
しまったものと思われます。
８時過ぎに起床してすぐにサーバ停止状態は確認したのですが、#932からはじま
るツリーの関係でちょっと実験をしていたもので、即再起動は行いませんでした。
この実験で判明した事実はちょっとだけショック。これについては別途、そちら
のツリーに書きます。
結局再起動したのは８時２０分過ぎ。再起動後、ログで状況を把握して、すぐに
スパム対応実施。もう同じパターンのスパム書き込みはできないようにしました
し、同じサイトからのアクセスはすべて遮断するように設定しました。遮断状態
は向こう数か月間は解除してやらんつもり。


さて、うちのサーバマシンはノートパソコンです。
バッテリーは、いわゆるスマートバッテリーとかいうやつかな。充電状態を表す
ＬＥＤがついています。また、マシン本体にも電源系のＬＥＤがついております。
このＬＥＤは、ＡＣ給電が途絶えた時は消灯します。
また、Windowsのデスクトップのタスクトレイにも電源系のアイコンが表示されて
いて、そこにマウスカーソルを合わせると充電量が表示されます。
前回、充電１％の状況で再起動した後、順調に充電されていきました。
バッテリーのＬＥＤはフル充電を示しています。
ところが、どんなにがんばっても、マシン本体のＬＥＤがフル充電を示しません。
充電未了を示すオレンジ色のままです。タスクトレイの電源アイコンの表示結果
も、前回、私が作ったなんちゃってＣＧＩの表示結果も、充電量は９３％に張り
ついたまま。
ところが今回、再起動完了してしばらく経ってから確認したら、本体のＬＥＤも
充電完了の緑色になったし、なんちゃってＣＧＩの結果もきちんと残量１００％
になっている。当然、バッテリーのＬＥＤも満充電状態。

う〜ん、う〜ん、な〜んか妖しいなぁ。
 

なんか、ほとんど同じ書き込みになりそうですが。

> 久しぶりに、長時間止めてしまいました。約３週間振りですか。

久しぶりに、長時間止めてしまいました。今度は３週間持ちませんでした。

> 例によってというか、１０月４日は宿直でした。
> 夕方、出社してすぐの時点では、まだ元気に動いていました。
> ところが、２０時半頃には既に無応答である事を確認。
> ５日の１１時過ぎに帰宅したら、例によって青画面。まぁ、青画面が表示されて
> いることだし、ＬＥＤの状況からも、少なくとも電源の供給が途絶えていないこ
> とは間違いなし。そして、すぐにリブート。

例によってというか、１０月２２日は宿直でした。
夕方、出社してすぐの時点では、まだ元気に動いていました。
ところが、２３時頃には既に無応答である事を確認。
２３日の１１時過ぎに帰宅したら、例によって青画面。まぁ、青画面が表示され
ていることだし、ＬＥＤの状況からも、少なくとも電源の供給が途絶えていない
ことは間違いなし。そして、すぐにリブート。

> ところが、ここからがいつもと違った。再起動途中に、バッテリーの容量が足り
> ない、というメッセージが出てきたのです。えっ、そんな馬鹿な、今までずっと
> ＡＣで供給されていたはず、と思いつつも、バッテリーメーターを確認したら、
> なんと充電１％。
> 立ち上がってしまえば、通常通りというか、充電は再開されましたけどね。

ところが、ここからが前回とは違いました。
再起動途中には特にメッセージは出てきませんでした。でも、きちんと立ち上が
ってからバッテリーメーターを確認したら、なんと充電１％。
立ち上がってしまえば、前回同様、充電は再開されましたけどね。

> 再起動後、ログを確認したところ、落ちたのは２０時１５分すぎ。
> 止まっていたのはだいたい１５時間弱といったところですか。
> 今回も、落ちる寸前まで正常に動作していたようで、まさにストンと落ちたとい
> う感じ。ただ、落ちる３分くらい前に久志本さんがアクセスしていた履歴があっ

再起動後、ログを確認したところ、落ちたのは１９時１０分ごろ。
止まっていたのはだいたい１６時間強といったところですか。
今回も、落ちる寸前まで正常に動作していたようで、まさにストンと落ちたとい
う感じ。落ちる前にはyahooのクローラーが１０分に１回程度の頻度でアクセスし
ていた程度で、直接誰かにダメージを与えたような履歴はありませんでした。


う〜ん、やっぱり電源系が怪しいのだけど。
これ以上の被疑部位の特定はどうすればいいのかな。
 

３日とおかずにこけています。ごめんなさい。

１０月２６日09:45ごろ、会社からアクセスしたときには正常でした。
でも、そのあと割とすぐにこけてしまったようです。
ログによると、１０時ちょうどくらいのアクセスを最後に沈黙。
２３時過ぎに帰宅してリブートで回復。
今回は電源系を疑わせるものもなければ、アタックがあったような痕跡もなし。

むぅ、原因究明も必要だけど。
サービス中断時間を短くする方法も何とかしましょう。
 

またしても約３週間ぶりに長いこと止めてしまった。
ただ、連続運用としては約１１日。都合で一度リブートしているもので。
安定運用のためには１週間に１度程度、リブートをかけた方がいいかな。

いつもは就寝時刻は午前１時近くなんですが、１６日は珍しく２３時過ぎには寝
てしまいました。が、サーバが最後に正常に応答を返したのは０時過ぎ。いつも
通りの時間に寝ることにすれば発見も速かったんだけどなぁ。
結局、復旧したのは起床後、８時半前。なので、停止時間は約８時間半。
状況はいつもの青画面、割り込み0D。

今回も、アクセス集中だのスパマーによる攻撃だのがあった形跡はありません。
もしかしたらsfishさんあたりにご迷惑をおかけした可能性はありますが。

スパムといえば、前回、１１日前のリブートの際に、ウクライナからのアクセス
を一部遮断する措置をとったんですよ。したら、他の方面からのスパムアタック
も激減。それまでは、まっとうな書き込みも含めた総書き込み回数が１日あたり
少なくとも２０回以上、多い時には５０回を越えて、平均では３０〜４０回くら
いでした。ところが、ウクライナを切って以降はほとんど１日あたり１０回未満。
１０回を越えたことは２回ぐらい。さらにそこからまっとうな書き込みを控除す
るわけですから、スパム書き込みはほぼ皆無と言ってもよい状況。
そうか、敵の本拠地は、現在はウクライナにあるのか。
ま、こんなのはインターネット上のアドレスですから、現実の住所と違ってすぐ
に動かせるので、いつまた次の山が押し寄せてくるかわかりませんが、しばらく
はのんびりさせてもらえるかな。
ちなみに、現状で書き込んでくるスパマーは、国内からがほとんどですね。特に
なぜか大阪方面からが多い。
  

なんか、いつもいつも定型文のような感じで申し訳ない。

１１月３０日も、朝６時半頃、出社する時は正常でした。
会社について、９時前にチェックしたところ、既にアクセス不能。
１９時前に帰宅したら青画面、リブート回復。
ログを確認したところ、最後の正常応答は８時過ぎと判明。
停止時間は１１時間弱。

今回も、アクセス過多等の痕跡はなし。
ここには書いていないけれど、短時間のサービス停止を何回か行ったので、連続
運用としては約１週間ですか。

あ〜、早く謎装置の設定を完了して、早期なんとかシステムを稼動させなくては。
 

まだ当分先ですが。
ＣＡＴＶ屋の今後のサービス向上のための設備増強工事のため、４月２０日頃、
約６時間にわたって、この板塀へのアクセスができなくなる予定です。日程には
やや不確定の部分がある上に、悪天候の場合は順延されるとなっているので、私
の方で忘れていなければ、日程が近づいた時にもう一度この掲示板で周知させて
いただきます。

今回提示されたサービス向上予定はすごいですよ。
従来、うちとこのＣＡＴＶ屋の伝送設備では、最大で30Mbpsか40Mbpsしか速度が
出ないような設備構成になっています。この設備に対して、サービスとしては最
大25Mbpsで提供するような形でした。そこを100Mbps対応の設備にする、というの
が今回の眼目です。併せて、ＩＰ電話サービス提供予定、という文字も、ちらり
と入っていました。むぅ、ＩＰ電話なんて、既存の帯域幅でも十分提供できるん
だけどな。
ただ、具体的なサービス開始時期とかが提示されていないのが気がかりです。
ま、計画倒れにならない事を祈るばかりですな。

うちとしては、工事当日には本番運用ができるように、早くネットワークの自動
ダウン通知ツールを完成させたいなぁ。
ログを見たところ、随分前から作る作るといっているんだけど、それなりに安定
しているせいもあって、一向に着手していない。最初に言及しているのは#294か。
もう２年前ではないか。いいかげんなんとかしないと。その後も、#588や#649、
#651あたりでいろいろ検討はしているけど、それっきり止まっている。
対になるべきルータの自動リブートツールも、#479や#587で触れているけどそれ
っきり。う〜む、まだ２ヶ月ある、気合いを入れてみるベかな。
 

> 　100M なんて言うと，光ファイバってことでしょうか。

どうなんでしょう。
既存でも、センタ側から途中の電柱までは光ファイバです。
最後の数十メートルというか、何十軒かをカバーするぐらいごとに光ファイバと
同軸ケーブルの変換器が設置してあるというような設備構成のはずです。
でも、新サービスでも、家屋内への引き込みは従来通り同軸ケーブルのような気
もします。自信はありませんが。

そのうち調べてみましょう。
実は、昨夜、宿直だったので調べておこうと思っていたのですがね。忙しくって。
本業の故障対応は大したことはなかったのですが、書類仕事だのメール処理だの
が山のようにあって。いつもなら、仮眠をしっかり取っても、少しは遊んでいる
時間があるのですが、一睡もしないうちに朝になっていました。
＃職場では、XPの上でq2をLC24で使っていますが、２行空きも
＃カーソル消失現象も発生していません
＃新バージョンの追試もやりたかったのですが、とてもそんな余裕なし
＃＃多くの人に意味不明

> 　うちの ADSL は導入当初から8Mで変えていないのですが，
> それなりに快適なんですね。実際の速度は下り2.5Mくらい。

うちはもう何年も速度を計っていませんが、10Mのサービスを契約した当初に測定
した時には確か、下りで4.5M〜8M、上り（この掲示板からめざらさんちへの下り）
で最大1.5Mくらいだったように記憶しています。
私自身としては上下256K〜512Kあれば十分なのですが、うちの弟はネットゲーム
とかである程度の広い帯域幅がほしいようです。

> 　…と言うのも，田舎に光が届くのが遅すぎるんですね。

このへんは、競争の進展度合いですね。
うちの周辺では、１００Ｍにしないと、ＮＴＴや電力系の光ファイバに勝てない、
ということでしょう。各通信事業者さんは大変だと思います。
＃私も通信事業に携わってますけど

電電公社の民営化と通信自由化がなければ、つまり競争促進策がなければ、今頃、
日本全国あまねく公平に、光ファイバでINS1500（1.5Mbps）ぐらいになっている
ぐらいかな。都市部のお客さんは暴れちゃうかも。
＃何事も多数決、そして資本の論理。

> 依然として来る気配がありません。

ＮＴＴはともかく、他の会社も気配がないという事は、よほど採算性が悪い地域
のような。でも、ADSLで2.5M出るという事は、電話局からはそんなに遠くなさそ
うですね。うちなんか、ADSL8Mだと、理論値では1.5Mぐらいしか出ない事になっ
ています。ご近所の話では、2M近くは出るらしいのですが。

> 　回線ばかり速くなっても，相手のサーバー次第だし，
> なんて思っていると時代に遅れちゃいますかね。

どんなアプリケーションを使うか、ということでしょう。
ただ、現在は使わないアプリケーションであっても、将来はそれを使う事になる
可能性もあるという事で、勉強は怠ってはならないというか。勉強しておけば、
自らの意思で使わないという選択肢はありますが、サボっていると、選択の余地
がない、という所に追い込まれますから。
 

> 対になるべきルータの自動リブートツールも、#479や#587で触れているけどそれ
> っきり。う〜む、まだ２ヶ月ある、気合いを入れてみるベかな。

ちょっと気合いを入れたら、バッチファイルからのルータのリブートに成功して
しまいました。

まっとうなルータならばtelnetで接続してコマンドを叩けばいいので、teraterm
あたりのマクロでも書いてやるところですが、あいにくうちで使っているコレガ
のBAR SW-4PHGというやつはtelnetを受け付けてくれません。可能なのはＷＥＢで
の設定だけ。どうしようと思ったのですが、以前に作ったツールが使えそうな事
に気がつきました。
HTTPOut(http://www.hinocatv.ne.jp/~toshiki/computer/mysoft/)です。
ただ、このツールを使えば任意のコマンドを送り込めるとして、では、どんなコ
マンドを送り込めばよいか、というのは解析しなければなりません。といっても、
そんな複雑な事ではなく、ルータの設定ページを軒並み舐めていけば大体わかる
ものです。結局、モロモロの試行錯誤は必要だったとは言え、３時間はかからず
にできてしまいました。

あとは、通信異常検出部を組み合わせればＯＫ。
これも、#651では、Pingを使うとエラーレベルが返ってこないから、とか言って
複雑な事を書いていますが、HTTPOutはアクセス成功か失敗かをきちんとエラーレ
ベルで返すように作ってあるので、こいつを使ってネットワークの正常性判定を
すればバッチファイルはえらく簡単になる。なんでこんなことに気がつかなかっ
たんだろう。我ながら感心しちゃうわ。

なんとなく、２ヶ月以内という納期は守れそうな気がしてきました。
  

> の方で忘れていなければ、日程が近づいた時にもう一度この掲示板で周知させて
> いただきます。

一応覚えていましたが。
うちの町、地番の整理ができていない関係で、飛地がいっぱいあります。
なので、一つの大字小字が複数の日程にリストアップされているのです。
地理的な分布から推測して、我が家が対象になるのは多分４月２０日だろうとは
思うのですが、もしかしたら４月１７日かも。
一応、どちらかの日だけという事になっています。もっとも、天候などの都合で
実施できなかった時のための予備日というのがあって、これが４月２３日。
いずれかの日の、時間は午前０時〜午前６時の最大６時間断線。
これは純粋に、ＣＡＴＶ屋のアクセスラインの物理的な断線です。
つまり、ＴＶも見れなくなるという事。

ところがもう一つ、プロバイダ内部のネットワーク構成変更工事があるそうです。
こちらは日程が確定していて、４月１８日午前１時から午前５時まで。
幸いというか、こちらはインターネット系だけが影響を受けるので、ＴＶは見る
ことができます。でも、この板塀へのアクセスはできません。

> うちとしては、工事当日には本番運用ができるように、早くネットワークの自動
> ダウン通知ツールを完成させたいなぁ。

なんとか完成しました。４月１０日より実戦投入済です。
デバッグの関係で、４月１０日の１０時から１４時くらいの間で、断続的にこの
板塀にアクセスできない時間がありました。
１回あたりは２分〜５分くらいですが、累計というか、延べで３０分くらい。
一番トラヒックの少ない時間帯を見計らって実験していたので、実害はほとんど
なかったと思いますが、影響のあった方にはごめんなさい。
大したツールでもないので、一応、ホワイトボックステストを行っていますが、
なにせ相手はネットワーク。きちんと動く自信はあんまりなかったりします。
そのうち、気が向いたら、または、ご要望があれば、ここで公開します。
本体はバッチファイルなんで、ここに書き込むことも可能ですから。
 

> ところがもう一つ、プロバイダ内部のネットワーク構成変更工事があるそうです。
> こちらは日程が確定していて、４月１８日午前１時から午前５時まで。

こちらは無事に完了しました。
ついでに言うと、ネットワーク障害自動通知ツールも正常に働きました。
現在、Windowsのタスク機能を使って、毎時０５分に障害検知を行っております。
午前１時を過ぎたら割とすぐにネットワークは停止したようですが、異常と確定
するまでにはタイムアウトの発生を数回待ちますので数分かかります。それでも
今回は01:08にはメールで通知が行われました。
でも、実際に断線になっていたのはわずか１０分程度のような感じ。
サーバのログによると、断線前に最後のアクセス履歴は01:04、回復後の最初のア
クセス履歴は01:19。つまり、自動通知ツールが次にネットワークをチェックした
02:05には、すでに正常に戻ってしまっていたようです。もしかしたら、その後も
ごく短時間の断線はあったかもしれませんが、私の作ったザルのようなツールで
は検知できていません。

> 地理的な分布から推測して、我が家が対象になるのは多分４月２０日だろうとは
> 思うのですが、もしかしたら４月１７日かも。
> 一応、どちらかの日だけという事になっています。もっとも、天候などの都合で
> 実施できなかった時のための予備日というのがあって、これが４月２３日。
> いずれかの日の、時間は午前０時〜午前６時の最大６時間断線。

こちらの方は、相変わらず不明です。
とりあえず、４月１７日の作業は悪天候のため２３日に延期になったというのは
確定していますので、実施は２０日か２３日のどちらかでしょう。
  

> とりあえず、４月１７日の作業は悪天候のため２３日に延期になったというのは
> 確定していますので、実施は２０日か２３日のどちらかでしょう。

その後、２３日に至るまで、断線検知ツールは一度も反応を示しませんでした。
２３日の昼ごろ、地主のＣＡＴＶ屋の工事予定を見に行ったのですが、１７日分
も２０日分も２３日に延期になっていて、いずれも２３日に完了となっていまし
た。おかしいなと思いながらも、さっき、ここに書き込むために再確認したら、
なんと、工事予定が増えている。５月１７日または５月１８日のいずれか、とい
う可能性もあるそうな。
とりあえず、切れるのは原則１回だけ、というのは変わっていないので、検知で
きていないだけで既に切れていればもう断線はないはずなのですが、今一つ信用
はできないんですよね。だって、その予定表によると、工事予備日が５月１１日
または５月１４日となっている。なんで予備日の方が予定日より前なんだ？

ということで、地主のいいかげんさが分かってしまいました。
もしかしたら予備日は６月かもしれませんが、日程が近づきましたら、またここ
に書きたいと思います。
 

> なんと、工事予定が増えている。５月１７日または５月１８日のいずれか、とい
> う可能性もあるそうな。
> とりあえず、切れるのは原則１回だけ、というのは変わっていないので、検知で
> きていないだけで既に切れていればもう断線はないはずなのですが、今一つ信用
> はできないんですよね。だって、その予定表によると、工事予備日が５月１１日
> または５月１４日となっている。なんで予備日の方が予定日より前なんだ？

本日、５月１２日現在で、うちのエリアにはまだ済マークが付いていないので、
５月１１日に既に完了してしまったというわけではなさそうです。

ということで、５月１４日か１７日か１８日のいずれか、午前０時から６時の間
で最大６時間、この板塀にアクセスできない時間帯が発生しそうですので、なに
とぞよろしくお願いいたします。
 

> ということで、５月１４日か１７日か１８日のいずれか、午前０時から６時の間
> で最大６時間、この板塀にアクセスできない時間帯が発生しそうですので、なに
> とぞよろしくお願いいたします。

と書いたばかりなのですが、今日の夕方、ポストに、この工事に関するチラシが
入っていました。それによると、工事日が１７日または１８日というのは変わり
ませんが、予備日は２１日または２２日となっていました。そうだろうなぁ。

ということで、その節はなにとぞよろしくお願いいたします。
 

> ということで、５月１４日か１７日か１８日のいずれか、午前０時から６時の間
> で最大６時間、この板塀にアクセスできない時間帯が発生しそうですので、なに

予定通りというか、今日、１７日の早朝帯で設備増強工事が行われたようです。
本当に計画通りであれば、もう、今夜以降で停まることはないはずです。
もし仮に、今夜とか再び停まるようなことがあれば、こちらにまた書きます。

実は宿直で会社にいたので、ＣＡＴＶが停まる瞬間というのを目撃する事ができ
なかったことはちょっと残念。ネットワークの自動ダウン通知ツールは毎時５分
にチェックするように設定してあるのだけど、００時０５分には既にダウンを検
知しているので、割と時間に正確に作業は開始したようです。
その後、０１時０５分と０２時０５分にもダウン継続中という事で会社のアドレ
スまでメールで通知されましたが、０３時０５分には通知なし。これで、会社か
ら能動的に自宅までアクセスしなくても回復したことが把握できて、これもやっ
ぱり嬉しい。帰宅してからサーバのアクセスログを確認したところ、ダウン前の
最後のアクセスは23:50、回復後の最初のアクセスは02:17。ふぅん、結構早く回
復したんだ。

ということで、動作もそこそこ確認できたので、この通知ツールについてはその
うちにこちらの掲示板に書き込みます。なにせ、実態はただのバッチファイルで
すから。自宅サーバという事ではあまりこちらの掲示板というかサイトにアクセ
スされる方は少ないようですが、ＮＴＴさんのフレッツの大規模故障もあったこ
とだし、回線断の自動検知についてはそれなりにニーズもあると思いますので。
 

またぞろ、地主よりネットワーク工事情報が届きました。
今回は、

8月28日（火）　午前2時から午前5時までの時間中数分の通信停止
9月04日（火）　午前1時から午前6時まで最大5時間の通信停止 

だそうです。
なにとぞよろしくお願いいたします。
 

またぞろ、地主よりネットワーク工事情報が届きました。
今回は、

9月19日（水）　午前1時から午前6時まで最大5時間の通信停止 
 
だそうです。
９月４日分のものと大して変わらんじゃないか、と思いきや、今回の通知メール
の文章には前回のメールにはない以下のような文面がくっついていました。

> 今回は比較的長い時間の通信停止となり、ご利用の皆様には多大なご迷惑を
> お掛けし誠に申し訳ございません。よりよいサービス提供のためのメンテナ
> ンス作業となりますので、何卒ご理解とご協力を賜りますようお願い申し上
> げます。

前回は最大で２５分ぐらいしか停まらなかったけど、今回はまじめに５時間停ま
るのかもしれない。
他にもいくつか微妙な差異もあって。
対象が、前回は一部サービス利用者だけだったけど、今回は全利用者。
作業内容も、前回は設備増強工事、今回はセンターモデムのバージョンアップ作
業、その他付随する機器の更新作業、とのこと。
今度はＩＰアドレスも変わってしまうかな。
 

結果報告です。
今回も、ほとんど止まりませんでした。
サーバのアクセスログによると、午前６時直前ぐらいに約３０分、アクセスが途
切れていたけれど、それを除くと、アクセスがなかった時間幅は最大で約１５分
ぐらい。断線検知メールは１回も発出されず。

なんだかなぁ。