今回は、前々回の記事「変化点検出の研究に対する悩み」の解決編です。
なんとなく、このネットワークセキュリティの分野について、どのように研究していったらいいかがわかってきました。
それでは、議論の経過などもまじえて書いていきますね。
まずは、教授がおっしゃっているように、
「DARPA のデータとか，府大のデータ」を使ってみれば，一般性があるのでそうしたいと言うように読めるのですが，「DARPA のデータとか，府大のデータ」ですら，それらで OK だったから世の中のすべてのシチュエーションで OK にはなりません．
見る人によれば，「それも特定の環境ですね」と言われます．
ということですが、僕自身、DARPAのデータや府大のデータを使うと一般性があるとは思っておりません。
それこそ、最初に言ったとおり、「通常状態」というものの定義が極めて難しい分野であるため、一般性があるという概念自体が表現しいえないことかもしれません。
しかし、僕がDARPAのデータなどといったのは、
「相対的に見たとときに関しては、その環境で結果がでれば意味があるといえる」ような環境は存在するだろう
ということです。
そもそもセキュリティの研究などでは、完全な一般性などは、追求することができないため、ある可能性を高めていくことが研究になると考えています。
つまり、「相対的にある程度意味のある環境」を相手に、「ある仮定のもとに手法の精度を研究」するのであれば、僕のやっている環境では、前提条件である「相対的にある程度意味のある環境」を構築し説得力を持たすことが、前の記事で述べた通り、定義があいまいであるため、不可能に近いのではないか、と考えたのです。
それならば、相対的に意味があると、考えうる環境を利用しないことには、研究にならないと考えました。
だから、一般性があるから「DARPA のデータとか，府大のデータ」を用いたいのではなく、
自らの環境では、その環境に対して意味のある環境であることを説明することが難しいため、あくまで、研究としての説得力を持たせるためにそれら「DARPA」などのデータを使う必要があるのではないか、
と考えたのです。
そうすれば、「一般性がある」とは言えませんが、「ある程度意味がある」と言えます。
それこそ、「一般性」と「意味があること」は、必要十分条件の関係があるわけではないためです。
教授がおっしゃった通り、程度の問題であると考えています。
全ての状況で一般性のある実験をする必要があると考えたわけではなく、自分が作る環境では意味を持たせることが不可能である気がしたので、一般性の無い所に意味を持たせようとしているデータを扱うべきなのでは、
と考えたわけです。
しかし、講師のこの文章からある考えが見えてきました。
そこで，通常よくとられる方法では，理想的な(＊想定外＊のノイズや攻撃を含まない)環境を構築して，新たな手法が＊想定した＊攻撃を正しく検出できることを「予備実験」で確認し，問題点の洗い出しや改善点の検討を行った上で，「実環境で実験」するという手順をとります．
このように、一般性の定義が難しい研究においては、ある「仮定」を含まずに研究することは難しいため、教授や講師が常々おっしゃってくれているように、「何をしたいのか」ということをきちんと考えることが解決につながるように思ったのです。
というのは、「何がしたいのか」という問いには、実は様々な意味が含まれていることにいまさらながら気づいたからなんですよね。
「何がしたいのか」を考えるということによって、通常状態、または異常状態をどのように仮定し、その仮定のもとで、この手法であれば、この二つの状態を区別する、ということを述べることができれば、一般性は別にして、その仮定においては意味がある手法である、
と説明することができるからです。
「一般性」というものの表現が難しい分野において、このような結果に対して「一般性」を問うことはできない、と思いました。
つまり、
自分の仮定のもとに結論を出すことができれば、「実際はどうか」という質問は意味が無い質問になる
と考えることができるからです。
そして、「このような環境なら検出することができる」といえるからです。
「本当に役に立つのか」という問いに対しては、「一般性をきちんと定義できないため、その問いは一般性が定義できた時のみ、答えることができる」と答えることができるな、と考えました。
つまり、答えようがない質問であると思えます。
僕自身、「一般性を持たすことができない」と考える一方で、「一般性を持たす研究をしないと」と考えることが、自己矛盾に陥っていたように思いますね。
一般性を定義できないから意味を持たせるのが難しいじゃなくて、定義なんてものは、自分で決めればいいんじゃないか、って思いました。
これからは、しばらく、
「どのような仮定のもとに、どういう結果を得たいか」
ということを、きちんと考えていきたいですね。