当社WTIはこれまで、開発設計会社としてお客様のハード・ソフトの開発設計をご支援してきておりますが、今後はお客様が取得されたビッグデータ解析のお手伝いもさせていただくことを考えておりまして、最近この分野のお問い合わせをいただき始めています。
そこでこの機会に、当社が今後ビッグデータ解析を行うにあたって、どのように進めようと考えているかについてご紹介させていただきます。
１．何をお知りになりたいのかを最初に確認する
データ解析を行うことで、お客様はどのようなアウトプットを得たいとお考えなのか、解析結果に対してどのような仮説をお持ちなのかについてまず確認させていただきます。
もし解析のアウトプットに関してのご要望が充分に明確でなく、計算すれば何か知恵が出て来るのではないか？的な期待のみで始めてしまいますと、膨大な計算を行った挙句、価値ある結果が全く何も出ないということになりかねないためです。
２．ご期待に応える結果が出せるか
お客様からいただく期待とビッグデータから、果たして有用な結果を導き出させるかどうかの見当をつけます。もし意味のある結果を出すことができないことがこの時点で明確に予見される場合は、理由と共にそのことをお伝えし、無駄な作業を行わないようにするつもりです。
３．解析中において留意する事項
（１）データの汚れ
ビッグデータ中にノイズや欠けがないかどうかのチェックを実施し、気づいた点があればお客様に確認をさせていただきます。この作業を行うためのノイズ・欠けのない標準データのご提出をお願いすることがございます。
（２）データクレンジング
汚れがあるデータを使う場合（ほとんどの場合そうなりますが）、当社にてデータをきれいに整えるデータクレンジングを実行します。
（３）解析手法
データ解析手法には様々なものがありますので、1の「何を知りたいのか」やデータの性質を考慮して、求められる結果に結びつきやすいと考えられやすい解析手法を選択します。
（４）表示
結果が明瞭に確認できる表示方法を検討し採用してご覧いただきます。
作業の流れとしては以上のイメージですが、ビッグデータ解析で当社が一貫して大切にしたいことは、「思い込みの排除」です。 解析を開始する前後から、お客様からいただいた仮説や私共に思い浮かんだ「こうじゃないか」の説を引きずらないようにすることです。
科学的に検証できるまでは、どの考えも仮説、つまり「仮の説」でしかありませんから、知らず知らずにそこに寄せていくことがないよう充分に注意を払います。
データ解析手法は、習得すれば使うことができるようになりますが、この「姿勢」は意志力の問題ですしビッグデータ解析の鍵でもありますので、ずっと大切にしていこうと考えています。