行政書士とデータサイエンティスト２４

行性書士とデータサイエンティスト２４

　インタネット上のデータは速い速度で増加している。そのため、メインフレームを使用する必要があるが、メインフレームは費用上の問題がある。

　そこで開発されたのが通常コンピュータとハードディスクを組み合わせて使用する分散処理の仕組みである。 オープンソースとして開発されたHadoopは分散処理フレームワークとして有名である。

　専門的な話になるが、コンピュータとハードディスクの組合わせはノードと呼ばれ、全体はクラスターと呼ばれている。Hadoopは分散ファイルシステムはHDFSと呼ばれる。HadoopクラスターはデータをHDFS に記録するだけではなく、それぞれのノードで処理を行うことができる。