woshidan's blog

あいとゆうきとITと、とっておきの話。

Hadoop

Hadoop3.1.1でs3a://ファイルシステムを利用する場合の環境構築をしてみる

今日はHadoopのファイルシステム(特に、s3を利用するもの)についてすこしおさらいしてから表題の環境構築をしてみます。 Hadoopのファイルシステム Hadoopは抽象化されたファイルシステムの概念を持っていて、その実装に HDFS Hadoop上で利用される分散ファ…

Hadoop 3.1.1をインストールしてPseudo-Distributed Modeで動かしてみる

Javaと環境変数のセットアップ $ sudo yum install java-1.8.0-openjdk [ec2-user@ip-172-31-16-244 ~]$ sudo update-alternatives --config java There are 2 programs which provide 'java'. Selection Command -----------------------------------------…

Hadoop 3.1.1をインストールしてLocal Modeで動かしてみる

今日は https://qiita.com/Esfahan/items/39fd1e2f8b755eacec65 http://www.atmarkit.co.jp/ait/articles/0902/27/news129_2.html http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html あたりを参考にしつつHadoop…