2018-09-01から1ヶ月間の記事一覧
今日はHadoopのファイルシステム(特に、s3を利用するもの)についてすこしおさらいしてから表題の環境構築をしてみます。 Hadoopのファイルシステム Hadoopは抽象化されたファイルシステムの概念を持っていて、その実装に HDFS Hadoop上で利用される分散ファ…
Javaと環境変数のセットアップ $ sudo yum install java-1.8.0-openjdk [ec2-user@ip-172-31-16-244 ~]$ sudo update-alternatives --config java There are 2 programs which provide 'java'. Selection Command -----------------------------------------…
今日は https://qiita.com/Esfahan/items/39fd1e2f8b755eacec65 http://www.atmarkit.co.jp/ait/articles/0902/27/news129_2.html http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html あたりを参考にしつつHadoop…
ちょっとたくさんのインスタンスからMySQLにクエリを投げたいことってありますよね? というわけで今日はRubyでMySQLに接続するコードを書く前段階として表題のEC2上で環境構築の素振りをします。 TL;DR rbenvおよび、rbenvのプラグイン ruby-buildはGitHubか…
列の順番を入れ替えたい awkを使えばよい。 aaa,ddd,fff,bbb,ccc,eee のような行があったとき、 aaa,bbb,ccc,ddd,eee,fff のように列を入れ替えたいとすると $ echo 'aaa,ddd,fff,bbb,ccc,eee' | awk -F ',' '{ print $1 "," $4 "," $5 "," $2 "," $6 "," $3…
今日はRubyで書かれたビルド・デプロイ作業の自動化フレームワークのCapistranoにさわってみます。 Capistranoでできること 最初に、入門 Capistrano 3 ~ 全ての手作業を生まれる前に消し去りたいを読めばいいという話ではあるんですが、Capistranoでできる…
検証用の環境作るとき、微妙に設定をいじって立て直す、その後複数台で動かしたい、みたいな場合はTerraformでやったりします*1。 そのとき、共通でやる作業についてメモしておきます。 共通 変数設定など アプリごとにパスフレーズなしの認証鍵を使い捨てで…
