CentOS7 embulkのインストール

現在構築中のwebサイト用にデータを諸々取り込む必要があったので、embulkを使ってみました。
まずはインストール編。

目次

embulkとは

データ転送ツールです。作った方の記事が一番わかりやすくて良いです。

frsyuki.hatenablog.com

fluentdは使った事ないんでわかりません。
将来的にはdigdagと組み合わせて利用したいですが、とりあえずはembulk単品で使っていきます。

JAVAのインストール

embulkはjavaで書かれているので、まずはjavaをインストールします。

# cd /usr/local/src
# wget http://javadl.oracle.com/webapps/download/AutoDL?BundleId=227541_e758a0de34e24606bca991d704f6dcbf
# mv AutoDL\?BundleId\=227541_e758a0de34e24606bca991d704f6dcbf java.rpm
# yum localinstall java.rpm
# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

javaが入りました。

embulkのインストール

基本的に凄く簡単に導入出来ます。

# curl --create-dirs -o ~/.embulk/bin/embulk -L "https://dl.embulk.org/embulk-latest.jar"
# chmod +x ~/.embulk/bin/embulk
# echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
# source ~/.bashrc
# embulk --version
embulk 0.8.39

embulkの導入も完了です。

プラグインのインストール

ここからは目的によってプラグインを導入します。
今回の用途は、google スプレッドシートの内容をmysqlに転送するのが目的になります。
inがgoogleスプレッドシートなので"embulk-input-google_spreadsheets"というプラグインを、 outはmysqlなので、"embulk-output-mysql"をそれぞれ導入します。

# embulk gem install embulk-input-google_spreadsheets
Successfully installed embulk-input-google_spreadsheets-1.1.0
25 gems installed
# embulk gem install embulk-output-mysql
Successfully installed embulk-output-mysql-0.7.13
1 gem installed

これで導入出来たっぽいです。次回は実際にembulk使ってmysqlにデータを入れていきます。