会社のローカルPCがUBuntuなのでコマンドをちゃちゃっと利用することが多い今日この頃。
前はWindowsだったのでわざわざローカルVMにログインするのが面倒で、
あまりコマンドを多用していなかったのかなと思います。
そんな前置きはどうでも良いのでさらっと。
■コマンドの監視?
psコマンドとかでプロセス数を常に監視したい時に便利なwatch
-nで指定した秒数(ここでは1秒)間隔でシングルクォートで括られたコマンドを実行してくれます。
色々と他にも用途があるので意外に便利です。
■Hadoopにだって負けない!集計処理
TSVファイルの特定カラムを対象に、カウント集計したい時に便利なコマンド
awkでTSVファイルから3カラム目だけを抽出して、sortで並び替えします。
結果をさらにuniqで重複を除去。-cオプションでカウントも取ります。
もちろんHadoopに勝てるわけないですがwちょっとした集計には便利です。
awk、sed、sort、uniqがあるとログ調査で色々役に立ちますよ。
MapReduce作るのめんどくせー。Hive起動するのめんどくせーなときに便利です。
■バイナリログファイルだってへっちゃらだぜ。
一部のsyslog系でバイナリで保存されているファイルたち。。。
fileコマンドで確認しないでviewとかで開くと焦ります。
そんな時はstringsでへっちゃらです。
1つの結果を出すのに色々な方法があるので
使い慣れたコマンドを繋ぎあわせて作業することがあります。
そこで新しいコマンドを覚えることでタイプ数を一気に減らしてくれることも。
日々勉強ですね。
前はWindowsだったのでわざわざローカルVMにログインするのが面倒で、
あまりコマンドを多用していなかったのかなと思います。
そんな前置きはどうでも良いのでさらっと。
■コマンドの監視?
psコマンドとかでプロセス数を常に監視したい時に便利なwatch
watch -n1 'ps -ef | grep http | wc -l'
-nで指定した秒数(ここでは1秒)間隔でシングルクォートで括られたコマンドを実行してくれます。
色々と他にも用途があるので意外に便利です。
■Hadoopにだって負けない!集計処理
TSVファイルの特定カラムを対象に、カウント集計したい時に便利なコマンド
awk '{ print $3 }' hoge.tsv | sort | uniq -c
awkでTSVファイルから3カラム目だけを抽出して、sortで並び替えします。
結果をさらにuniqで重複を除去。-cオプションでカウントも取ります。
もちろんHadoopに勝てるわけないですがwちょっとした集計には便利です。
awk、sed、sort、uniqがあるとログ調査で色々役に立ちますよ。
MapReduce作るのめんどくせー。Hive起動するのめんどくせーなときに便利です。
■バイナリログファイルだってへっちゃらだぜ。
一部のsyslog系でバイナリで保存されているファイルたち。。。
fileコマンドで確認しないでviewとかで開くと焦ります。
strings hoge.dump | less
そんな時はstringsでへっちゃらです。
1つの結果を出すのに色々な方法があるので
使い慣れたコマンドを繋ぎあわせて作業することがあります。
そこで新しいコマンドを覚えることでタイプ数を一気に減らしてくれることも。
日々勉強ですね。
トラックバック
トラックバックURL: