« 2018年9月 | トップページ | 2018年11月 »

2018年10月

2018.10.14

tsvファイルからShell Scriptやコマンドを組み合わせてJSON生成

ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)
ワンライナーで実践する簡単データ処理(その2 疑似データベース編)
では、シェルスクリプトを使って簡単な集計作業を行いました。

今回は、JSON操作を行ってみます。

例として、前回同様、論文の書誌データを取り上げます。タブ区切りのテキストファイルsavedrecs_0001_2440.txtを


$ cat savedrecs_0001_2440.txt | cut -f9,10,45,23,63 | awk -F'\t' 'BEGIN{OFS="\t"}{print $5,$3,$1,$2,$4}' > temp11.txt

して作成した、以下のタブ区切りテキストファイルtemp11.txtをスタートにしましょう。

UT C1 TI SO PY
WOS:000208617000010 [Chang, Chih-Chung; Lin, Chih-Jen] Natl Taiwan Univ, Dept Comp Sci, Taipei 106, Taiwan LIBSVM: A Library for Support Vector Machines ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY 2011
WOS:000256047300004 [Bay, Herbert; Ess, Andreas; Van Gool, Luc] ETH, BIWI, CH-8092 Zurich, Switzerland; [Tuytelaars, Tinne; Van Gool, Luc] Katholieke Univ Leuven, ESAT PSI, B-3001 Louvain, Belgium Speeded-Up Robust Features (SURF) COMPUTER VISION AND IMAGE UNDERSTANDING 2008
WOS:000261846800002 [Wright, John; Ganesh, Arvind; Ma, Yi] Univ Illinois, Coordinated Sci Lab, Urbana, IL 61801 USA; [Yang, Allen Y.; Sastry, S. Shankar] Univ Calif Berkeley, Dept Elect Engn & Comp Sci, Berkeley, CA 94720 USA Robust Face Recognition via Sparse Representation IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 2009
.....

UTはアクセッション番号(主キー)、C1は著者、所属機関とその国籍/地域、TIは論文タイトル、SOは論文誌、PYは発行年です。

続きを読む "tsvファイルからShell Scriptやコマンドを組み合わせてJSON生成"

| | コメント (0) | トラックバック (0)

« 2018年9月 | トップページ | 2018年11月 »