tsvファイルからShell Scriptやコマンドを組み合わせてJSON生成

ワンライナーで実践する簡単データ処理（その１ 繰り返し項目集計編）
ワンライナーで実践する簡単データ処理（その２ 疑似データベース編）
では、シェルスクリプトを使って簡単な集計作業を行いました。

今回は、JSON操作を行ってみます。

例として、前回同様、論文の書誌データを取り上げます。タブ区切りのテキストファイルsavedrecs_0001_2440.txtを

$ cat savedrecs_0001_2440.txt | cut -f9,10,45,23,63 | awk -F'\t' 'BEGIN{OFS="\t"}{print $5,$3,$1,$2,$4}' > temp11.txt

して作成した、以下のタブ区切りテキストファイルtemp11.txtをスタートにしましょう。

UT      C1      TI      SO      PY

WOS:000208617000010     [Chang, Chih-Chung; Lin, Chih-Jen] Natl Taiwan Univ, Dept Comp Sci, Taipei 106, Taiwan  LIBSVM: A Library for Support Vector Machines   ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY  2011

WOS:000256047300004     [Bay, Herbert; Ess, Andreas; Van Gool, Luc] ETH, BIWI, CH-8092 Zurich, Switzerland; [Tuytelaars, Tinne; Van Gool, Luc] Katholieke Univ Leuven, ESAT PSI, B-3001 Louvain, Belgium        Speeded-Up Robust Features (SURF)       COMPUTER VISION AND IMAGE UNDERSTANDING 2008

WOS:000261846800002     [Wright, John; Ganesh, Arvind; Ma, Yi] Univ Illinois, Coordinated Sci Lab, Urbana, IL 61801 USA; [Yang, Allen Y.; Sastry, S. Shankar] Univ Calif Berkeley, Dept Elect Engn & Comp Sci, Berkeley, CA 94720 USA   Robust Face Recognition via Sparse Representation       IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE  2009

.....

UTはアクセッション番号（主キー）、C1は著者、所属機関とその国籍／地域、TIは論文タイトル、SOは論文誌、PYは発行年です。

» 続きを読む

ワンライナーで実践する簡単データ処理（その２ 疑似データベース編）

この記事は、ワンライナーで実践する簡単データ処理（その１ 繰り返し項目集計編）の続きです。

前回作成したtemp01.txtはこのようなファイルでした。

WOS:000207567300006     [Goldfarb, Donald] Columbia Univ, Dept Ind Engn & Operat Res, New York, NY 10027 USA

WOS:000207567300006     [Osher, Stanley; Darbon, Jerome] Univ Calif Los Angeles, Dept Math, Los Angeles, CA 90095 USA

WOS:000207567300006     [Yin, Wotao] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA

WOS:000207567500003     [Wang, Yilun; Yin, Wotao; Zhang, Yin] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA

WOS:000207567500003     [Yang, Junfeng] Nanjing Univ, Dept Math, Nanjing 210093, Jiangsu Prov, Peoples R China

...

ですが、著者の項が繰り返し項目になっているため、アクセッション番号、所属機関、所属機関の国籍／地域、著者のテーブルに加工してみましょう。

» 続きを読む

ワンライナーで実践する簡単データ処理（その１ 繰り返し項目集計編）

テキストファイルからなるデータの集計を取るとき、shellを使ってやると手早く処理することができます。

Perlで同じことができるのは当然ですが、時にはshellとコマンドを組み合わせた方が手軽なこともありますよね。今回は、その小技を忘れないようにメモ。

例として、論文の著者の所属機関の国籍（または地域）を集計する場合を考えます。共同研究の場合、１論文の著者は複数機関に亘ることになります。元データはWeb of Scienceの検索結果をexportしたもので、以下のようなタブ区切りのテキストファイルsavedrecs_0001_2440.txtです。

...  C1      ...        UT      ...

...  [Yin, Wotao] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA; [Osher, Stanley; Darbon, Jerome] Univ Calif Los Angeles, Dept Math, Los Angeles, CA 90095 USA; [Goldfarb, Donald] Columbia Univ, Dept Ind Engn & Operat Res, New York, NY 10027 USA  ...   WOS:000207567300006     ...

...  [Wang, Yilun; Yin, Wotao; Zhang, Yin] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA; [Yang, Junfeng] Nanjing Univ, Dept Math, Nanjing 210093, Jiangsu Prov, Peoples R China  ... WOS:000207567500003    ...

...

C1は著者の所属の繰り返し項目です。UTはアクセッション番号、要するに主キーです。
まず、主キーUTと繰り返し項目C1を正規化してやります。

» 続きを読む

Mac mini Early 2009にHigh Sierraをインストールしてみる

私が所有しているMac mini Early 2009は、OSがEl Capitanまでしか対応しておらず、そろそろ次の機種が欲しいところ。しかし、現行Mac miniが2014年10月に発売されて以来、実に4年近く新機種が出ておりません。新機種の噂は出ているので、もうしばらく発表を待って、次期購入機種を検討しようと思っています。

しかし、購入までは、残念なことに、最近のOSを試すことができない…
すると、なんと、Macの非サポート機種にHigh Sierraをインストールするパッチがありました。
サポート対象外のMacに「macOS High Sierra」をインストールした【iMac Early 2008】：ringocat note
ありがとうございます。

当然、インストールは自己責任ですが、まあ、10年前に買った機種ですし…ね。
ちなみに、我が家のMac mini Early 2009は、メモリ増設と内蔵HDDのSSD化を実施済みです。
Mac mini Early 2009 のHDDをSSDに換装＆メモリを8GBに増設：tonopぶらり

» 続きを読む

MOLESKINEノートのゴムバンドを交換してみた

今回は文房具の話題です。

MOLESKINEのノートは、カバーが丈夫でゴムバンドで閉じられるので、鞄にラフに放り込んでも気になりません。
ただし、ゴムバンドの問題点は、時間が経つと延びてくることです。さらに、ベロベロになって、ひどい場合にはベトベトにもなることがあります。これは、ゴムの加水分解によるもので、いずれ起こるのは仕方ないことではあります。

多少伸びた程度では、ゴムバンドを延びただけ切ってゴムパッチンを使って詰めるというやり方があるようです。ただ、ベトベトになってくると、ゴムバンドを根本から切ってしまうしかない感じです。

ただ、使い終わっていれば積んどくだけなので、ゴムバンドを根本から切ってもよいのですが、まだ記入し続けている、だと、ゴムバンドを交換したくなってきます。

» 続きを読む

WSLから名前付きパイプ経由でDocker for Windowsを利用してみる

WSLからDockerの利用を試みましたので、その手順をメモ。
PowerShellからでもDocker for Windowsを使えますが、Docker上でLinux環境を使うつもりなので、そうするとWSLから利用したほうが相互運用性が高いことは明らかです。

WebサイトにはDocker for WIndows標準機能だと2375ポート経由で利用するやり方が出てくると思うのですが、以下にあるように、
WSLから名前付きパイプ経由でDocker for Windowsに接続する方法：Qiita
[Cross Post] WSL Interoperability with Docker：Microsoft Developer
名前付きパイプを使うことができるそうです。ありがとうございます。

そこでここでは、上の記事を参考にして、WSLから名前付きパイプを使ってDoker for Windowsに接続してみます。

» 続きを読む

WSL及びUbuntuのインストール手順を再整理しておく（2018年版）

このサイトでは、Bash on Ubuntu on Windowsのインストール手順など書いてきました。
Bash on Ubuntu on Windows 14.04LTSから16.04LTSにアップグレード
Bash on Ubuntu on Windows -- ネットワークドライブをマウントする
Bash on Ubuntu on Windows -- Visual Studioからリモートビルドしてみる

以前の記事から期間が経過し、WSLが改善されて、以前とは必要な手順が変わってきています。
また、昨年のFall Creators Updateでは、Windows Subsystem for Linuxと名前も正式に変わり、今後ストア版に移行されるようですので、改めてインストール手順をまとめておきます。
私家版メモとして。

試した環境は、
エディション　Windows 10 Pro Insider Preview
バージョン　　1803
OSビルド　　 17133.73
です。

» 続きを読む

SSHクライアントからWSLまたはHyper-Vで稼働するUbuntuを使ってみる

Windows 10もFall Creators Updateが出てしばらく経ちましたが、Bash on Ubuntu on WindowsはWindow Subsystem for Linuxと名称を変え、ストア版が提供されるようになりました。今後はこちらが本流になるようですね。

当面は、従前のbash.exeとストア版が共存するようですが、これを機会にストア版Ubuntuをインストールしてみました。
Ubuntu以外のディストリビューションがサポートされたこともあってか、A Guide to Invoking WSL: Windows Command Line Tools For Developersにあるとおり、WSL起動方法がこれまでのbash.exe以外に提供されるようになりました。

また、Windows 10 Insider Preview Build 17046では、WSLの新機能としてLinuxのdaemonを含むバックグラウンドプロセスのサポートされ、かなり使い勝手が向上しました。

そこで、先日Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定（NAT）を行うで触れたとおり、Hyper-V上で動作するUbuntu環境を構築しましたが、これを機会に、WSLとHyper-Vとで稼働するUbuntuを、WSLコマンドやSSHクライアントから利用する、といったことを試してみました。
WSLでは、bash.exe（コンソール）を起動することなく、daemonサービスを利用することもできるようになりましたので、こちらも試してみました。

試した環境は、
エディション　Windows 10 Pro Insider Preview
バージョン　　1709
OSビルド　　 1704.1002
です。

» 続きを読む

嫁と格安SIM − mineoの場合 − （その9）

昨年10月1日からmineoの5分かけ放題サービスが、mineoでんわにリニューアルされました。
嫁と格安SIM − mineoの場合 − （その8）

ここ最近、嫁の通話回数が少ない状態で推移していますので、12月中旬にmineoでんわ（10分かけ放題ではない）に移行しました。

オプション変更はマイページからできます。オプションのラジオボタンで付けるか外すかを選択するだけなので簡単です。

» 続きを読む

Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定（NAT）を行う

新年明けましておめでとうございます。今年もよろしくお願い申し上げます。

さて、この新年はWindows 10 Pro ではHyper-Vが使えますので、これを使ってUbuntuを仮想マシン上で動かすことを試してみました。
VMWare Player等と違って、ネットワーク設定等自分でやらないといけないことがあり、Hyper-Vの仕組みを理解するのに頭の整理が必要で、それなりに手間取りましたので、過程をメモしておきます。

ホスト
物理マシン: ThinkPad E440
OSエディション: Windows 10 Pro Insider Preview
バージョン: 1709
OSビルド: 17025.1000

ゲストVM
OS: Ubuntu 16.04 LTS

ラップトップPCなので、通常のネットワークはWi-Fi接続となります。

» 続きを読む