パソコン・インターネット

2018.09.19

ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)

テキストファイルからなるデータの集計を取るとき、shellを使ってやると手早く処理することができます。

Perlで同じことができるのは当然ですが、時にはshellとコマンドを組み合わせた方が手軽なこともありますよね。今回は、その小技を忘れないようにメモ。

例として、論文の著者の所属機関の国籍(または地域)を集計する場合を考えます。共同研究の場合、1論文の著者は複数機関に亘ることになります。元データはWeb of Scienceの検索結果をexportしたもので、以下のようなタブ区切りのテキストファイルsavedrecs_0001_2440.txtです。


... C1 ... UT ...
... [Chang, Chih-Chung; Lin, Chih-Jen] Natl Taiwan Univ, Dept Comp Sci, Taipei 106, Taiwan ... WOS:000208617000010 ...
... [Bay, Herbert; Ess, Andreas; Van Gool, Luc] ETH, BIWI, CH-8092 Zurich, Switzerland; [Tuytelaars, Tinne; Van Gool, Luc] Katholieke Univ Leuven, ESAT PSI, B-3001 Louvain, Belgium ... WOS:000256047300004 ...
...

C1は著者の所属の繰り返し項目です。UTはアクセッション番号、要するに主キーです。
まず、主キーUTと繰り返し項目C1を正規化してやります。

続きを読む "ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)"

| | コメント (0) | トラックバック (0)

2018.09.16

Mac mini Early 2009にHigh Sierraをインストールしてみる

私が所有しているMac mini Early 2009は、OSがEl Capitanまでしか対応しておらず、そろそろ次の機種が欲しいところ。しかし、現行Mac miniが2014年10月に発売されて以来、実に4年近く新機種が出ておりません。新機種の噂は出ているので、もうしばらく発表を待って、次期購入機種を検討しようと思っています。

しかし、購入までは、残念なことに、最近のOSを試すことができない…
すると、なんと、Macの非サポート機種にHigh Sierraをインストールするパッチがありました。
サポート対象外のMacに「macOS High Sierra」をインストールした【iMac Early 2008】:ringocat note
ありがとうございます。

当然、インストールは自己責任ですが、まあ、10年前に買った機種ですし…ね。
ちなみに、我が家のMac mini Early 2009は、メモリ増設と内蔵HDDのSSD化を実施済みです。
Mac mini Early 2009 のHDDをSSDに換装&メモリを8GBに増設:tonopぶらり

続きを読む "Mac mini Early 2009にHigh Sierraをインストールしてみる"

| | コメント (0) | トラックバック (0)

2018.05.01

WSLから名前付きパイプ経由でDocker for Windowsを利用してみる

WSLからDockerの利用を試みましたので、その手順をメモ。
PowerShellからでもDocker for Windowsを使えますが、Docker上でLinux環境を使うつもりなので、そうするとWSLから利用したほうが相互運用性が高いことは明らかです。

WebサイトにはDocker for WIndows標準機能だと2375ポート経由で利用するやり方が出てくると思うのですが、以下にあるように、
WSLから名前付きパイプ経由でDocker for Windowsに接続する方法:Qiita
[Cross Post] WSL Interoperability with Docker:Microsoft Developer
名前付きパイプを使うことができるそうです。ありがとうございます。

そこでここでは、上の記事を参考にして、WSLから名前付きパイプを使ってDoker for Windowsに接続してみます。

続きを読む "WSLから名前付きパイプ経由でDocker for Windowsを利用してみる"

| | コメント (0) | トラックバック (0)

2018.04.18

WSL及びUbuntuのインストール手順を再整理しておく(2018年版)

このサイトでは、Bash on Ubuntu on Windowsのインストール手順など書いてきました。
Bash on Ubuntu on Windows 14.04LTSから16.04LTSにアップグレード
Bash on Ubuntu on Windows -- ネットワークドライブをマウントする
Bash on Ubuntu on Windows -- Visual Studioからリモートビルドしてみる

以前の記事から期間が経過し、WSLが改善されて、以前とは必要な手順が変わってきています。
また、昨年のFall Creators Updateでは、Windows Subsystem for Linuxと名前も正式に変わり、今後ストア版に移行されるようですので、改めてインストール手順をまとめておきます。
私家版メモとして。

試した環境は、
エディション Windows 10 Pro Insider Preview
バージョン  1803
OSビルド   17133.73
です。

続きを読む "WSL及びUbuntuのインストール手順を再整理しておく(2018年版)"

| | コメント (0) | トラックバック (0)

2018.02.27

SSHクライアントからWSLまたはHyper-Vで稼働するUbuntuを使ってみる

Windows 10もFall Creators Updateが出てしばらく経ちましたが、Bash on Ubuntu on WindowsはWindow Subsystem for Linuxと名称を変え、ストア版が提供されるようになりました。今後はこちらが本流になるようですね。

当面は、従前のbash.exeとストア版が共存するようですが、これを機会にストア版Ubuntuをインストールしてみました。
Ubuntu以外のディストリビューションがサポートされたこともあってか、A Guide to Invoking WSL: Windows Command Line Tools For Developersにあるとおり、WSL起動方法がこれまでのbash.exe以外に提供されるようになりました。

また、Windows 10 Insider Preview Build 17046では、WSLの新機能としてLinuxのdaemonを含むバックグラウンドプロセスのサポートされ、かなり使い勝手が向上しました。

そこで、先日Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定(NAT)を行うで触れたとおり、Hyper-V上で動作するUbuntu環境を構築しましたが、これを機会に、WSLとHyper-Vとで稼働するUbuntuを、WSLコマンドやSSHクライアントから利用する、といったことを試してみました。
WSLでは、bash.exe(コンソール)を起動することなく、daemonサービスを利用することもできるようになりましたので、こちらも試してみました。

試した環境は、
エディション Windows 10 Pro Insider Preview
バージョン  1709
OSビルド   1704.1002
です。

続きを読む "SSHクライアントからWSLまたはHyper-Vで稼働するUbuntuを使ってみる"

| | コメント (0) | トラックバック (0)

2018.01.08

Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定(NAT)を行う

新年明けましておめでとうございます。今年もよろしくお願い申し上げます。

さて、この新年はWindows 10 Pro ではHyper-Vが使えますので、これを使ってUbuntuを仮想マシン上で動かすことを試してみました。
VMWare Player等と違って、ネットワーク設定等自分でやらないといけないことがあり、Hyper-Vの仕組みを理解するのに頭の整理が必要で、それなりに手間取りましたので、過程をメモしておきます。

ホスト
物理マシン: ThinkPad E440
OSエディション: Windows 10 Pro Insider Preview
バージョン: 1709
OSビルド: 17025.1000

ゲストVM
OS: Ubuntu 16.04 LTS

ラップトップPCなので、通常のネットワークはWi-Fi接続となります。

続きを読む "Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定(NAT)を行う"

| | コメント (0) | トラックバック (0)

2017.11.21

Firefox Quantum (Firefox 57) にバージョンアップしたらレガシー・アドオンが動かなくなった

先日、Firefox 57にバージョンアップしたところ、デザインが大幅に変更され、大幅な高速化の実現とともに、これまで使っていたアドオンの多くが動作しない状況になってしまいました。WebExtensionsに沿ったアドオンではない、旧来のアドオンがサポートから外れたとのこと。
# 例えば、Firefox Quantum (Firefox 57)に向けて、代替アドオンを探してみる:とある人柱のblogを参照。ありがとうございます。
2017112001
調べると、以前からこのような状態になることはアナウンスされていたようで、迂闊でした。しかし、動作が軽快になったのは確かです。

一番痛かったのはScrapBookが動かなくなったことです。

続きを読む "Firefox Quantum (Firefox 57) にバージョンアップしたらレガシー・アドオンが動かなくなった"

| | コメント (0) | トラックバック (0)

2017.07.16

TP-LINK AC750 Wi-Fi Range Extender RE200を設置してみた

この5月に部屋の模様替えをし、私の机とMac miniをWi-Fi親機のある部屋から移動することになりました。

その結果、Mac miniの無線の掴みが不安定になってしまいました。もともと受信感度がいいわけでもありませんしね。

そこで、無線LAN中継器を導入しましたので、その導入過程をメモ。

続きを読む "TP-LINK AC750 Wi-Fi Range Extender RE200を設置してみた"

| | コメント (0) | トラックバック (0)

2017.05.29

Bash on Ubuntu on Windows -- Visual Studioからリモートビルドしてみる

Visual Studio 2017では、Linuxとsshで接続してリモートビルドを行うことができます。
したがって、Bash on Ubuntu on Windows (Windows Subsystem for Linux (WSL)) に対してもリモートビルド可能です。
これらの記事を参考にしました。ありがとうございます。
WSL その75 - Visual Studio + Ubuntu on WindowsでUbuntuのソフトウェアが開発可能に:kledgeb
Bash on Ubuntu on Windowsを使って「開発」をしてみよう:Build Insider

なお、私が試した環境は、
Windows 10 Pro Insider Preview build 16193
です。

続きを読む "Bash on Ubuntu on Windows -- Visual Studioからリモートビルドしてみる"

| | コメント (0) | トラックバック (0)

2017.04.28

Bash on Ubuntu on Windows -- ネットワークドライブをマウントする

Bash on Ubuntu on Windows (以下、WSL又はBoWと記載) の最新版では、リムーバブルディスクやネットワークドライブもマウントできるようになりました。
こちらの記事が詳しいです。
WSL その84 - リムーバブルディスクやネットワーク上のボリュームなど様々なボリュームがマウント可能に:kledgeb
File System Improvements to the Windows Subsystem for Linux: Microsoft Developer

、今回は、Windows Insider Preview build 16179で試しています。

続きを読む "Bash on Ubuntu on Windows -- ネットワークドライブをマウントする"

| | コメント (0) | トラックバック (0)

より以前の記事一覧