パソコン・インターネット

2019.09.04

Shell ScriptとPOSIXコマンドで実践する簡単データ処理(その1)

以前、Shell Scriptとコマンドを使ったワンライナーで実践するデータ処理の記事を書きました。

ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)
ワンライナーで実践する簡単データ処理(その2 疑似データベース編)

今回は、これらの記事に少し補足をしたいと思います。ここでは、繰返し項目処理と集計処理を取り扱います。
例に用いるデータは以下のとおり。タブ区切りテキストデータです。また、繰返し項目を” | ”で区切ります。
データ項目にスペースが入ることがある可能性を考慮して、ここでは項目区切り文字をタブに統一して取り扱います。 

list.txt


ID00001 f1ec 2013 IPC00 | IPC01 JP | US
ID00002 097d 2017 IPC02 US
ID00003 6a5b 2016 IPC03 | IPC04 | IPC05 JP | US | US
ID00004 6262 2015 IPC01 DE | EP
ID00005 8ab4 2014 IPC06 US
ID00006 3551 2016 IPC07 CN
ID00007 ca3e 2015 IPC03 | IPC08 | IPC09 CN | US
ID00008 af39 2014 IPC01 | IPC03 | IPC09 JP
ID00009 d168 2015 IPC10 JP | WO
ID00010 bc4f 2016 IPC11 | IPC01 CN | CN
ID00011 1efd 2016 IPC01 | IPC12 JP | WO
ID00012 2b22 2017 IPC13 | IPC14 | IPC15 | IPC16 DE | WO
ID00013 9776 2017 IPC04 | IPC15 US | JP | EP

4列目及び5列目が繰返し項目になっています。

続きを読む "Shell ScriptとPOSIXコマンドで実践する簡単データ処理(その1)"

| | コメント (0)

2019.05.12

WSLでJupyter notebookを使う&ショートカット・アイコンから実行する

MicrosoftからWSL 2が発表されましたね(アナウンスはここ )。

これまで、
WSL及びUbuntuのインストール手順を再整理しておく(2018年版)
など、WSLを試してきましたが、これまでのエミュレータに代えてLinuxカーネルをWindowsに組み込むなど、仕組みがずいぶん変わるとのことです。現行WSLは互換性について順次改善が進んできたものの問題が残っていたので、WSL 2に期待しています。

WSL 2はいずれ試したいと思っていますが、今回はWSLのJupyter notebookを簡単に起動する方法を試してみたのでその記録です。

試した環境は、
エディション Windows 10 Pro
バージョン  1903
OSビルド  18362.86
です。

また、今現在Microsoft StoreにあるUbuntuのバージョンはこちら。

$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 18.04.2 LTS
Release: 18.04
Codename: bionic

続きを読む "WSLでJupyter notebookを使う&ショートカット・アイコンから実行する"

| | コメント (0)

2019.05.11

Windows 10 ダイヤルアップに関わる(?)トラブル対応あれこれ

今回は、このGWに帰省した時に起きたPCのトラブルについての話題です。

たまに実家に帰ると実家のPCのWindows update状況を確認するのですが、前回帰省した年末以降updateが止まっていることに気づきました。インターネットには接続できるしWebアクセスもできているのですが、なぜかWindows Update時にネットワークに接続できてないとのメッセージが出ています。

今後のこともありますので、その時の復旧過程をメモ。

実家は田舎の山奥にあることもあり、未だADSLです。まあ、PCの使い方からみて速度的不満はないのですが。ADSLのモデムをPCに直につないでダイヤルアップしてISPに接続する方式です。

ADSLの新規申し込みは既に終了しているので、いずれは廃止されるのでしょうが、それはまた別の話。

続きを読む "Windows 10 ダイヤルアップに関わる(?)トラブル対応あれこれ"

| | コメント (0)

2019.05.08

macOS上の VirtualBox で共用Windows環境を作成してみた

家族でデスクトップPCを共有するというご家庭は多いと思います。一人一台PCを用意するのはなかなか敷居が高いですよね。うちでは家族ごとにアカウントを用意しています。うちのデスクトップPCはMacなので、家族ごと+管理者のアカウントを作成しています。

一つ問題なのは、仮想環境で動くWindowsをどうするか。うちではBootCampではなくVirtualBoxを使っています。WindowsとMacの切り替え時に再起動しなくてよいので。最初は、仮想イメージを共有ユーザのディレクトリに入れてそこを仮想マシンとして参照する形をとりましたが、すると複数のユーザが参照すると異なるマシンとして認識してしまうんですね。Windowsのライセンス認証に引っかかってしまいます。最初は、自分ひとりしかMacからWindowsを使っていなかったので気づかなかったのですが、家族もWindowsを使うようになって気づいた次第。

そこで、本来変則ですが、Macに家族共用アカウントを作って、そのアカウントからWindowsを使うようにしてみました。家族共用アカウントはもともと共用iPadで作っていたので、そのアカウントを流用する形です。

続きを読む "macOS上の VirtualBox で共用Windows環境を作成してみた"

| | コメント (0)

2019.02.02

Magic Trackpadのゴム足を交換してみる

これまで愛用してきたMagic Trackpadですが、クリックを感知するマイクロスイッチがうまく効かなくなってきたかな〜と感じていたところ、思い立ってゴム足が交換できないか調べてみました。

 

結論から言うと、ゴム足を交換する必要はあまりなかったのですが(後述)、その手順をメモに残しておくことにします。

続きを読む "Magic Trackpadのゴム足を交換してみる"

| | コメント (0) | トラックバック (0)

2019.01.06

Mac mini Late 2018 と Early 2009 対決

いや、勝負になりませんが…

Mac mini Early 2009にMojaveをインストールしてみる
に記載しましたとおり、これまでMac mini Early 2009にMojaveを入れるなどしてこれまで同機を使い続けてきました。しかし、この機体も使用し続けてきて早10年。2009年初頭にMac mini Early 2009(モデル120GB Mac mini (MB463LL/A))を購入したあと、メモリ増設やSSD換装(Mac mini Early 2009 のHDDをSSDに換装&メモリを8GBに増設)により機能強化してきたものの、Webや動画視聴、コーディングやスクリプトによるデータ処理(私が実行する程度なので小規模なもの)については問題ないものの、特に仮想環境については実用に耐えない状況になっていました。

そこで、この度思い切ってMac mini Late 2018を購入しました。

続きを読む "Mac mini Late 2018 と Early 2009 対決"

| | コメント (0) | トラックバック (0)

2018.11.25

Save Page WE及びScrapBookのインデックスリンク静的HTMLファイル作成スクリプト

Firefox Quantumになって以降、プラグインScrapBookが動かなくなりました。
Firefox Quantum (Firefox 57) にバージョンアップしたらレガシー・アドオンが動かなくなった

とりあえず、ScrapBookのインデックスを作成するスクリプトを書いて、過去のScrapBookで保存したファイルを参照可能にはしております。
ScrapBookのリンク静的HTMLファイル作成スクリプト

後継プラグインとして、私はPage Save WEを導入しております。

どうも、FIrefoxが推奨する後継プラグインは、OneNote Web Clipperのようです。

Page Save WEは、単純に表示中のWeb PageをSingle HTMLファイルとして保存するプラグインなので、インデックスを作成するツールを作成して利用しております。
保存したファイル群をNASに保存して、ローカル環境下で共有可能にしています。

続きを読む "Save Page WE及びScrapBookのインデックスリンク静的HTMLファイル作成スクリプト"

| | コメント (0) | トラックバック (0)

2018.11.04

Mac mini Early 2009にMojaveをインストールしてみる

遂にMac mini 2018が発表されましたね。
Mac miniは、新製品発表まで4年も間が空いたこともあって、今回かなりパワフルになりました。
BTOで選べる範囲が広い(価格幅も…)ので、検討しているところです。

検討にあたって、最新のmacOSが要求するリソースはどの程度なのか…。気になります。

先日、Mac mini Early 2009にHigh Sierraをインストールしてみるという記事を書きました。

非サポート機種にMojaveをインストールするパッチも出ておりますので、試してみました。
パッチは、macOS Mojave Patcher Tool for Unsupported Macsにあります。
ありがとうございます。

当然ですが、当該ツールはサポート外かつ未保証ですので、自己責任でお試しください。

続きを読む "Mac mini Early 2009にMojaveをインストールしてみる"

| | コメント (0) | トラックバック (0)

2018.10.14

tsvファイルからShell Scriptやコマンドを組み合わせてJSON生成

ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)
ワンライナーで実践する簡単データ処理(その2 疑似データベース編)
では、シェルスクリプトを使って簡単な集計作業を行いました。

今回は、JSON操作を行ってみます。

例として、前回同様、論文の書誌データを取り上げます。タブ区切りのテキストファイルsavedrecs_0001_2440.txtを


$ cat savedrecs_0001_2440.txt | cut -f9,10,45,23,63 | awk -F'\t' 'BEGIN{OFS="\t"}{print $5,$3,$1,$2,$4}' > temp11.txt

して作成した、以下のタブ区切りテキストファイルtemp11.txtをスタートにしましょう。

UT C1 TI SO PY
WOS:000208617000010 [Chang, Chih-Chung; Lin, Chih-Jen] Natl Taiwan Univ, Dept Comp Sci, Taipei 106, Taiwan LIBSVM: A Library for Support Vector Machines ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY 2011
WOS:000256047300004 [Bay, Herbert; Ess, Andreas; Van Gool, Luc] ETH, BIWI, CH-8092 Zurich, Switzerland; [Tuytelaars, Tinne; Van Gool, Luc] Katholieke Univ Leuven, ESAT PSI, B-3001 Louvain, Belgium Speeded-Up Robust Features (SURF) COMPUTER VISION AND IMAGE UNDERSTANDING 2008
WOS:000261846800002 [Wright, John; Ganesh, Arvind; Ma, Yi] Univ Illinois, Coordinated Sci Lab, Urbana, IL 61801 USA; [Yang, Allen Y.; Sastry, S. Shankar] Univ Calif Berkeley, Dept Elect Engn & Comp Sci, Berkeley, CA 94720 USA Robust Face Recognition via Sparse Representation IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE 2009
.....

UTはアクセッション番号(主キー)、C1は著者、所属機関とその国籍/地域、TIは論文タイトル、SOは論文誌、PYは発行年です。

続きを読む "tsvファイルからShell Scriptやコマンドを組み合わせてJSON生成"

| | コメント (0) | トラックバック (0)

2018.09.22

ワンライナーで実践する簡単データ処理(その2 疑似データベース編)

この記事は、ワンライナーで実践する簡単データ処理(その1 繰り返し項目集計編)の続きです。

前回作成したtemp01.txtはこのようなファイルでした。


WOS:000207567300006 [Goldfarb, Donald] Columbia Univ, Dept Ind Engn & Operat Res, New York, NY 10027 USA
WOS:000207567300006 [Osher, Stanley; Darbon, Jerome] Univ Calif Los Angeles, Dept Math, Los Angeles, CA 90095 USA
WOS:000207567300006 [Yin, Wotao] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA
WOS:000207567500003 [Wang, Yilun; Yin, Wotao; Zhang, Yin] Rice Univ, Dept Computat & Appl Math, Houston, TX 77005 USA
WOS:000207567500003 [Yang, Junfeng] Nanjing Univ, Dept Math, Nanjing 210093, Jiangsu Prov, Peoples R China
...

ですが、著者の項が繰り返し項目になっているため、アクセッション番号、所属機関、所属機関の国籍/地域、著者のテーブルに加工してみましょう。

続きを読む "ワンライナーで実践する簡単データ処理(その2 疑似データベース編)"

| | コメント (0) | トラックバック (0)

より以前の記事一覧