« 自分のブログをベクトルにして分布をみた(1) | トップページ

2020.08.02

自分のブログをベクトルにして分布をみた(2)

自分のブログをベクトルにして分布をみた(1)でブログを記事ごとにベクトル表現にしてその分布をみました。
今回は試しにその記事を端的に表す(かもしれない)単語を求めてみましょう。

前回の記事を再利用し、記事のTFIDF値が高い単語の平均ベクトルに近い値の単語を各記事につき10単語ずつ示すコードを次に示します。


import numpy as np
from gensim.models import KeyedVectors
import pickle

model = KeyedVectors.load_word2vec_format('entity_vector/entity_vector.model.bin', binary=True)
vocab = list(model.vocab.keys())

with open('vector_list_4.bin','rb') as fbin:
o = pickle.load(fbin)

date_list = []
title_list = []
vector_words = []
vector = []

for a, b, c, d in o:
date_list.append(a)
title_list.append(b)
vector_words.append(c)
vector.append(d)

for i, p in enumerate(zip(date_list, title_list, vector_words, vector)):
#uvector = p[3]/np.linalg.norm(vector)
uvector = p[3]
similar_words = model.most_similar([uvector], [], 10)
print(i, p[0], p[1], p[2], similar_words)

次に結果をいくつかピックアップして示します。表示した内容を若干整形して示します。表示フォーマットは次のとおり。


記事通番 作成日時 記事タイトル
抽出単語
類似単語

ブレナム宮殿は英国チャーチル首相の生家を訪れたときの記事ですが、類似度が高い単語が「宮殿」、「庭園」、「ヴィラ」などとなっており、結構納得感が高い結果となっております。


12 04/28/2008 06:41:24 ブレナム宮殿
['ブレナム', '宮殿', '広大', 'チャーチル', '庭', '首相', '世界', 'すぎ', '品', 'ある', '滝', '花畑', 'っぽい', '近郊', '良けれ', '豪華', '地名', '大戦', 'ウッドストック', '調度']
[('宮殿', 0.6770476698875427), ('庭園', 0.6443579792976379), ('[ヴィラ]', 0.6346760988235474), ('[庭園]', 0.6058729887008667), ('大邸宅', 0.6018399000167847), ('邸宅', 0.5983821153640747), ('庭', 0.59206223487854), ('王宮', 0.587649941444397), ('[宮殿]', 0.5791334509849548), ('ブドウ畑', 0.5640056729316711)]

次に残念な結果も示しましょう。お台場に立つガンダムを素材にした結果はこちら。なぜに「夜中」、「お花」・・・?


41 08/30/2009 21:59:59 お台場に立つガンダム
['台場', '立つ', 'ガン', 'ダム', '凄い', '若い', '終わる', 'ガンプラ', '人出', 'いっぱい', 'オフィシャルショップ', '土曜日', '歳', '待ち', '諦め', '人', '帰り', '位', '分', '行っ']
[('夜中', 0.566931962966919), ('お花', 0.5667186379432678), ('歳', 0.5562645196914673), ('今夜', 0.5509692430496216), ('僕', 0.5506879687309265), ('昨夜', 0.5430024862289429), ('寝る', 0.5406688451766968), ('いつも', 0.5400922298431396), ('日暮れ', 0.5389528274536133), ('昨日', 0.5378880500793457)]

以下、いくつか結果を示します。

住宅


8 04/20/2008 06:09:13 住宅
['住宅', '庭', '改装', 'ガーデニング', '家', '手入れ', 'ダン', 'ソニア', '二', '物', '人', '私', 'こちら', '他', 'ホームセンター', 'ボーイフレンド', '個性', '倉庫', '画一', 'トム']
[('納屋', 0.6337810754776001), ('家具', 0.6239591836929321), ('使用人', 0.6211024522781372), ('主人', 0.6111366748809814), ('庭', 0.6084662675857544), ('アパート', 0.5955761671066284), ('書斎', 0.5950245261192322), ('部屋', 0.5943710803985596), ('家屋', 0.5938928127288818), ('隣人', 0.591554582118988)]

Wimbledon 2008


31 07/05/2008 22:08:39 Wimbledon 2008
['Wimbledon', '試合', 'コート', 'v', 'セット', '行列', '目', '出張', '帰っ', '見る', 'センター', '時点', '残念', 'グランド', '大詰め', '緊張', '日焼け', 'nakamura', 'チケット', 'おととい']
[('観客席', 0.6109432578086853), ('客席', 0.5943686962127686), ('チケット', 0.5816426873207092), ('試合', 0.5534707903862), ('ロッカールーム', 0.5441892147064209), ('セット', 0.5410163402557373), ('立ち見', 0.5400497913360596), ('テーブル', 0.5396273136138916), ('コート', 0.5395352840423584), ('観客', 0.5391414165496826)]

マンチェスター出張


18 05/15/2008 07:29:47 マンチェスター出張
['マンチェスター', '出張', '席', '予約', '車両', 'サポーター', 'ホテル', '駅', '日本', 'おじさん', 'here', 'foot', '運営', '車掌', '集団', '線区', '市内', 'go', '静か', '自由']
[('タクシー', 0.6469025611877441), ('[タクシー]', 0.6424545049667358), ('高速バス', 0.6416846513748169), ('宿泊施設', 0.6389333605766296), ('[高速バス]', 0.6237673163414001), ('公共交通機関', 0.6201950311660767), ('ラウンジ', 0.6179968118667603), ('[バスターミナル]', 0.6178576946258545), ('バスターミナル', 0.615101158618927), ('ホテル', 0.6140565872192383)]

Magic Trackpadのゴム足を交換してみる


209 02/02/2019 23:53:41 Magic Trackpadのゴム足を交換してみる
['Magic', 'ゴム', '足', '交換', 'みる', 'magic', 'マイクロ', 'スイッチ', '千枚通し', '剥がし', '差し入れ', 'プラスチック', '穴', 'いき', 'クリック', 'wireless', '商品', '個', '周辺', 'keyboard']
[('ブラシ', 0.7000014781951904), ('パッド', 0.6900660991668701), ('ネジ', 0.6862291693687439), ('バケツ', 0.6768343448638916), ('バッグ', 0.6688018441200256), ('フタ', 0.6671619415283203), ('チューブ', 0.6656491756439209), ('ワイヤー', 0.6655895113945007), ('プラスチック', 0.6649580001831055), ('フィルター', 0.6627591848373413)]

MOLESKINEノートのゴムバンドを交換してみた


200 05/20/2018 01:10:15 MOLESKINEノートのゴムバンドを交換してみた
['ノート', 'ゴム', 'バンド', '交換', '接着', '袋', '根本', '剤', '穴', 'ドライバー', '切っ', 'マイナス', '精密', 'ペンチ', '剥がれ', '延び', '載せ', 'ラジオ', 'くる', 'ゴムパッチン']
[('ワイヤー', 0.6840468049049377), ('芯', 0.6830896139144897), ('チューブ', 0.6817424297332764), ('ブラシ', 0.6796628832817078), ('ネジ', 0.6737677454948425), ('クッション', 0.6701898574829102), ('バケツ', 0.6649031639099121), ('蓋', 0.6482177972793579), ('指先', 0.6440799236297607), ('[パイプ]', 0.6436753273010254)]

嫁と格安SIM − mineoの場合 − (その1)


159 12/12/2015 22:45:55 嫁と格安SIM − mineoの場合 − (その1)
['嫁', '格安', 'SIM', 'mineo', '場合', 'au', 'sim', 'ホ', 'スマ', 'スマホ', 'ガラケー', 'プラン', '年', '業者', '移行', '導入', '通信', '携帯', '系', '推移']
[('[PHS]', 0.6857430934906006), ('端末', 0.6822055578231812), ('[機種変更]', 0.6708087921142578), ('音声通話', 0.6650170087814331), ('[おサイフケータイ]', 0.6636081337928772), ('[インターネットバンキング]', 0.6614162921905518), ('データ通信', 0.6592977643013), ('[電子マネー]', 0.6531841158866882), ('[直収電話]', 0.6531380414962769), ('決済', 0.6531335115432739)]

TP-LINK AC750 Wi-Fi Range Extender RE200を設置してみた


185 07/16/2017 09:59:17 TP-LINK AC750 Wi-Fi Range Extender RE200を設置してみた
['TP', 'LINK', 'AC', 'Wi', 'Fi', 'Range', 'Extender', 'RE', '設置', '製品', '親', 'ap', '機', '通信', 'lan', '帯', '速度', 're', '設定', '無線']
[('受信機', 0.6969352960586548), ('IP', 0.6722568869590759), ('[Wi-Fi]', 0.6638035178184509), ('[射撃管制装置]', 0.6635230183601379), ('制御装置', 0.661799430847168), ('車載', 0.659650981426239), ('[Long_Term_Evolution]', 0.6596122980117798), ('[モデム]', 0.6591612100601196), ('HV', 0.6577632427215576), ('デバイス', 0.6572921276092529)]

Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定(NAT)を行う


195 01/08/2018 16:30:55 Windows 10上のHyper-VでUbuntuを動かしてネットワーク設定(NAT)を行う
['Windows', '上', 'Hyper', 'V', 'Ubuntu', '動かし', 'ネットワーク', '設定', 'NAT', '行う', '物理', 'ゲスト', 'ラップ', 'nat', 'nic', 'マシン', '仮想', '接続', 'hyper', 'トップ']
[('デバイス', 0.7218650579452515), ('ハードウェア', 0.7141241431236267), ('コントローラ', 0.7050695419311523), ('ファイルシステム', 0.6970333456993103), ('[ルータ]', 0.6952666640281677), ('サーバ', 0.6932168006896973), ('インターフェース', 0.6931973099708557), ('アプリケーション', 0.693193793296814), ('[ルーター]', 0.6912388801574707), ('[ファイルシステム]', 0.6894664764404297)]

HDL2-G2.0にnetatalk 2.2.0をインストール(その1)


62 08/31/2011 02:44:35 HDL2-G2.0にnetatalk 2.2.0をインストール(その1)
['HDL', 'G', 'netatalk', 'インストール', 'アヒル', 'telnet', 'g', 'ファームウェア', '追記', '作業', '構わ', 'ガーガー', 'いじる', 'lf', '鳴く', '歩き', '改行', 'えび', '端折り', 'diary']
[('インストール', 0.6380293369293213), ('[インストール]', 0.5990870594978333), ('動作', 0.5921823978424072), ('起動', 0.5908524990081787), ('コンパイル', 0.5881088972091675), ('入力', 0.5875297784805298), ('ファイル', 0.5855560302734375), ('改行', 0.5801665782928467), ('[ファイル_(コンピュータ)]', 0.5694461464881897), ('読み込み', 0.5657063126564026)]

WSLでJupyter Labを使う&ショートカット・アイコンから実行する


217 04/11/2020 22:54:29 WSLでJupyter Labを使う&ショートカット・アイコンから実行する
['WSL', 'Lab', '使う', 'amp', '実行', 'lab', '拡張', 'ショートカット', '機能', 'アイコン', 'インストール', '要領', 'remove', '図解', 'おすすめ', 'pip', 'inter', '選', '合わ', '入門']
[('インストール', 0.7463072538375854), ('[インストール]', 0.724892258644104), ('コンパイル', 0.7242677211761475), ('実装', 0.7145563960075378), ('入力', 0.6892092227935791), ('レンダリング', 0.6804278492927551), ('ビルド', 0.679551362991333), ('起動', 0.6779674887657166), ('[コンパイル]', 0.6732898950576782), ('[ログイン]', 0.670740008354187)]

NASにiTunesライブラリを置く時に注意する事(その2)


208 01/13/2019 08:20:19 NASにiTunesライブラリを置く時に注意する事(その2)
['NAS', 'iTunes', 'ライブラリ', '置く', '時', '注意', '事', 'itunes', 'nas', 'music', 'server', '参照', 'folder', 'png', 'フォルダ', 'そこ', 'リンク', 'マウント', '場合', 'ps']
[('オブジェクト', 0.6906296610832214), ('[ファイル_(コンピュータ)]', 0.6782963275909424), ('デバイス', 0.6772196292877197), ('フォルダ', 0.6679992079734802), ('ファイル', 0.6614090800285339), ('[Uniform_Resource_Locator]', 0.6613336801528931), ('サーバ', 0.6581710577011108), ('[アプリケーションソフトウェア]', 0.6577210426330566), ('URL', 0.654430091381073), ('アドレス', 0.6536226272583008)]

VMware Fusion 4 にdebian 6(デスクトップ環境なし)をインストールした時の手順の記録


90 03/14/2012 00:11:56 VMware Fusion 4 にdebian 6(デスクトップ環境なし)をインストールした時の手順の記録
['VMware', 'Fusion', 'debian', 'デスク', 'トップ', '環境', 'なし', 'インストール', '時', '手順', '記録', 'コンソール', '日本語', '選択', 'オペレーティングシステム', 'uim', 'iso', 'メッセージ', 'fusion', '共有']
[('[アプリケーションソフトウェア]', 0.7520267963409424), ('アプリケーション', 0.750553548336029), ('ブラウザ', 0.7424513101577759), ('クライアント', 0.7160674333572388), ('インストール', 0.7138242721557617), ('サーバ', 0.7115126848220825), ('[ウェブブラウザ]', 0.7085356712341309), ('デバイス', 0.7022399306297302), ('[ファイル_(コンピュータ)]', 0.7009963989257812), ('ファイルシステム', 0.6983067989349365)]

昔使っていたMOディスクをバックアップ(Human68kフォーマットMO含む)


155 09/26/2015 12:43:22 昔使っていたMOディスクをバックアップ(Human68kフォーマットMO含む)
['昔', '使っ', 'MO', 'ディスク', 'バックアップ', 'Human', 'k', 'フォーマット', '含む', 'mo', 'エミュレータ', 'イメージ', 'ファイル', 'human', 'x', 'ドライブ', '導入', 'dd', '保存', 'disk']
[('ファイルシステム', 0.7443389892578125), ('エンコード', 0.742708683013916), ('フォーマット', 0.7354395985603333), ('[エンコード]', 0.7320578694343567), ('[ファイルシステム]', 0.7295424342155457), ('[データ圧縮]', 0.7279374003410339), ('ファイル', 0.7236257195472717), ('[バックアップ]', 0.7181433439254761), ('インターフェース', 0.717354416847229), ('実装', 0.7172694206237793)]

AozoraEpub3を使ってみる


121 05/27/2013 05:13:49 AozoraEpub3を使ってみる
['使っ', 'みる', 'ファイル', '青空', 'jar', '変換', 'フォルダ', 'アイコン', '文庫', 'アイコ', 'アプリケーション', 'ン', '保存', 'resources', 'mobi', 'ツール', 'ある', 'ダウンロード', 'ください', '存続']
[('ファイル', 0.7704610824584961), ('[ファイル_(コンピュータ)]', 0.7589139938354492), ('[アプリケーションソフトウェア]', 0.753089189529419), ('アプリケーション', 0.7482377290725708), ('インストール', 0.7396072149276733), ('[インストール]', 0.7262570858001709), ('オブジェクト', 0.7186533808708191), ('ビルド', 0.7167479395866394), ('[プラグイン]', 0.7146440744400024), ('ブラウザ', 0.7141772508621216)]

ThinkPad E440のHDDをSSDに換装してメモリを増設してみました


149 01/02/2015 00:07:50 ThinkPad E440のHDDをSSDに換装してメモリを増設してみました
['E', 'HDD', 'SSD', '換装', 'メモリ', '増設', '性能', 'インデックス', 'マニュアル', '保護', 'windows', '有効', '向上', 'られ', 'e', 'rapid', '見', 'mode', '保守', 'migration']
[('最適化', 0.6992809176445007), ('ハードウェア', 0.6845903992652893), ('アップグレード', 0.676535964012146), ('実装', 0.6707793474197388), ('ドライバ', 0.6653909683227539), ('入出力', 0.6636280417442322), ('インターフェース', 0.6595891714096069), ('[フラッシュメモリ]', 0.6588068604469299), ('HDD', 0.6556291580200195), ('機能拡張', 0.6511348485946655)]

macOS上の VirtualBox で共用Windows環境を作成してみた


212 05/08/2019 21:57:53 macOS上の VirtualBox で共用Windows環境を作成してみた
['macOS', '上', '共用', 'Windows', '環境', '作成', '制限', 'アカウント', '家族', 'windows', '起動', '仮想', 'アクセス', '管理', '設定', '権限', '許可', 'ポップアップ', 'レンタル', 'うち']
[('インストール', 0.7817524671554565), ('[インストール]', 0.7354392409324646), ('[アプリケーションソフトウェア]', 0.7227805852890015), ('転送', 0.6880971789360046), ('アプリケーション', 0.6870177984237671), ('サーバ', 0.6856313943862915), ('[デバイスドライバ]', 0.6769355535507202), ('[クライアント_(コンピュータ)]', 0.6724181771278381), ('[ウェブブラウザ]', 0.671862006187439), ('[サーバ]', 0.6698401570320129)]

というわけで、結局お遊びではあるのですが、ベクトル平均をとるだけで題材を雰囲気が出る単語で端的に表現できるときもあればできないときもあるということで今回はお開きです。

|

« 自分のブログをベクトルにして分布をみた(1) | トップページ

パソコン・インターネット」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)




« 自分のブログをベクトルにして分布をみた(1) | トップページ