doc2vecでWikipediaを学習する - TadaoYamaokaの日記 を参考に、wikipediaのデータをdoc2vecでトレーニングし、類似単語を調べてみました。 総単語数 2,890,010 頻度10以下 2,364,440 残り単語数 525,570 doc2vecは、トレーニングした単語をmodel.wv.vocabで…

Pythonでcollection型のソートにはOrderedDicを使う。 >>> from collections import OrderedDict >>> # regular unsorted dictionary >>> d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2} >>> # dictionary sorted by key >>> OrderedDict(sorted(d.…

ファイル保存時にディレクトリがなければ作成する処理は以下のように書く。 def save_text(path, text): # ディレクトリが存在しなければ作成する path_dir = os.path.dirname(path) if not os.path.exists(path_dir): # makedirsは途中のディレクトがない場…