最近、電話対応のデータ分析を行っていたので、周辺分野と思える書籍や記事を乱読していました。 結論から言うと、最近のクラウド上の汎用の自然言語処理エンジン（LUISやapi.ai）を使えば、もう少し発展させてシステム化するときも汎用の検索エンジンを組み…

OSSの検索エンジンであるSolr/Luceneの勉強会に行っていました。 solr.doorkeeper.jp この中の発表『Solrで多様なランキングモデルを活用するためのプラグイン開発』で、 SimilarityにはTF-IDFとBM25の二種類あり、Solr6からはBM25がデフォルトになっている …

海外のニュースを簡単に通知できないか試そう（試したい）という記事です。 国内の業界ニュースは当然追っているにせよ、海外に面白い動きがあるのに、全然把握できていないことは多々あります。 とはいえ、私は英語が得意ではないため、自分の興味のあるニ…

自然言語処理をやっている人はよく辞書の整備が大変だと言います。 そんな話をしていたところ、「自分が詳しくない分野の言葉を知るときはweblio辞書が便利だよ」という知見を教えてもらいました。 www.weblio.jp しかし、私は怠惰なプログラマーなので、ス…

最近、スクレイピングで記事を集めることにハマっているのですが、その記事の中に含まれるトピックなり特徴語なりを簡単にチェックする方法はないかと悩んでました。 例えば、音楽ナタリーから好きなバンドの記事を集めてくる際には、関連リンクのタグを取っ…

会社の先輩から「これ使ったらいい感じにデータ取ってこれるよ」と渡されたものが、 dplyrとかstringrとかよくわからないパッケージをガンガン導入した自由奔放なRのコードで困っています。 R言語自体にも慣れていないため、 「コードを使って何を表現したい…

自動で物語を作るプログラムを作る妄想をしています。 世界中の民話や神話に類型が見られるという話はよく聞きます。例えばギリシャ神話のオルフェウスと日本神話のイザナギの話に類似点が多く、その他にも世界中に黄泉の国に下るストーリーの神話があるそう…

Experimental evidence of massive-scale emotional contagion through social networks この論文の話です。 読書日記: 読了: Kramer, Guillory, Hancock (2014) Facebook上での感情感染 Facebook、ユーザー約70万人のニュースフィードを操作した実験結果論…

主に参考にしたのはこの記事 映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ(仮) ロシア語でも基本的に同じことができると思います。Pythonでやるならこの本が非常に参考になるでしょう（英語＆日本語でやってます）。 入…

@Med_KUさんがラブライブ各話のキャラに向けたセリフのネットワークを描いてらしたので、同じことをPythonでもできないかと画策中。 （余裕があったらやりたいですが）さすがにアニメ全話見返してセリフを写経する時間は無いので、魔法少女まどか☆マギカ考察…