不動産関連のニュースを自動でスクレイピングで集めていたのですが、 Python2から3に移行する際にOAuth認証に移行しようとして、ずっと面倒でサボっていました。 Rubyでは、既にgemの形で実装している方がいました。記事の内容も素晴らしかったし、コードも…

アニメグッズやゲーム等、中古商品を取り扱う駿河屋の一覧ページをいい感じに取得するためのライブラリを作りました。 github.com というのも、駿河屋には新着商品チェック機能が（ひととおり探した限りでは）無く、「新着入荷した同人CDをチェックしたい」…

音楽ナタリーは素晴らしいサイトなのですが、RSSを登録していると自分の興味のないアーティストまで流れてきてしまい、ちょっと不便に感じることがあります。 そこで、ナタリーのRSSをいい感じに整形してくれるためのライブラリを作りました。 github.com cr…

就職して1年も経つと多少は忙しくなってしまいます。つまり、しっかりと意識して自分自身の勉強や趣味の時間を確保する必要があります。 そのため、Twitterについても今までのようにだらだらとタイムラインを眺めるような使い方はできなくなり、 Twitter業務…

私、ずっと弊社にいたのに、弊社のこと全然分かってあげられてなかった…。 「他の部署が面白いことやってるのに、社長が話してて初めて知った！」ってことが多かったので、 弊社のコーポレートサイトが更新したらChatworkに通知するbotを作りました。 Chatwo…

statsbeginner.hatenablog.com を書いている方がいたのですが、BeautifulSoupとリスト内包表記を使えばもう少し楽に書けるということを示すために書きました。 参考資料 PythonとBeautiful Soupでスクレイピング - Qiita import time from urllib import req…

同期から共有してもらったのですが、『PythonによるWebスクレイピング講習会』というイベントが10/13（火）・10/19（月）に開催されるそうです。 ［講習会］PythonによるWebスクレイピング講習会（要申込・全2回）を、10／13（火）・10／19（月）16：30～19…

これの続きです kiito.hatenablog.com import csv import time import urllib.request from bs4 import BeautifulSoup # 年月日を作成 years = range(2010,2016) months = range(1,13) days = range(1,32) dates = [[c,m,d] for c in years for m in months …

エロゲのネットワーク解析とか面白そうだと感じています。こちらはAmazonのAPIを使っていますが、最初にエロゲを網羅的にチェックしたり、他のサイトの情報（例えばDMMやErogameScape -エロゲー批評空間-）と組み合わせて何か解析したいと思ってもなかなか難…