Python
PythonのカンファレンスであるPyConJP2016に一般参加してきました。 様々な発表や催しがあったのですが、特に素晴らしかったのが@tell_kさんの『メタプログラミングPython』という発表です。その名の通りオライリーの「メタプログラミングRuby」の内容に沿っ…
上司から「サイトがマメに更新されてると、Googleの検索エンジンからの評価が上がるらしいんだけどさぁ、 他サイトの更新頻度をチェックしたり簡単に比較する方法ない？」というふんわりした話題がありました。 単純に考えると、サイトのHTMLを定期的にスク…
Pythonプログラマーというか、元々Python（ときどきR、C言語）で数値シミュレーションをしていた学生が、就職してRubyでWeb開発を行うにあたって勉強したことを書き連ねていくだけの記事です。 もし自分と同じような立場の人（これから後輩としてもどんどん…
日頃RとPythonを使っていると、「ああ、Pythonでもパイプ演算子が使えればいいのに」「purrrライブラリみたいにラムダ式が簡単に書ければいいのに」「Pythonのジェネレーター（遅延評価するリストのようなもの）をパイプで渡せると超楽しそう」と思うことは…
アニメグッズやゲーム等、中古商品を取り扱う駿河屋の一覧ページをいい感じに取得するためのライブラリを作りました。 github.com というのも、駿河屋には新着商品チェック機能が（ひととおり探した限りでは）無く、「新着入荷した同人CDをチェックしたい」…
会社に優秀な後輩が入ってきて、優秀な先輩（私でゎない）の助けを得ながら、立派な分析者・Rプログラマーとして成長しつつあります。 しかし、R言語だけで全ての作業が完結できるわけではありません。手元でデータを加工・分析するための環境としては素晴ら…
上司から「飲み会のセッティングよろしく！奮発したところで！」という仕事が振られたのですが、そのセッティングや予約を後回しにしてしまい、 直前になってバタバタしてしまっています。 そして、今回の反省を踏まえ、効率よくお店候補を集める方法がない…
こちらの記事の続きです。 kiito.hatenablog.com 不動産について学ぼうとするとき、インターネット上で信頼できる情報源があまり無く、単にニュースをチェックするだけでも一苦労します。 それは、大きなお金が動く業界であり、アフィリエイトまがいの記事が…
私はプログラミング言語の中ではPythonが好きなのですが、日本人の有名なPythonistaはほとんど知りません。 そのため、Pythonの最新情報は、R言語やデータ分析に詳しい方から（主にPyData関連を）又聞きするような形でしか追えていません。 例えばGoogleで「…
不動産のことよくわかんねーって言ってる友だちがいたので、簡単なスクレイピングのプログラムを書いて、不動産の情報収集を日々行っています。 「urlを集め、htmlの<title>タグの中身（つまりページのタイトル）と一緒に表示する」というロジックです。htmlのparse</title>…
最近、スクレイピングで記事を集めることにハマっているのですが、その記事の中に含まれるトピックなり特徴語なりを簡単にチェックする方法はないかと悩んでました。 例えば、音楽ナタリーから好きなバンドの記事を集めてくる際には、関連リンクのタグを取っ…
音楽ナタリーは素晴らしいサイトなのですが、RSSを登録していると自分の興味のないアーティストまで流れてきてしまい、ちょっと不便に感じることがあります。 そこで、ナタリーのRSSをいい感じに整形してくれるためのライブラリを作りました。 github.com cr…
就職して1年も経つと多少は忙しくなってしまいます。つまり、しっかりと意識して自分自身の勉強や趣味の時間を確保する必要があります。 そのため、Twitterについても今までのようにだらだらとタイムラインを眺めるような使い方はできなくなり、 Twitter業務…
Python3.5でchatworkAPIを叩くためのライブラリを作りました。 とりあえず動くやつ作ったので色々と適当です。 github.com こちらの本が参考になりました。 Pythonプロフェッショナルプログラミング第2版作者: ビープラウド出版社/メーカー: 秀和システム発…
以前、こちらの記事を参考にchatworkのAPIを叩くプログラムを書いてましたが、自分のOSXのpyenvでpycurlがうまく動作せず、pyenv上のPython3系に移行させる際に不便そうでした。 qiita.com しかし、Pythonのrequestsライブラリを使うことで、更に簡単にPOST…
データ分析にはドメイン知識が必須です。 せっかく一生懸命分析しても、「あ、その結果ってそうなんだよ！でもありがたいけど、当たり前すぎて役にたたないなあ…」と言われ、がんばった成果が無駄になってしまうことも度々だとか。 売上がアップしても、その…
みなさんは現在放映中の映画KING OF PRISM by PrettyRhythmを観ましたか？ kinpri.com 2014年に放送終了した女児向けアニメプリティーリズム・レインボーライブのスピンオフで、男性キャラにフォーカスしたストーリーが展開されています。監督を始めとする、…
私、ずっと弊社にいたのに、弊社のこと全然分かってあげられてなかった…。 「他の部署が面白いことやってるのに、社長が話してて初めて知った！」ってことが多かったので、 弊社のコーポレートサイトが更新したらChatworkに通知するbotを作りました。 Chatwo…
@kayourockというアカウントを運営しているのですが、 ここ1年以上、ツイートの内容も更新できないし、自分の力で音楽をdigる時間も少なくなってきてしまいました。 twitter.com 歌謡曲のようなノスタルジックなメロディーのロック/ポップスを紹介。日本なら…
こちらのプログラムがひとまず完成しました。 kiito.hatenablog.com プリチケのQRコードを隠すプログラムが完成した pic.twitter.com/yBe59HMYnh— 黒めだか (@takeshi0406) December 3, 2015 やっている事自体は簡単なので、zbarを使えれば他の言語でも可能…
最近、Google BigQueryにクエリを投げる毎日です。 社内のデータをBigQueryで一元管理しようとしているため、過去に使われていたクエリの絞り込み条件を移植し、それぞれの絞り込み条件でPV数とUU数をひたすらチェックするという面倒くさい作業をしています…
音楽ブログをFC2ブログからはてなブログに移転しました。 sakana38.hatenablog.com 最近のFC2アカウントの凍結騒ぎ等、FC2がいろいろとキナ臭そうなので。Amazonリンクが使えなくなったりと、年々サービスとして使いづらくなってましたし。 news.yahoo.co.jp…
プリパラ & プリティーリズム Advent Calendar 2015 - Adventarの3日目です。 プリチケの写真を撮ったら、自動でQRコードをかわいく隠してくれるアプリがあると便利だよねって記事です。 プリチケの写真ファイル(png形式)を指定すると、自動でQRコードを…
Python製の静的サイトジェネレーターPelicanを使って、github.ioのページを作ってみました。 https://takeshi0406.github.io/ ほぼこのページの通りにやっただけです。 Pelican + Markdown + GitHub Pagesで管理するブログの作り方 - blog@sotm.jp 似たよう…
普段はPythonユーザーなのですが、仕事ではRubyを扱う機会が増えてきました。 Perlから受け継いだTMTOWTDIの思想とか、書いてて勉強になり、楽しい言語です。 関数の定義に必ずしも()が必要なく、関数が変数と同じように扱えるところとか、 「ここインスタン…
statsbeginner.hatenablog.com を書いている方がいたのですが、BeautifulSoupとリスト内包表記を使えばもう少し楽に書けるということを示すために書きました。 参考資料 PythonとBeautiful Soupでスクレイピング - Qiita import time from urllib import req…
@zaoriku0さんから鳥海不二夫先生がされていた発表の話を聞きました。SNSが流行るかどうかの必要条件を、ゲーム理論を使って説明できないか、という趣旨の研究のようです。 社会シミュレーションの先駆者のAxelrodの論文が基になってるようです。 SNS とゲー…
会社の先輩から「これ使ったらいい感じにデータ取ってこれるよ」と渡されたものが、 dplyrとかstringrとかよくわからないパッケージをガンガン導入した自由奔放なRのコードで困っています。 R言語自体にも慣れていないため、 「コードを使って何を表現したい…
同期から共有してもらったのですが、『PythonによるWebスクレイピング講習会』というイベントが10/13（火）・10/19（月）に開催されるそうです。 ［講習会］PythonによるWebスクレイピング講習会（要申込・全2回）を、10／13（火）・10／19（月）16：30～19…
これの続きです kiito.hatenablog.com import csv import time import urllib.request from bs4 import BeautifulSoup # 年月日を作成 years = range(2010,2016) months = range(1,13) days = range(1,32) dates = [[c,m,d] for c in years for m in months …
