歩いたら休め

If the implementation is easy to explain, it may be a good idea.

【Python】pyppeteerを非同期コンテクストマネージャー用のクラスでラップして遊ぶ

Pythonから簡単にHeadless Chromeを利用できるpyppeteerというライブラリがあります。Headless Chromeの操作をラップしてくれてかなり便利なのですが、ほとんどの関数やメソッドが非同期(async)nあので、しばらく遊んでasync/awaitを使った実装に慣れる必要…

【メモ】『アスペルガーと知らないで結婚したらとんでもないことになりました』を読みました

偶然見かけたこちらの本を読んだのですが、個人的にはかなり面白い内容でした。 アスペルガーと知らないで結婚したらとんでもないことになりました (旦那(アキラ)さんはアスペルガー)作者: 野波ツナ,宮尾益知(どんぐり発達クリニック理事長)出版社/メーカー:…

【Python】Requests-HTMLでスクリーンショットを撮る

Pythonの著名なHTTPクライアントライブラリのrequestsに似たAPIで、シンプルなAPIでスクレイピングに必要な機能が実装されています。実際には他のいくつかのライブラリをラップしています。 Requests-HTML: HTML Parsing for Humans (writing Python 3)! — r…

【プログラム】Google Apps Scriptで簡単にSlackニュース通知を作るスクリプトを書きました

社会人になって数年も経つと、オタク趣味を続けるのも大変になってきました。 以前はいくらでも音楽の情報を追って遊んでられていたのですが、そこそこ真面目にプログラマーやろうとすると「あのグループって今は活動してるんだっけ?」とか「知らないうちに…

【メモ】『ノートによる情報管理』を身につけるために読んだ本

『エンジニアの知的生産術 ──効率的に学び、整理し、アウトプットする (WEB+DB PRESS plusシリーズ)』を読んだり、知り合いにいろいろ聞いてから、自分の情報・タスク管理法、勉強法を見直そうかなと思っています。 ただ、こういうのは人それぞれです。例え…

【メモ】知り合いから薦められた仕事本のアタックリスト

【まとめ】プログラマーが愚直に仕事を進めるための方法 - 歩いたら休め 「最近仕事でもプライベートでも忙しい時期が続いて、『やらなきゃいけないこと』が管理できなくなってきたからGTDの本読んでるんだ」って話したら、知り合いからいろいろと薦められま…

【まとめ】プログラマーが愚直に仕事を進めるための方法

最近、精神的に大変な仕事とか、プライベートでやっているイベントとか、いろいろ重なってしまって大変でした。 私は全く器用なタイプではなく、複数いろいろやっていると、例えば「他の仕事のことが気になってこっちの仕事もなかなか進まない」というような…

【Python】ジェネレーターをn個ずつに分割する実装

「巨大なテキストファイルをジェネレーターとして読み込み、100万行ごとに分割し、別々のファイルに保存する」という処理を書いてました。 数百行ごとに分けるのならリストにして分割するのですが、今回は分ける単位が1000万行ごとなので一度にメモリに載せ…

【メモ】「買ってよかったもの」と「Strikingly」を使い始めてみました。

知り合いが薦めていた「買ってよかったもの」ってサービスを使い始めました。 katteyokatta.morishin.me morishin.hatenablog.com 「毎回ブログを書くのもダルい」「でもツイートするだけは流れちゃうのでアレ」と感じてたのでちょうどいいサービスだと感じ…

【本】新年になってからいろいろ読んだ本

読んだ本をまとめつつ、アフィリエイトで小銭を稼ぐための記事です。もちろん書籍代のほうがかかるので赤字ですがw 集中力はいらない 西尾泰和さんが話されていた本。 scrapbox.io 私自身は「(著者の性格だと)1つの作業は途中で飽きるので、複数の仕事をC…

【本】『ソーシャルメディアと公共性』感想まとめ

最近読んだ『ソーシャルメディアと公共性』という本が面白かったのですが、インターネット上で誰もブログ等を書いておらず、悲しかったのでおすすめする記事です。 大震災・原発事故やテロリズムなど様々な社会的リスクへの対応が求められる今日,一方でSNS…

【プログラミング】私がGo言語を使わない唯一の理由

マスコットキャラクターのGopherくんを見るとチェコのロックバンドHentai CorporationのPVを思い出すからです。森で襲われる…。 www.youtube.com こちらのアルバムに収録されています。 Tsocsssaaagtmwhvahhhアーティスト: Hentai Corporation出版社/メーカ…

【Game Boy Advent Calendar】PythonプログラマーがGBでチップチューンを始めて変わったこと・驚いたこと

これはGame Boy Advent Calendar 2017の15日目の記事です。遅くなってしまいすみません。 「クラウド環境(AWS)やスクリプト言語(Python)を使うWEBプログラマーが、ゲームボーイというレトロな環境に触れて驚いたこと」をまとめた記事です。 私は仕事で、…

【雑記】新人プログラマーになる妹へのアドバイス

妹からプログラマー職として就職するという連絡が来ました。この妹が実在するかどうかは皆様のご想像に任せます。 他の職も含めていろいろと悩んだそうなのですが、おそらく私の影響でこういう職種に親しみがあった(というか抵抗感が少なかったというほうが…

【メモ】PyCon 2017で勉強になったこと、これから勉強すること

プログラミング言語PythonのカンファレンスPyCon JP 2017に参加してきました。そこで勉強になったこと、これから勉強したいことをまとめた個人的なリストです。 いろいろなセッションの内容については、既にいろいろな方が素晴らしい記事を書いているので、…

【本】エンジニアが合理的にコミュニケーションしていくために

私は、データ分析を多く取り持つ部署で仕事をしています。そのため、普段関わりのない他の部署とやり取りする必要があったり、 最近では個人情報を取り扱う際には色々とお伺いを立てる必要があります。 システム化する際には技術に詳しい先輩に協力を仰ぐ必…

【自然言語処理】電話対応のデータ分析で乱読したときのメモ

最近、電話対応のデータ分析を行っていたので、周辺分野と思える書籍や記事を乱読していました。 結論から言うと、最近のクラウド上の汎用の自然言語処理エンジン(LUISやapi.ai)を使えば、もう少し発展させてシステム化するときも汎用の検索エンジンを組み…

【LSDj】ゲームボーイでDJをする(調査・環境構築編)

(function() { if (location.pathname !== "/entry/2017/08/16/235829") return; location.href = "https://sakana38.hatenablog.com/entry/2017/08/16/235829"; })();

【Python】networkx + PyGraphvizで有向非巡回グラフ(Directed acyclic graph)をプロットする

昨日書いたコードで、「有向非巡回グラフ(Directed acyclic graph)をきれいにプロットする」ということが課題として残っていました。 ところが、よく考えたらDAGはワークフローエンジン等でよく使われている概念で、ワークフローエンジンで、タスクの順番…

【Python】仕事の依存関係を有向非巡回グラフ(Directed acyclic graph)として整理するツールを作りました

特にデータ分析周りの仕事で、 「プログラムを書く」前に「設計」と「プログラミング言語の選定」が必要 「プログラミング言語の選定」の前に「設計」が必要 「設計」の前に「稟議を出す」「個人情報についての取扱を調べる」が必要 … といったような、タス…

【Python】urllibでマルチバイト文字のURLのhttps通信が失敗する

サラリーマンたるもの、日々の情報収集は欠かせません。 そのため、気になる業界ニュースをチャットに通知するクローラーを実装して使っているのですが、度々未知のエラーが出てしまいます。 叩いたら粉まみれ。PCデポ決算修正の内容とは https://t.co/9HEJy…

【情報検索】文章スコアのTF-IDFとBM25についてポインタを残しておく

OSSの検索エンジンであるSolr/Luceneの勉強会に行っていました。 solr.doorkeeper.jp この中の発表『Solrで多様なランキングモデルを活用するためのプラグイン開発』で、 SimilarityにはTF-IDFとBM25の二種類あり、Solr6からはBM25がデフォルトになっている …

【本】最近読んでいる本(特に不動産関連)

最近はあまり本を読んでいませんが、一応何冊かは読んだので。 テキストマイニングを使う技術/作る技術(那須川哲哉) 最近、業務でテキストマイニングで業務支援を行う案件にアサインされており、ゴリゴリコードを書くことになりそうだったので読んでいま…

【Python】辞書のキーにデフォルト値をセットする

最近Pythonで自然言語処理をしていて、複数のライブラリを利用していると、どうしてもリストや辞書のややこしい変換が増えてきます。 categories = ['サーバル', 'かばん', 'サーバル'] lines = [ ['ここ', 'は', 'さばんな', 'ちほー'], ['食べ', 'ない', '…

【Haskell】optparse-genericを使ってコマンドラインツールを作るまで

Haskellは優れた型システムによって見通しの良いプログラミングができるものの、アプリケーションを作る際にはどうしても敷居が高く感じてしまっていました。 というのも、PythonやRubyなどのスクリプト言語では豊富なパッケージの組み合わせで小さなプログ…

【Haskell】vim上でHaskellの構文チェックを行う

今まで完全に教養としてHaskellを勉強していた(Pythonの型注釈に必要な感覚を養いたい、内部状態の少ないコードを書きたい)のですが、「この問題はHaskellなら上手く解けるんじゃないか」というものを思いついたので、初めて自分の頭で考えたコードをHaske…

【アルゴリズム】検索エンジンで重要なトップnソートについてまとめておく

検索エンジンやレコメンドエンジンを昔実装していた先輩から、飲み会で レコメンドエンジンって、要するに検索エンジンの特殊なもの 検索エンジンに重要なアルゴリズムはトップnソート 実際に利用した性能評価も重要 という話を聞きました。 ところが、私は…

【Python3.6】はてなブログに投稿するためのライブラリをPyPIに公開しました

以前書いたスクリプトを書き直して、PyPIからインストールできるようにしました。 github.com pypi.python.org

【Python3.6】AWS Lambdaでツイッターを検索して自動リツイートする

先程の記事に引き続き、AWS LambdaでPython3.6が使えるようになったので、過去にPython2.7で書いたバッチ処理のレガシーコードをLambdaに移行しています。 まずは、下の記事で書いた「ツイッターを検索した結果を自動リツイートする」コードを移行します。今…

【Python3.6】AWS Lambdaを再現するDocker Imageのdocker-lambdaを使ってみた

この間AWS LambdaでPython 3.6がサポートされたので、レンタルサーバーで動かしているTwitterの自動投稿やクローラーを移行しようと画策しています。 AWS LambdaがPython3.6に対応したので使ってみた | Developers.IO 外部ライブラリ(twitterライブラリやB…