Amazon S3(以下S3)にあるデータをRedShiftに入れるときなどは、同じAWSということもあり簡単に行えますが、BigQueryで同様のことをするとなるとやはりGoogle Cloud Storage(以下GCS)を経由するのが便利です。GCSはS3と互換性を持たせることが可能なので、それを利用してS3からGCSへの移行、またはその逆を行うことができます。 この記事はPythonとbotoを使ってそれを実現する方法について書いています。 考慮すべき代替案 コマンドライン上でコ ...

詳細を見る | 元の記事へ

先日「意識高い系」を笑うな - 心がよろけそうなときに読むポンコツ日記というブログ記事がバズっていたので便乗してみます。と言いつつ、リンク先の記事のような真面目な内容ではありません。 この記事に出てくる用語について まず幾つかの用語について誤解がないように先に定義しておきます。あくまで僕が認識している意味で、この記事での文脈ではこういう意味として使いますということです。 意識が高い人 そのままの意味で、目標や志などの意識が高い人。実が伴っているかどうかは考 ...

詳細を見る | 元の記事へ

就職したらまず３年は続けてみろというのがおじさんたちの通説となっているようです。僕は今年の４月で、同じ場所に勤めてちょうど３年になりました。その結果感じたのは３年ということに根拠はないということです。 長く勤めることで得るもの・失うもの 僕がそこに入ったとき、技術的にはほとんど何も持っていませんでした。仕事をする中で学ぶことも多く、後半は教える立場になったり他の人がやったことのないことを調査して導入するなどという立場にもなりました。おそらくこの新しいことを覚えてそれを自分のも ...

詳細を見る | 元の記事へ

購入 → TEX Yoda(Massdrop) 僕のブログにはTEX Yoda関連の検索から来る人が最近多く、知人などからも購入先を聞かれるので今日は「今ならMassdropで買えるよ」ということを伝えるためのエントリーです。Massdropは共同購入型のサイトです。ギャザリングと呼ばれることもあるかもしれません。通常Massdropではある商品に対して投票を行って、その投票に応じて価格交渉が行われ、さらに一定数の購入希望者が集まった時に安価で商品の購入が可能です。この仕組みで商品の販売元は一定 ...

詳細を見る | 元の記事へ

最近メカニカルキーボードが好きです。先日tex yodaを購入したのですが、それに合いそうなDatamancer Typewriter Keysという面白いキーキャップをmassdropで見つけたのでつけてみました。 Datamancer Typewriter Keys （Datamancer Typewriter Keys） （tex yodaの元々のキーキャップ） 自分の使っているtex yodaは茶軸で、いままで防音用のリングをつけていたのですが、見た目がタイプライターっぽくな ...

詳細を見る | 元の記事へ

Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy. ...

詳細を見る | 元の記事へ

Mezzanineとは Python・Django製のCMSです。WordpressやMovable Typeのようなものです。サードパーティや自作のDjangoアプリとの連携が容易で、柔軟なサイト運営が可能です。 http://mezzanine.jupo.org/ 日本での情報があまり無いのでひとまず導入部分を書いていきたいと思います。 はじめかた 準備 今回はPythonの開発環境があることを前提としますので、virtualenvやpyenvなどで環境を用意しておきます。 ...

詳細を見る | 元の記事へ

自分は普段ソーシャルゲームの開発に関わっていますが、群雄割拠のグリモバ全盛期にその開発を効率化するために社内ではいろいろな取り組みがなされました。そのひとつにアプリ別ではなく機能別のチームを作るということがありました。結果としてそれは失敗だったと言えるのでそのことについて書いていきます。 背景 当時のソーシャルゲームの主流はカードゲームで、クエスト・レイドをこなしつつガチャで引いたカードを合成して強化していくスタイルが一般的でした。そしてその多くがシステムはほとんど同じで見た目だけを変えた ...

詳細を見る | 元の記事へ

インストール手順 eclipseインストール 公式サイトから安定したバージョンを入手します。 Eclipse Downloads Pydevインストール Eclipseを開いて [Help → Install New Software → Add] Nameは適当にPydevなどとつけてLocationにhttps://eclipse.org/downloads/と入れます。最新版を入れてしまうとPydevが表示されないなどの不具 ...

詳細を見る | 元の記事へ

はじめに 今までmacでpythonを使った開発をするときはpythonbrewとvirtualenv・virtualenvwrapperを使っていましたが、最近はpyenvを使うのが主流になってきているようなので、今回はpyenvを使うことにしました。備忘録として書いていますが正直記録するまでもないくらい簡単でした。というか類似の記事はたくさんありますが備忘録ということで。 手順 XcodeとXcodeコマンドラインツール入れる 新し ...

詳細を見る | 元の記事へ