Pythonを使ってs3からGoogle Cloud Storageにデータを移す際、以前下記の二つの方法を書きましたが、やはりgsutilを使うとs3から自分のサーバーを経由せずに直接Google Cloud Storageにコピーできるので便利です。 Python(boto)でAmazon S3にあるデータをGoogle Cloud Storageへコピーする Python(boto)からサービスアカウントとキーファイル(p12)を使ってGoogle Cloud Storageにアクセス ...

詳細を見る | 元の記事へ

※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかしこのタイトル。僕は約150万円分使いました。まずは関係各位に改めてお詫びを。これは「主婦でも簡単に稼げる」「今ならTポイントが貰える」という謳い文句で、実際には誰もが損をするリスクのあ ...

詳細を見る | 元の記事へ

Pythonから扱う場合いろいろな方法はあると思いますが、個人的にBigQuery-Pythonを使うことが多いので簡単にメモしておきます。 インストール $ pip install bigquery-python ドキュメント https://github.com/tylertreat/BigQuery-Python/blob/master/README.md 準備 以下の情報を取得しておきます サービスアカウント キーファイル(p12 or pem) プロジェクト名 ...

詳細を見る | 元の記事へ

おそらく、まともなプロジェクトであればコードのフォーマットについて規約を設けているところがほとんどだと思います。Pull Requestの際にロジックではなくコードフォーマットについて指摘するのは、レビューする側にとってもされる側にとっても非生産的です。できる限りコミット前に自動的に整形するツールを利用したいです。 選択肢 Python の Lint (文法チェッカ) まとめ - flake8 + hacking を使う - ここにまとまっていました。 コミット前に実行したいツール ...

詳細を見る | 元の記事へ

botoからGoogle Cloud Storageにアクセスする場合、s3との互換運用アクセスを有効にすることでアクセスキーとシークレットキーでアクセスすることが可能です。 http://qiita.com/itkr/items/d990e87a2540332ee0e5 ただしこの方法にはひとつ問題があります。互換運用アクセスで発行できるアクセスキーはGoogleユーザーアカウントにリンクされるため、複数人で行うプロジェクトでは不便です。そこでサービスアカウントとキーファイル(p12)でアク ...

詳細を見る | 元の記事へ

Amazon S3(以下S3)にあるデータをRedShiftに入れるときなどは、同じAWSということもあり簡単に行えますが、BigQueryで同様のことをするとなるとやはりGoogle Cloud Storage(以下GCS)を経由するのが便利です。GCSはS3と互換性を持たせることが可能なので、それを利用してS3からGCSへの移行、またはその逆を行うことができます。 この記事はPythonとbotoを使ってそれを実現する方法について書いています。 考慮すべき代替案 コマンドライン上でコ ...

詳細を見る | 元の記事へ

Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy. ...

詳細を見る | 元の記事へ

Mezzanineとは Python・Django製のCMSです。WordpressやMovable Typeのようなものです。サードパーティや自作のDjangoアプリとの連携が容易で、柔軟なサイト運営が可能です。 http://mezzanine.jupo.org/ 日本での情報があまり無いのでひとまず導入部分を書いていきたいと思います。 はじめかた 準備 今回はPythonの開発環境があることを前提としますので、virtualenvやpyenvなどで環境を用意しておきます。 ...

詳細を見る | 元の記事へ

自分は普段ソーシャルゲームの開発に関わっていますが、群雄割拠のグリモバ全盛期にその開発を効率化するために社内ではいろいろな取り組みがなされました。そのひとつにアプリ別ではなく機能別のチームを作るということがありました。結果としてそれは失敗だったと言えるのでそのことについて書いていきます。 背景 当時のソーシャルゲームの主流はカードゲームで、クエスト・レイドをこなしつつガチャで引いたカードを合成して強化していくスタイルが一般的でした。そしてその多くがシステムはほとんど同じで見た目だけを変えた ...

詳細を見る | 元の記事へ