Pythonから扱う場合いろいろな方法はあると思いますが、個人的にBigQuery-Pythonを使うことが多いので簡単にメモしておきます。 インストール $ pip install bigquery-python ドキュメント https://github.com/tylertreat/BigQuery-Python/blob/master/README.md 準備 以下の情報を取得しておきます サービスアカウント キーファイル(p12 or pem) プロジェクト名 ...

詳細を見る | 元の記事へ

おそらく、まともなプロジェクトであればコードのフォーマットについて規約を設けているところがほとんどだと思います。Pull Requestの際にロジックではなくコードフォーマットについて指摘するのは、レビューする側にとってもされる側にとっても非生産的です。できる限りコミット前に自動的に整形するツールを利用したいです。 選択肢 Python の Lint (文法チェッカ) まとめ - flake8 + hacking を使う - ここにまとまっていました。 コミット前に実行したいツール ...

詳細を見る | 元の記事へ

botoからGoogle Cloud Storageにアクセスする場合、s3との互換運用アクセスを有効にすることでアクセスキーとシークレットキーでアクセスすることが可能です。 http://qiita.com/itkr/items/d990e87a2540332ee0e5 ただしこの方法にはひとつ問題があります。互換運用アクセスで発行できるアクセスキーはGoogleユーザーアカウントにリンクされるため、複数人で行うプロジェクトでは不便です。そこでサービスアカウントとキーファイル(p12)でアク ...

詳細を見る | 元の記事へ

僕は資産の一部を現物株式として所有していますが、2015年8月21日頃から日本株にも大きな影響を与え始めた世界同時株安によって、分散していたはずの銘柄が全部同じ方向に動き含み損が出て底値で投げ売りそうになったので戒めとして改めて自分が投資する意味について考えてみました。 僕の投資状況 一時期は資産の約半分を現物株式として所有していましたが、今は約1/4程度になっています。基本的には現物以外の取引は行わず、長期で運用しています。それ以外の資産の多くは元本保証の円預金などです。積極的に投資すると ...

詳細を見る | 元の記事へ

ひらくpcバッグ( http://superclassic.jp/?pid=41001 )は改めて説明するまでもないくらいに人気のバッグで、あらゆるシーンに利用されていると思います。しかし、プログマミング同様、便利な物も正しく使わなければ最大限に活用できません。そこで僕自身もずっと愛用しているひらくpcバッグのベストプラクティスを考察してみます。 なお、ここに書かれているのはかなり片寄った意見かも知れません。だいたいこんなことを考えてバッグを使うということも普通はしないと思いますが… 今後加 ...

詳細を見る | 元の記事へ

Adobe Creative Cloudのコンプリートプランを契約していたのですが、最近はほぼPhotoshopしか使っていなかったので一旦コンプリートプランを解約することにしました。解約のタイミングが分かりにくかったのでちょっとまとめました。 更新日までに手続きすればいいわけではない？ Adobe Creative Cloudのプランを変更した話。 | yamashin galleryどうやらこちらのブログでは2月10日が解約日で、2月に入ってから更新をしようとしたそうで ...

詳細を見る | 元の記事へ

Amazon S3(以下S3)にあるデータをRedShiftに入れるときなどは、同じAWSということもあり簡単に行えますが、BigQueryで同様のことをするとなるとやはりGoogle Cloud Storage(以下GCS)を経由するのが便利です。GCSはS3と互換性を持たせることが可能なので、それを利用してS3からGCSへの移行、またはその逆を行うことができます。 この記事はPythonとbotoを使ってそれを実現する方法について書いています。 考慮すべき代替案 コマンドライン上でコ ...

詳細を見る | 元の記事へ

先日「意識高い系」を笑うな - 心がよろけそうなときに読むポンコツ日記というブログ記事がバズっていたので便乗してみます。と言いつつ、リンク先の記事のような真面目な内容ではありません。 この記事に出てくる用語について まず幾つかの用語について誤解がないように先に定義しておきます。あくまで僕が認識している意味で、この記事での文脈ではこういう意味として使いますということです。 意識が高い人 そのままの意味で、目標や志などの意識が高い人。実が伴っているかどうかは考 ...

詳細を見る | 元の記事へ

就職したらまず３年は続けてみろというのがおじさんたちの通説となっているようです。僕は今年の４月で、同じ場所に勤めてちょうど３年になりました。その結果感じたのは３年ということに根拠はないということです。 長く勤めることで得るもの・失うもの 僕がそこに入ったとき、技術的にはほとんど何も持っていませんでした。仕事をする中で学ぶことも多く、後半は教える立場になったり他の人がやったことのないことを調査して導入するなどという立場にもなりました。おそらくこの新しいことを覚えてそれを自分のも ...

詳細を見る | 元の記事へ

購入 → TEX Yoda(Massdrop) 僕のブログにはTEX Yoda関連の検索から来る人が最近多く、知人などからも購入先を聞かれるので今日は「今ならMassdropで買えるよ」ということを伝えるためのエントリーです。Massdropは共同購入型のサイトです。ギャザリングと呼ばれることもあるかもしれません。通常Massdropではある商品に対して投票を行って、その投票に応じて価格交渉が行われ、さらに一定数の購入希望者が集まった時に安価で商品の購入が可能です。この仕組みで商品の販売元は一定 ...

詳細を見る | 元の記事へ