pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられた ...

詳細を見る | 元の記事へ

BigQueryのコンソール画面ではテーブルの一覧を表示してくれます。しかし、大量のテーブルがあるときには明らかに存在するテーブルが表示されないこともあるようなのでその対処法を書いておきます。 コンソール画面でのテーブルの表示 BigQueryのコンソール画面を開くと、テーブル一覧が表示されます。最近だとテーブルのパーティショニングによってテーブルを日ごとに分割する必要は無くなってきているとは思いますが、テーブルパーティショニング登場以前から運用されていたプロジェクトでは日ごとにテーブルを ...

詳細を見る | 元の記事へ

最近AnsibleでPlaybookを書く練習をしています。自分の練習がてら、とりあえずサーバーでApacheをつかってDjangoを動かしてみたい人向けのPlaybookを書いてみました。このサンプルを使うと以下の図のような非常に小さなwebシステムが構築されます。 やっていることはほぼ「まっさらなVPS（CentOS6）からApacheを使ってDjangoを動かすまでのメモ」ですが、多少改良しています。 動作確認 CentOS 6.8 (さくらのVPS) CentOS 6.7 ...

詳細を見る | 元の記事へ

今までMacで開発環境を構築するたびにブログなどに書いておいた一連の手順を追いながらひとつひとつ作業していましたが、それも面倒なのでこれからは「動くドキュメント」としてAnsibleのPlaybookを書いておいてそれを流すだけで構築できるようにしようと思います。 事前準備 まずはAnsible自体をインストールしなければならないので、そのために自分の場合はhomebrewを入れておきます。homebrewを入れるためにXcodeとXcodeのCommand Line Toolを入れておき ...

詳細を見る | 元の記事へ

Ansibleを使ってCentOSにPython2.7.10をソースからインストールしてみたいと思います。今回はPythonですが、流用すれば他のライブラリのインストールにも使えると思います。 やりたいこと（コマンド） 大体やりたいことは下記の通りです。インストール先に/usr/local/、ソースの一時保存先に/var/tmp/を指定しています。 yum install gcc wget https://www.python.org/ftp/python/2.7.10/Python- ...

詳細を見る | 元の記事へ

個人的に制作するサイトではVPSでDjangoを動かす事が多いです。これをAnsibleのplaybookにしようとしていますが、それをするにもひとまず作業をまとめておかなければならないので、(DBサーバーもwebサーバーもひっくるめて)１台でDjangoアプリを動かすときによく使う設定などをメモ程度に羅列しておきます。ある程度記憶を頼りに書いている部分があるので間違っているところがあるかも Note: 記述しているコマンドは適時sudoなどをつけている場合があります Note: Djang ...

詳細を見る | 元の記事へ

DjangoにはPermissionというモデルがあり、Djangoのmodelを作成すると自動で生成されます。それによって管理画面では対応する権限を持つユーザーのみがテーブルデータを作成・更新・削除できるといった制限が可能です。今回はこのPermissionを使ってViewの制限をしたいと思います。 独自のPermissionを作る 既存のPermissionデータを使わずに新しく作ってみます。 ContentTypeの指定 Permissionモデルは外部キーとしてContent ...

詳細を見る | 元の記事へ

小ネタです。ご容赦ください。 大規模なJavaScriptであればjQueryやAngularJS・React.jsなどを使うと思いますが、簡単なページやちょっとしたテストで外部のライブラリを使うまでもない場合、DOM操作をするときは直接getElementsByClassNameやgetElementsByTagNameなどと書くことになり、面倒です。 とにかくgetElementsByClassNameが長い <div class='class1'> <div class= ...

詳細を見る | 元の記事へ

Pythonを使ってs3からGoogle Cloud Storageにデータを移す際、以前下記の二つの方法を書きましたが、やはりgsutilを使うとs3から自分のサーバーを経由せずに直接Google Cloud Storageにコピーできるので便利です。 Python(boto)でAmazon S3にあるデータをGoogle Cloud Storageへコピーする Python(boto)からサービスアカウントとキーファイル(p12)を使ってGoogle Cloud Storageにアクセス ...

詳細を見る | 元の記事へ

プロ生ちゃんアドベントカレンダー2015の10日目です。 www.adventar.org プロ生ちゃんのドット絵をcssで扱ってみました ソースコードとデモ css設計について 今回はプロ生ちゃんドット絵をcssスプライトにしたという話なのですが、css設計にちょっと悩みました。ここではSCSSやLESSのことは考えずに書いています。 今回のcss設計 まず、今回書いたcssのスプライト全体の共通設定として以下のように各クラスを羅列して書いています。 .pronama-01-1 ...

詳細を見る | 元の記事へ