最近、解析を行う案件が増えて SQL や R を書く機会が多くなってきました。僕自身サーバーサイドエンジニアという立場での仕事が多かったので、解析の仕事では未知の部分がまだまだ多いです。その仕事の中で感じた、技術以前に解決すべき課題について書いていこうと思います。 使用している技術 gumi ではログの保存に主に BigQuery を使っています。（参考：gumi での BigQuery 活用事例 (GCP NEXT 2016)）BigQuery を使うようになって多くの技術的課題が改善 ...

詳細を見る | 元の記事へ

プロ生ちゃん Advent Calendar 2016 (9日目)の記事です www.adventar.org どうやらこのブログエントリーの一つ前のエントリーが昨年のプロ生ちゃん Advent Calendar なので１年間くらいブログを書いていなかったということですね。 今回は cowsay を使ってプロ生ちゃんにコンソール上でしゃべってもらいます。 cowsay とは コンソール上に牛のAAが現れてメッセージを表示してくれるツールです cowsay のインストールと環境 環 ...

詳細を見る | 元の記事へ

pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられた ...

詳細を見る | 元の記事へ

BigQueryのコンソール画面ではテーブルの一覧を表示してくれます。しかし、大量のテーブルがあるときには明らかに存在するテーブルが表示されないこともあるようなのでその対処法を書いておきます。 コンソール画面でのテーブルの表示 BigQueryのコンソール画面を開くと、テーブル一覧が表示されます。最近だとテーブルのパーティショニングによってテーブルを日ごとに分割する必要は無くなってきているとは思いますが、テーブルパーティショニング登場以前から運用されていたプロジェクトでは日ごとにテーブルを ...

詳細を見る | 元の記事へ

最近AnsibleでPlaybookを書く練習をしています。自分の練習がてら、とりあえずサーバーでApacheをつかってDjangoを動かしてみたい人向けのPlaybookを書いてみました。このサンプルを使うと以下の図のような非常に小さなwebシステムが構築されます。 やっていることはほぼ「まっさらなVPS（CentOS6）からApacheを使ってDjangoを動かすまでのメモ」ですが、多少改良しています。 動作確認 CentOS 6.8 (さくらのVPS) CentOS 6.7 ...

詳細を見る | 元の記事へ

今までMacで開発環境を構築するたびにブログなどに書いておいた一連の手順を追いながらひとつひとつ作業していましたが、それも面倒なのでこれからは「動くドキュメント」としてAnsibleのPlaybookを書いておいてそれを流すだけで構築できるようにしようと思います。 事前準備 まずはAnsible自体をインストールしなければならないので、そのために自分の場合はhomebrewを入れておきます。homebrewを入れるためにXcodeとXcodeのCommand Line Toolを入れておき ...

詳細を見る | 元の記事へ

Ansibleを使ってCentOSにPython2.7.10をソースからインストールしてみたいと思います。今回はPythonですが、流用すれば他のライブラリのインストールにも使えると思います。 やりたいこと（コマンド） 大体やりたいことは下記の通りです。インストール先に/usr/local/、ソースの一時保存先に/var/tmp/を指定しています。 yum install gcc wget https://www.python.org/ftp/python/2.7.10/Python- ...

詳細を見る | 元の記事へ

個人的に制作するサイトではVPSでDjangoを動かす事が多いです。これをAnsibleのplaybookにしようとしていますが、それをするにもひとまず作業をまとめておかなければならないので、(DBサーバーもwebサーバーもひっくるめて)１台でDjangoアプリを動かすときによく使う設定などをメモ程度に羅列しておきます。ある程度記憶を頼りに書いている部分があるので間違っているところがあるかも Note: 記述しているコマンドは適時sudoなどをつけている場合があります Note: Djang ...

詳細を見る | 元の記事へ

DjangoにはPermissionというモデルがあり、Djangoのmodelを作成すると自動で生成されます。それによって管理画面では対応する権限を持つユーザーのみがテーブルデータを作成・更新・削除できるといった制限が可能です。今回はこのPermissionを使ってViewの制限をしたいと思います。 独自のPermissionを作る 既存のPermissionデータを使わずに新しく作ってみます。 ContentTypeの指定 Permissionモデルは外部キーとしてContent ...

詳細を見る | 元の記事へ

小ネタです。ご容赦ください。 大規模なJavaScriptであればjQueryやAngularJS・React.jsなどを使うと思いますが、簡単なページやちょっとしたテストで外部のライブラリを使うまでもない場合、DOM操作をするときは直接getElementsByClassNameやgetElementsByTagNameなどと書くことになり、面倒です。 とにかくgetElementsByClassNameが長い <div class='class1'> <div class= ...

詳細を見る | 元の記事へ