1ヶ月くらいでVimを常用エディタにする 普段ポインティングデバイスとして親指で扱うトラックボールを使っているのですが、最近親指が痛くなってきたのでなるべくキーボードから手を離さないで使えるエディタとしてVimを使うことにしました。 自分の今までのVimとの付き合い方はgit commitするときや個人で借りているサーバーに入ってちょっとした設定ファイルを変更するときなど、それくらいしか選択肢がないから仕方なく利用している程度でした。 Vimを普通に使えるように学習しようと思うと、他のエ ...

詳細を見る | 元の記事へ

トヨタには「前工程は神様、後工程はお客様」という言葉があるそうです。この後半部分の「後工程はお客様」という言葉を拝借してコーディングで意識すべきだと思うことについて説明します。なお、トヨタが使っている本来の意味とはかけ離れていると思われますのでその点はご容赦ください。 呼び出し側がお客様という考え まずはこの記事で使われる「後工程」という言葉について明らかにしておきます。この記事で使う「後工程」というのはウォーターフォールで使われるような工程の話だけではなく、APIの設計や関数の実装のよう ...

詳細を見る | 元の記事へ

BigQuery のコンソール画面からデータをダウンロードする際、大きすぎるデータは BigQuery の制約により直接ダウンロードすることができません。ダウンロードする場合は Google Cloud Storage を利用できます。 クエリ結果を別テーブルに保存する まず、検索した結果を別テーブルに保存しておきます。 結果画面から Save as Table を押します。 ポップアップが出てくるので、任意のデータセット(この場合はanalysis)に保存します。権限がない場合は管 ...

詳細を見る | 元の記事へ

新型MacBook Proが出たということで買い替えを検討していますが、買い替えをする前に自分の環境構築を振り返っておこうと思いました。 以前 Macの環境構築をAnsibleに任せる で git や copy を使って設定ファイルの設置や、homebrew でライブラリのインストールなどを行いました。今回はその続きで、システム環境設定についてです。 defaults コマンドによるシステム環境設定 前回の記事のコメントで、「Macのシステム環境設定は"defaults"コマンドで各設定 ...

詳細を見る | 元の記事へ

最近、解析を行う案件が増えて SQL や R を書く機会が多くなってきました。僕自身サーバーサイドエンジニアという立場での仕事が多かったので、解析の仕事では未知の部分がまだまだ多いです。その仕事の中で感じた、技術以前に解決すべき課題について書いていこうと思います。 使用している技術 gumi ではログの保存に主に BigQuery を使っています。（参考：gumi での BigQuery 活用事例 (GCP NEXT 2016)）BigQuery を使うようになって多くの技術的課題が改善 ...

詳細を見る | 元の記事へ

pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられた ...

詳細を見る | 元の記事へ

BigQueryのコンソール画面ではテーブルの一覧を表示してくれます。しかし、大量のテーブルがあるときには明らかに存在するテーブルが表示されないこともあるようなのでその対処法を書いておきます。 コンソール画面でのテーブルの表示 BigQueryのコンソール画面を開くと、テーブル一覧が表示されます。最近だとテーブルのパーティショニングによってテーブルを日ごとに分割する必要は無くなってきているとは思いますが、テーブルパーティショニング登場以前から運用されていたプロジェクトでは日ごとにテーブルを ...

詳細を見る | 元の記事へ

最近AnsibleでPlaybookを書く練習をしています。自分の練習がてら、とりあえずサーバーでApacheをつかってDjangoを動かしてみたい人向けのPlaybookを書いてみました。このサンプルを使うと以下の図のような非常に小さなwebシステムが構築されます。 やっていることはほぼ「まっさらなVPS（CentOS6）からApacheを使ってDjangoを動かすまでのメモ」ですが、多少改良しています。 動作確認 CentOS 6.8 (さくらのVPS) CentOS 6.7 ...

詳細を見る | 元の記事へ

今までMacで開発環境を構築するたびにブログなどに書いておいた一連の手順を追いながらひとつひとつ作業していましたが、それも面倒なのでこれからは「動くドキュメント」としてAnsibleのPlaybookを書いておいてそれを流すだけで構築できるようにしようと思います。 事前準備 まずはAnsible自体をインストールしなければならないので、そのために自分の場合はhomebrewを入れておきます。homebrewを入れるためにXcodeとXcodeのCommand Line Toolを入れておき ...

詳細を見る | 元の記事へ

Ansibleを使ってCentOSにPython2.7.10をソースからインストールしてみたいと思います。今回はPythonですが、流用すれば他のライブラリのインストールにも使えると思います。 やりたいこと（コマンド） 大体やりたいことは下記の通りです。インストール先に/usr/local/、ソースの一時保存先に/var/tmp/を指定しています。 yum install gcc wget https://www.python.org/ftp/python/2.7.10/Python- ...

詳細を見る | 元の記事へ