BigQuery のコンソール画面からデータをダウンロードする際、大きすぎるデータは BigQuery の制約により直接ダウンロードすることができません。ダウンロードする場合は Google Cloud Storage を利用できます。 クエリ結果を別テーブルに保存する まず、検索した結果を別テーブルに保存しておきます。 結果画面から Save as Table を押します。 ポップアップが出てくるので、任意のデータセット(この場合はanalysis)に保存します。権限がない場合は管 ...

詳細を見る | 元の記事へ

日本語の文章の中に英単語の混ざった文章を書く際に、英単語の左右に半角スペースを入れる表現方法があるようです。 プルリクエスト1で半角スペースが空いていないことが指摘されているのを見たことがあり、一時期は自分も真似して半角スペースを空けていたのですが、最近少し違和感を感じ始めたのでそのことについて考えてみました。 英単語の左右に空間があるのは読みやすいのか 「この MacBook Pro には HDMI ポートがついています。」 「このMacBook ProにはHDMIポートがついてい ...

詳細を見る | 元の記事へ

新型MacBook Proが出たということで買い替えを検討していますが、買い替えをする前に自分の環境構築を振り返っておこうと思いました。 以前 Macの環境構築をAnsibleに任せる で git や copy を使って設定ファイルの設置や、homebrew でライブラリのインストールなどを行いました。今回はその続きで、システム環境設定についてです。 defaults コマンドによるシステム環境設定 前回の記事のコメントで、「Macのシステム環境設定は"defaults"コマンドで各設定 ...

詳細を見る | 元の記事へ

ここ数年ずっと Shure の SE215 Special Edition を使っているのですが、その理由は遮音性が高いためです。僕はあまり音質を気にするタイプではないのですが、カフェや電車で周りの人が立てる物音に関してはすごく敏感なので周りの雑音を遮断するイヤホンは必需品です。そのイヤホンの遮音性を更に高めるためにイヤーピースを交換しました。 コンプライの購入 数年間電車に乗る時や作業中、就寝前など、ほぼ毎日イヤホンを使っていたので流石にイヤーピースの劣化を感じてきました。 純正のイヤー ...

詳細を見る | 元の記事へ

最近、解析を行う案件が増えて SQL や R を書く機会が多くなってきました。僕自身サーバーサイドエンジニアという立場での仕事が多かったので、解析の仕事では未知の部分がまだまだ多いです。その仕事の中で感じた、技術以前に解決すべき課題について書いていこうと思います。 使用している技術 gumi ではログの保存に主に BigQuery を使っています。（参考：gumi での BigQuery 活用事例 (GCP NEXT 2016)）BigQuery を使うようになって多くの技術的課題が改善 ...

詳細を見る | 元の記事へ

プロ生ちゃん Advent Calendar 2016 (9日目)の記事です www.adventar.org どうやらこのブログエントリーの一つ前のエントリーが昨年のプロ生ちゃん Advent Calendar なので１年間くらいブログを書いていなかったということですね。 今回は cowsay を使ってプロ生ちゃんにコンソール上でしゃべってもらいます。 cowsay とは コンソール上に牛のAAが現れてメッセージを表示してくれるツールです cowsay のインストールと環境 環 ...

詳細を見る | 元の記事へ

pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられた ...

詳細を見る | 元の記事へ

BigQueryのコンソール画面ではテーブルの一覧を表示してくれます。しかし、大量のテーブルがあるときには明らかに存在するテーブルが表示されないこともあるようなのでその対処法を書いておきます。 コンソール画面でのテーブルの表示 BigQueryのコンソール画面を開くと、テーブル一覧が表示されます。最近だとテーブルのパーティショニングによってテーブルを日ごとに分割する必要は無くなってきているとは思いますが、テーブルパーティショニング登場以前から運用されていたプロジェクトでは日ごとにテーブルを ...

詳細を見る | 元の記事へ

最近AnsibleでPlaybookを書く練習をしています。自分の練習がてら、とりあえずサーバーでApacheをつかってDjangoを動かしてみたい人向けのPlaybookを書いてみました。このサンプルを使うと以下の図のような非常に小さなwebシステムが構築されます。 やっていることはほぼ「まっさらなVPS（CentOS6）からApacheを使ってDjangoを動かすまでのメモ」ですが、多少改良しています。 動作確認 CentOS 6.8 (さくらのVPS) CentOS 6.7 ...

詳細を見る | 元の記事へ

今までMacで開発環境を構築するたびにブログなどに書いておいた一連の手順を追いながらひとつひとつ作業していましたが、それも面倒なのでこれからは「動くドキュメント」としてAnsibleのPlaybookを書いておいてそれを流すだけで構築できるようにしようと思います。 事前準備 まずはAnsible自体をインストールしなければならないので、そのために自分の場合はhomebrewを入れておきます。homebrewを入れるためにXcodeとXcodeのCommand Line Toolを入れておき ...

詳細を見る | 元の記事へ