BigQueryで日付ごとに解析したいデータを入れるときの第一オプションは日付によるテーブルパーティショニングだと思います。しかし、テーブルパーティショニングの日付として扱えるフィールドがデータの中にない場合や、テーブルパーティショニングが公開される以前は table_20181206 のように日付の入ったテーブルを作成することがよく行われていました。 BigQueryではこのようなテーブルを作成すると、従来のコンソール画面では1UI上で日付のプルダウンが作成され、スキーマとプレフィックスが一 ...

詳細を見る | 元の記事へ

Pythonで進捗表示といえばtqdmが有名だと思いますが、今回はlight-progressというライブラリを紹介したいと思います。 特徴 light-progress は依存ライブラリを必要とせず軽量なライブラリを目指しており、Python2でも3でも動くようになっています。LinuxやMacではカラー表示に対応しており進行中・完了・エラー終了でそれぞれカラーが変わります。自分の環境では Jupyter Notebook でも動きました。 ただ light_progress というよ ...

詳細を見る | 元の記事へ

今の職場で働き始めてちょうど一年が経ちました。そこでとても幸運なことに、ある一つのサービスの開発に設計段階からかかわることができました。 そのサービスは大まかに分けるとWebアプリケーションのフロント部分(Vue.jsなど)・APIサーバー・データ処理サーバー・AIサーバーと分かれており、自分は主にAPIサーバーを担当していました。 APIサーバーはメタデータなどの保存の役割も持っており、フロント・データ処理サーバー・AIサーバーにそれぞれAPIの提供をしています。APIはREST(風)で提 ...

詳細を見る | 元の記事へ

ルノアールが好きでよくコーヒーを飲みながら読書や作業をしています。店舗にもよるでしょうがルノアールはマルチの勧誘から大学教授のアカデミックな会話まで、他のチェーンのカフェよりもディープな会話が聞こえてくる気がします。 普段は自分の読書や作業に集中するためにイヤホンをつけてホワイトノイズを流すなどしてなるべく会話が聞こえないようにしているのですが、今日はなんとなく周りの音を遮らずにいたので隣の会話が聞こえていました。 その席は何かの面接に応募したかスカウトされた若い女性と、その面接を行う業者の ...

詳細を見る | 元の記事へ

「今どきの若者は」とひと括りにして批判的に発言している人を内心よく思っていません。 しかし最近はそういう世代間のギャップも仕方がないのかなとも思います。 世の中の発展は複雑なものを抽象化（一般化）して単純なものとして捉えることで、より複雑な問題を解決してゆくプロセスの繰り返しなのだと考えていて、世代間の不理解もその複雑性の認識の違いから来るのだろうと思うようになったからです。 数学で例えると数字を変数に入れて関数を作り、その関数を更に変数に入れて別の関数を作り、式を作り…と言うように低階層の ...

詳細を見る | 元の記事へ

家にいるときは朝からラジオを聞くことが多いので、目覚まし代わりにラジオを再生するようにしたいと思います。時間を指定してラジオをつけようと思うと数千円出して新しい機器を購入したりアプリを入れたりということが選択肢としてありますが、こちらの記事によるといろいろ苦労もあるようです。 →「ラジオで爽やかに目覚めたい! だけなのに、けっこう大変だった話。ソニーの電球スピーカー&ラジオ」 そこで、自分の家にはUbuntuを入れているインテルのNUCがあることを思い出し、cronを使ってradiko.jpか ...

詳細を見る | 元の記事へ

最近仕事では MacBook Pro 13 インチモデル一台のみで作業しています。家では15インチの MacBook Pro に27インチのモニターを繋いで作業しているのでそれに比べると作業効率は若干落ちている気がします。なるべく効率を落とさないで作業するためのツールを紹介します。 Magnet Magnet ウィンドウをドラッグして画面端に寄せたりキーボードショートカットを利用したりすると画面サイズに合わせてウィンドウを自動調整してくれるツールです。どこかの論文で読んだ気がするのですが ...

詳細を見る | 元の記事へ

この記事は 筋肉 Advent Calendar 2017 19日目の記事です adventar.org このアドベントカレンダーは筋トレが好きな人が多いと思うのですが、僕は嫌いです。でも一度はじめてしまったからには間を空けてしまうと筋力が落ちるので趣味というよりは義務に近い感じで続けています。この数年間はほとんどペースを乱さずにジムに行ってトレーニングはしているのでゆるく続ける習慣について書きます。 自分について 就職について書いた記事ではキャリア上での経歴を書きましたが、運動関係の文 ...

詳細を見る | 元の記事へ

この記事は SENSYアドベントカレンダー 12日目の記事です。 Qiitaに書くと消されるかもしれないのでブログに書きました。 qiita.com 私事ですが長く勤めたゲーム制作会社を退職して12月から人工知能関連のベンチャー企業に就職しました。最近はAirflowやDigdagなどのワークフロー管理ツールを調べていたのでそれについて書こうかとも思いましたが、折角の機会なので入社して1週間くらいという今しか書けないようなことを書こうと思い、そこそこ人数の多い会社から30人規模の会社に入った ...

詳細を見る | 元の記事へ

この記事は Vim Advent Calendar 2017 5日目の記事です。 qiita.com Vimを使い始めて10ヶ月くらいになりました。とはいえ自分はコードを書く時に言語特化のIDEがある場合はそれを使うことが多く、他のエディタにも手をのばすのでVim一筋という訳でもありません。しかし、好きなエディタは何かと言われたらVimと答えます。Vimはそんな不思議な魅力のあるエディタだと思います。 先日はVimConf2017に参加してきました。VimConfは将来的にVimの作者 ...

詳細を見る | 元の記事へ