Cloud Storage

データパイプライン

dbtのexternal tablesでGCSのファイルをBigQueryに読む

GCSに置いたNDJSONをBigQueryのexternal tablesとして読み、dbtで変換するまでの構成です。Hiveパーティションの切り方、起動時にスクリプトでテーブルを作る方法、merge前の一意化やunique_keyの決め方など、注意点もまとめました。
データパイプライン

Withings APIの測定値をBigQueryへ取り込む|Cloud Runで取得する

Withings APIで体重計の測定値を取り、BigQueryに貯めるまでの手順です。連携のやり方3つの選び方、トークン更新で選べる署名、status=503の意味、Cloud Run Jobで呼ぶときの中身、入れ替わるトークンの保存順序、value×10のunit乗の扱いをまとめました。
データパイプライン

Zaim APIでできることを提供終了前に実測した|ドキュメントとの差

Zaim APIでできることを、2026年12月の提供終了前に実際に叩いて確かめました。取得できるデータ、効かないlimitとpage、別の日付で保存される入力、BigQueryへのロードで分かった注意点をまとめます。
データパイプライン

dltHubが引き受けるETL処理の5つ|自分で書くか任せるかを見分ける

dltHub の dlt を GitHub REST API で使い、自分で書いていた抽出・スキーマ定義・増分取得・重複排除・中間ファイルの保存の 5 つが宣言だけで済むかを確かめました。エラーにならないまま失敗する 2 つの箇所と、選ぶ前に見る条件もまとめます。
データパイプライン

Cloud FTPをTerraformで構築する|SFTPでファイルを置いて取るまで

Cloud FTPをTerraformで構築する手順です。google_storage_ftp_serverが使えるproviderのバージョン、東京・大阪が非対応なリージョン、転送0でも続く稼働時間課金、SFTPでGCSへ置いて取るまでを確かめました。
AIエージェント

GCSマネージドMCPの使い方|roles/mcp.toolUserとToolbox版の違い

Google CloudのマネージドGCS MCPはサーバー構築不要で、IAM権限の付与とURL登録だけで使えます。MCP Toolbox版との違いや、roles/mcp.toolUserが必須であることを実際に検証した結果をまとめました。
AIエージェント

GCS MCPをMCP Toolboxで使う|read_objectの8 MiB上限と回避策

GCS MCP(Cloud Storage MCP)をMCP Toolbox経由でCodexやClaude Codeから使う設定手順です。読み取り専用の最小権限、read_objectの8 MiB上限を実際に試した結果と回避策、Google管理のマネージド版との違いをまとめました。