データパイプライン dbtのexternal tablesでGCSのファイルをBigQueryに読む
GCSに置いたNDJSONをBigQueryのexternal tablesとして読み、dbtで変換するまでの構成です。Hiveパーティションの切り方、起動時にスクリプトでテーブルを作る方法、merge前の一意化やunique_keyの決め方など、注意点もまとめました。
データパイプライン
データパイプライン
データパイプライン
環境構築
データパイプライン
認証・IAM
環境構築
データパイプライン
AIエージェント
データパイプライン