-
ソースについて考えてみた話
dbt Fundamentalsの「Sources」のセクションについて理解した内容を言葉にしてみた。 かなりの部分で感想を織り交ぜてみた。この記事は前回の続き。 dbtはModularityのコンセ …
-
モデルについて考えてみた話
dbt Fundamentalsの「Models」のセクションについて、理解した内容を言葉にしてみた。 かなりの部分で感想を織り交ぜてみた。この記事は前回の記事(以下)の続き。 実践的なコンテンツとい …
-
ETLとELTの違いが説明されていたので聞いてみた話
サーバーサイドエンジニアのデータベースエンジニア寄りの枠ぐらいの認識しかないと、 データエンジニアリングの尖った部分に永遠に近づけないという感触がある。 サーバーサイドエンジニアの入口から入った場合は …
-
Azure環境において最小権限でストレージ統合を構成する
Azure側を最小権限で構成する方法が書かれた記事がありそうで全然見つからない。 そこで、本記事ではAzure側を最小権限で構成する方法を調べてまとめてみた。 2023年7月現在、公式はSASを使う方 …
-
Azure Data Factoryに入門する
Azureクラウド。データと特にAIの世界で頭ひとつ抜け出しそうだ。 有限な時間を有効に使うには、”ベストソリューション”に全振りすることが適切だと信じているが、 一方で、それ …
-
dbt Analytics Engineering 認定試験の学習要領を読んでみる
Moden Data Stackの重要な技術として有名なdbtを理解したい。 と言いつつも使う機会がなかなか無いな、という点と、認定試験があるようなので、 まずは認定試験に合格することを目的に、知識を …
-
検索最適化サービス(Search Optimization Service)の使い方
ドキュメントを読んで使ったことが無い機能に詳しくなるシリーズ。 今回は検索最適化サービス(Search Optimization Service)。 他のドキュメントと比較して英語・日本語ともに文体が …
-
外部関数とUDFs/UDTFs
使ったことがない機能のドキュメントを読んで詳しくなるシリーズ。 今回は外部関数(External Function)。 ユーザ定義関数 まずユーザ定義関数(User Defined Function) …
-
外部テーブルと使い方
使ったことがない機能のドキュメントを読んで詳しくなるシリーズ。 ステージに配置したファイルに対してロードせずに直接クエリを実行できる仕組み。 外部テーブルの基本 ファイルの構造を自動的に解釈してテーブ …
-
replicationとshareとcloneの違い
データをコピーしてしまうと、データをコピーする際の計算資源とストレージが必要になる。 そして、「どちらのデータが正しいか問題」が発生してしまい、由々しき事態になる。 SSOT(Single Sourc …