「Data Engineering」一覧

: PostgreSQL スキーマをコピーする

2020/11/05 -PostgreSQL
雑な学び

スキーマをコピーする方法はない。代わりに以下の方法で同じ効果を得る。スキーマ名Aをスキーマ名Bに変更するスキーマ名Bの状態でpg_dumpするスキーマ名Bをスキーマ名Aに変更するスキーマ名B …

: Redshift テーブル設計のベストプラクティス

2020/11/03 -Amazon Redshift
やりなおしプログラマ, 日々の学び

どのようにテーブル設計するとパフォーマンスを得られるか. 公式がベストプラクティスを用意している. Redshiftのベストプラクティスが先にあってER図が後なのか、 ER図に対してベストプラクティス …

: Amazon Redshift概要パフォーマンス総論

2020/11/02 -Amazon Redshift
やりなおしプログラマ

概要各論に入る前に総論。 MPPでクエリ実行するために必要な制限事項を設計/実装するために、とりあえず、何故その制限事項が必要なのかを理解しておく必要がありそう。並列処理 MPP(Massive …

: Amazon Redshift概要アーキテクチャ

2020/11/01 -Amazon Redshift
雑な学び

やはりAWSの公式のドキュメンテーションは読みやすいので、公式を上から順に舐めていくスタイルで理解していく。今回は一番最初のアーキテクチャ概要。アーキテクチャ大きなデータを扱おうとする何かは分 …

: postgresユーザのホームディレクトリ

2020/10/15 -PostgreSQL
日々の学び, 雑な学び

ubuntuの場合、postgresユーザのホームディレクトリは /var/lib/postgresql 。例えば .pgpass をここに置くと、postgres ユーザで psql を実行した場 …

: 接続中のセッションを全部切る方法

2020/10/14 -PostgreSQL
日々の学び

セッション毎にプロセスが動いている。 pg_terminate_backend()を使ってプロセスを落とせば良い。動いているプロセスを落とせばセッションは切れる。 killで落とすと上手くいかないの …

: TableauServer 準備

2020/07/26 -TableauServer
雑な学び

以下の項目についてオンラインヘルプをまとめてみた. 工数1日程度の理解なのと無理やり1行に詰めた感は否めないのですが, そもそも自分用なのでご容赦を… ハードウェア要件ソフトウェア要件 …

: TableauServer 構成

2020/07/23 -TableauServer
雑な学び

TableauServerのインストール時に気をつけること. 過去の経緯からかライセンス,サイトロールの関係が結構カオス. 増築しました感がかなりある. ライセンス,サイトロール,パーミッションの3要 …

TableauServer インストール

2020/07/22 -TableauServer
雑な学び

ソースはオンラインヘルプ. なんとなくFileMakerServerを思い出した.

1. 事前準備
    1. 組織全体でDesktopとServerのバージョンを揃える. 2020.2など. 
    1. プロダクトキーを取得しておく.
    1. クリーンな環境にインストールする. 理由はパフォーマンス,セキュリティ,相互運用性. 
1. インストール手順
    1. Setupファイルを実行
    1. インストールパスの設定 (規定:C:\Program Files\Tableau\Tableau Server)
    1. ゲートウェイポートの設定 (規定:80)
    1. 取得済みのプロダクトキーを登録する
1. アイデンティティストアとSSO
    1. ローカル/ActiveDirectory
    1. ActiveDirectoryの構成 => Domain:完全修飾子(FQDN)/NetBios:FQDNの一番左のノード
    1. ローカル認証
        1. アイデンティティストア内のユーザ名は権限・パーミッションと紐づけられている.
        1. 認証が検証された場合にTableauServerはTableauリソースへの認可をおこなう.
        1. パスワードは直接保存されない. ハッシュ値が保存される. 
    1. SAML (SecurityAssertionMarkupLanguage)
        1. セキュアなWebドメインがユーザ認証と認可データを交換するXML規格.
        1. 外部のアイデンティティプロバイダ(IdP)とSAML2.0でユーザ認証できる. 資格情報はTableauServerが持たない. 
        1. サーバ全体のSAML認証, サイト毎のSAML認証. 
    1. Kerberos
        1. KDC(キー配布センター)の使用に依存した3要素認証プロトコル
        1. ActiveDirectoryのKerberos環境でKerberos認証をサポート. KerberosがTableau Serverへの認証を処理する. 
        1. ユーザはADDomainController(Kerberos KDC)にログイン. KerberosKDCからチケットを取得. チケットを使用してTableauにログイン. 
        1. Kerberos認証はユーザ認証のみ.コンテンツ等の内部許可,認可は処理しない. 
    1. OpenID Connect
        1. GoogleなどのIdPにサインインできるようにする標準認証プロトコル. 
        1. IdPにログイン後, TableauServerに自動的にTableauServerにサインインする. 
        1. Tableau ServerはOpenID Authorization Code Flowのみをサポートする. 
    1. 信頼できるチケットと認証
        1. TableauServerのViewを含むURLを開く. Webサーバは信頼できるTableauServerにユーザ名を送る.
        1. TableauServerは受けたPostが管理下のIPアドレスか否かを確認しOKであればチケットを発行してWebサーバに応答する. 
        1. Webサーバはチケットを含むビューのURLを生成しブラウザに返す.
        1. ブラウザは返ってきたURLをTableauServerに送る. 
        1. TableauServerはチケットを引き換えてセッションを作成しビューの最終的なURLをクライアントに返す.
1. SSL の設定方法
    1. SSLの範囲
        1. 外部HTTPトラフィックに対してSSLを使用する. 
        1. Client(Desktop,Web,tabcmd)/Server間のトラフィックに対してSSLを使用する.
        1. コンポーネント間とリポジトリの間の全てのHTTPトラフィックをSSL化する.
        1. ユーザ認証にSSLを使用する. ホストされているコンテンツのパーミッションや認証処理には使用されない. 
    1. SSL証明書の要件. PEM,X509X,SHA-2. 対応するkey,chainも必要. ワイルドカード証明書も可能.
    1. 設定手順
        1. キーファイルとCSRを生成. 
            1. TableauServer内のビルトインWebサーバ(Apache)ディレクトリでopensslコマンドを実行.
        1. CAにCSRを送信してSSL証明書を取得.
        1. キーファイルとSSL証明書をTableauServerに設定.
            1. クラスタのSSL構成. "最初のノード"にのみゲートウェイプロセスが存在. このノードでのみSSL設定が必要.
            1. Gatewayが複数ある場合はロードバランサにSSL設定. 手前にパススルーロードバランサを配置し個別にSSL設定もできる.
        1. 証明書を C:\Program Files\Tableau\Tableau Server\SSL に保存.
        1. TSM Web > [構成] > [セキュリティ] > [外部SSL] > [外部WebサーバのSSL] > [SSLでサーバ通信を有効にする]を選択
        1. 証明書ファイル(.crt,.chain)をアップロードし,必要であればkeyfileのパスコードを入力.
        1. マルチノード構成の場合, 最初のノードへの操作だけで必要な全てのノードに証明書が配布される.
        1. [保留中の変更を保存] -> [変更を適用して再起動].
1. 単一マシン環境インストールのベストプラクティス
    1. 全てのプロセスが1台のマシン上にインストールされたスタンドアロンの単一サーバノード.
    1. 8コアCPUの場合
        1. VizQL Server : 2 instances (物理コア数/4)
        1. Backgrounder, CacheServer, DataServer : 2 instances
        1. その他のプロセス: 1 instance each.
1. サイレントインストール
    1. オンラインヘルプ上の表記は「自動インストール」
        1. オンラインコミュニティでサポートされているPythonスクリプト(SilentInstall.py)を実行する.
        1. 自動インストールの実行に必要な追加構成情報を用意
            1. config.template.json, registration.template.json, secrets.template.json
            1. templateをhomeにコピーし編集
        1. 最初のノードでSilentInstall.pyを実行する. 実行パラメタに追加構成情報ファイルのパスを渡す.

1. 事前準備

1. 組織全体でDesktopとServerのバージョンを揃える. 2020.2など.

1. プロダクトキーを取得しておく.

1. クリーンな環境にインストールする. 理由はパフォーマンス,セキュリティ,相互運用性.

1. インストール手順

1. Setupファイルを実行

1. インストールパスの設定 (規定:C:\Program Files\Tableau\Tableau Server)

1. ゲートウェイポートの設定 (規定:80)

1. 取得済みのプロダクトキーを登録する

1. アイデンティティストアとSSO

1. ローカル/ActiveDirectory

1. ActiveDirectoryの構成 => Domain:完全修飾子(FQDN)/NetBios:FQDNの一番左のノード

1. ローカル認証

1. アイデンティティストア内のユーザ名は権限・パーミッションと紐づけられている.

1. 認証が検証された場合にTableauServerはTableauリソースへの認可をおこなう.

1. パスワードは直接保存されない. ハッシュ値が保存される.

1. SAML (SecurityAssertionMarkupLanguage)

1. セキュアなWebドメインがユーザ認証と認可データを交換するXML規格.

1. 外部のアイデンティティプロバイダ(IdP)とSAML2.0でユーザ認証できる. 資格情報はTableauServerが持たない.

1. サーバ全体のSAML認証, サイト毎のSAML認証.

1. Kerberos

1. KDC(キー配布センター)の使用に依存した3要素認証プロトコル

1. ActiveDirectoryのKerberos環境でKerberos認証をサポート. KerberosがTableau Serverへの認証を処理する.

1. ユーザはADDomainController(Kerberos KDC)にログイン. KerberosKDCからチケットを取得. チケットを使用してTableauにログイン.

1. Kerberos認証はユーザ認証のみ.コンテンツ等の内部許可,認可は処理しない.

1. OpenID Connect

1. GoogleなどのIdPにサインインできるようにする標準認証プロトコル.

1. IdPにログイン後, TableauServerに自動的にTableauServerにサインインする.

1. Tableau ServerはOpenID Authorization Code Flowのみをサポートする.

1. 信頼できるチケットと認証

1. TableauServerのViewを含むURLを開く. Webサーバは信頼できるTableauServerにユーザ名を送る.

1. TableauServerは受けたPostが管理下のIPアドレスか否かを確認しOKであればチケットを発行してWebサーバに応答する.

1. Webサーバはチケットを含むビューのURLを生成しブラウザに返す.

1. ブラウザは返ってきたURLをTableauServerに送る.

1. TableauServerはチケットを引き換えてセッションを作成しビューの最終的なURLをクライアントに返す.

1. SSL の設定方法

1. SSLの範囲

1. 外部HTTPトラフィックに対してSSLを使用する.

1. Client(Desktop,Web,tabcmd)/Server間のトラフィックに対してSSLを使用する.

1. コンポーネント間とリポジトリの間の全てのHTTPトラフィックをSSL化する.

1. ユーザ認証にSSLを使用する. ホストされているコンテンツのパーミッションや認証処理には使用されない.

1. SSL証明書の要件. PEM,X509X,SHA-2. 対応するkey,chainも必要. ワイルドカード証明書も可能.

1. 設定手順

1. キーファイルとCSRを生成.

1. TableauServer内のビルトインWebサーバ(Apache)ディレクトリでopensslコマンドを実行.

1. CAにCSRを送信してSSL証明書を取得.

1. キーファイルとSSL証明書をTableauServerに設定.

1. クラスタのSSL構成. "最初のノード"にのみゲートウェイプロセスが存在. このノードでのみSSL設定が必要.

1. Gatewayが複数ある場合はロードバランサにSSL設定. 手前にパススルーロードバランサを配置し個別にSSL設定もできる.

1. 証明書を C:\Program Files\Tableau\Tableau Server\SSL に保存.

1. TSM Web > [構成] > [セキュリティ] > [外部SSL] > [外部WebサーバのSSL] > [SSLでサーバ通信を有効にする]を選択

1. 証明書ファイル(.crt,.chain)をアップロードし,必要であればkeyfileのパスコードを入力.

1. マルチノード構成の場合, 最初のノードへの操作だけで必要な全てのノードに証明書が配布される.

1. [保留中の変更を保存] -> [変更を適用して再起動].

1. 単一マシン環境インストールのベストプラクティス

1. 全てのプロセスが1台のマシン上にインストールされたスタンドアロンの単一サーバノード.

1. 8コアCPUの場合

1. VizQL Server : 2 instances (物理コア数/4)

1. Backgrounder, CacheServer, DataServer : 2 instances

1. その他のプロセス: 1 instance each.

1. サイレントインストール

1. オンラインヘルプ上の表記は「自動インストール」

1. オンラインコミュニティでサポートされているPythonスクリプト(SilentInstall.py)を実行する.

1. 自動インストールの実行に必要な追加構成情報を用意

1. config.template.json, registration.template.json, secrets.template.json

1. templateをhomeにコピーし編集

1. 最初のノードでSilentInstall.pyを実行する. 実行パラメタに追加構成情報ファイルのパスを渡す.

: TableuServer認定資格

2020/07/10 -TableauServer
日々の学び, 雑な学び

この記事 Tableau未経験者がTableauを扱う仕事をすることになったのと, 合わせてServer Certified Associate資格の取得が必要になったためいつものごとく学びの軌跡を記 …

« 前へ 1 … 3 4 5 6 次へ »

「Data Engineering」一覧

PostgreSQL スキーマをコピーする

Redshift テーブル設計のベストプラクティス

Amazon Redshift概要パフォーマンス総論

Amazon Redshift概要アーキテクチャ

postgresユーザのホームディレクトリ

接続中のセッションを全部切る方法

TableauServer 準備

TableauServer 構成

TableauServer インストール

TableuServer認定資格

AirflowでEnd-To-End Pipeline Testsを行うためにAirflow APIを調べてみた話

CustomOperatorのUnitTestを理解するためGCSToBigQueryOperatorのUnitTestを読んでみた話

GoogleによるAirflow DAG実装のベスプラ集を読んでみた – その1

Snowpark Container Services上でWebアプリ(FastAPI/React/TypeScript)を動かしてみた

Azure Queue StorageとAzure Service Busを比較してみた

Azure Functionsの機能まとめ（座学版）

External Network Accessを使ってSnowflakeとFitbitAPIを繋いでみた話

Deep dive into the internals of Snowflake Virtual Warehousesを読んでみた

GCSとのストレージ統合を設定した話

デプロイメントについて調べてみた話（端折り気味）

AirflowでEnd-To-End P

CustomOperatorのUnitT

「Data Engineering」 一覧

「Data Engineering」一覧