「Data Engineering」一覧

: Amazon Redshift概要アーキテクチャ

2020/11/01 -Amazon Redshift
雑な学び

やはりAWSの公式のドキュメンテーションは読みやすいので、公式を上から順に舐めていくスタイルで理解していく。今回は一番最初のアーキテクチャ概要。アーキテクチャ大きなデータを扱おうとする何かは分 …

: postgresユーザのホームディレクトリ

2020/10/15 -PostgreSQL
日々の学び, 雑な学び

ubuntuの場合、postgresユーザのホームディレクトリは /var/lib/postgresql 。例えば .pgpass をここに置くと、postgres ユーザで psql を実行した場 …

: 接続中のセッションを全部切る方法

2020/10/14 -PostgreSQL
日々の学び

セッション毎にプロセスが動いている。 pg_terminate_backend()を使ってプロセスを落とせば良い。動いているプロセスを落とせばセッションは切れる。 killで落とすと上手くいかないの …

: TableauServer 準備

2020/07/26 -TableauServer
雑な学び

以下の項目についてオンラインヘルプをまとめてみた. 工数1日程度の理解なのと無理やり1行に詰めた感は否めないのですが, そもそも自分用なのでご容赦を… ハードウェア要件ソフトウェア要件 …

: TableauServer 構成

2020/07/23 -TableauServer
雑な学び

TableauServerのインストール時に気をつけること. 過去の経緯からかライセンス,サイトロールの関係が結構カオス. 増築しました感がかなりある. ライセンス,サイトロール,パーミッションの3要 …

TableauServer インストール

2020/07/22 -TableauServer
雑な学び

ソースはオンラインヘルプ. なんとなくFileMakerServerを思い出した.

1. 事前準備
    1. 組織全体でDesktopとServerのバージョンを揃える. 2020.2など. 
    1. プロダクトキーを取得しておく.
    1. クリーンな環境にインストールする. 理由はパフォーマンス,セキュリティ,相互運用性. 
1. インストール手順
    1. Setupファイルを実行
    1. インストールパスの設定 (規定:C:\Program Files\Tableau\Tableau Server)
    1. ゲートウェイポートの設定 (規定:80)
    1. 取得済みのプロダクトキーを登録する
1. アイデンティティストアとSSO
    1. ローカル/ActiveDirectory
    1. ActiveDirectoryの構成 => Domain:完全修飾子(FQDN)/NetBios:FQDNの一番左のノード
    1. ローカル認証
        1. アイデンティティストア内のユーザ名は権限・パーミッションと紐づけられている.
        1. 認証が検証された場合にTableauServerはTableauリソースへの認可をおこなう.
        1. パスワードは直接保存されない. ハッシュ値が保存される. 
    1. SAML (SecurityAssertionMarkupLanguage)
        1. セキュアなWebドメインがユーザ認証と認可データを交換するXML規格.
        1. 外部のアイデンティティプロバイダ(IdP)とSAML2.0でユーザ認証できる. 資格情報はTableauServerが持たない. 
        1. サーバ全体のSAML認証, サイト毎のSAML認証. 
    1. Kerberos
        1. KDC(キー配布センター)の使用に依存した3要素認証プロトコル
        1. ActiveDirectoryのKerberos環境でKerberos認証をサポート. KerberosがTableau Serverへの認証を処理する. 
        1. ユーザはADDomainController(Kerberos KDC)にログイン. KerberosKDCからチケットを取得. チケットを使用してTableauにログイン. 
        1. Kerberos認証はユーザ認証のみ.コンテンツ等の内部許可,認可は処理しない. 
    1. OpenID Connect
        1. GoogleなどのIdPにサインインできるようにする標準認証プロトコル. 
        1. IdPにログイン後, TableauServerに自動的にTableauServerにサインインする. 
        1. Tableau ServerはOpenID Authorization Code Flowのみをサポートする. 
    1. 信頼できるチケットと認証
        1. TableauServerのViewを含むURLを開く. Webサーバは信頼できるTableauServerにユーザ名を送る.
        1. TableauServerは受けたPostが管理下のIPアドレスか否かを確認しOKであればチケットを発行してWebサーバに応答する. 
        1. Webサーバはチケットを含むビューのURLを生成しブラウザに返す.
        1. ブラウザは返ってきたURLをTableauServerに送る. 
        1. TableauServerはチケットを引き換えてセッションを作成しビューの最終的なURLをクライアントに返す.
1. SSL の設定方法
    1. SSLの範囲
        1. 外部HTTPトラフィックに対してSSLを使用する. 
        1. Client(Desktop,Web,tabcmd)/Server間のトラフィックに対してSSLを使用する.
        1. コンポーネント間とリポジトリの間の全てのHTTPトラフィックをSSL化する.
        1. ユーザ認証にSSLを使用する. ホストされているコンテンツのパーミッションや認証処理には使用されない. 
    1. SSL証明書の要件. PEM,X509X,SHA-2. 対応するkey,chainも必要. ワイルドカード証明書も可能.
    1. 設定手順
        1. キーファイルとCSRを生成. 
            1. TableauServer内のビルトインWebサーバ(Apache)ディレクトリでopensslコマンドを実行.
        1. CAにCSRを送信してSSL証明書を取得.
        1. キーファイルとSSL証明書をTableauServerに設定.
            1. クラスタのSSL構成. "最初のノード"にのみゲートウェイプロセスが存在. このノードでのみSSL設定が必要.
            1. Gatewayが複数ある場合はロードバランサにSSL設定. 手前にパススルーロードバランサを配置し個別にSSL設定もできる.
        1. 証明書を C:\Program Files\Tableau\Tableau Server\SSL に保存.
        1. TSM Web > [構成] > [セキュリティ] > [外部SSL] > [外部WebサーバのSSL] > [SSLでサーバ通信を有効にする]を選択
        1. 証明書ファイル(.crt,.chain)をアップロードし,必要であればkeyfileのパスコードを入力.
        1. マルチノード構成の場合, 最初のノードへの操作だけで必要な全てのノードに証明書が配布される.
        1. [保留中の変更を保存] -> [変更を適用して再起動].
1. 単一マシン環境インストールのベストプラクティス
    1. 全てのプロセスが1台のマシン上にインストールされたスタンドアロンの単一サーバノード.
    1. 8コアCPUの場合
        1. VizQL Server : 2 instances (物理コア数/4)
        1. Backgrounder, CacheServer, DataServer : 2 instances
        1. その他のプロセス: 1 instance each.
1. サイレントインストール
    1. オンラインヘルプ上の表記は「自動インストール」
        1. オンラインコミュニティでサポートされているPythonスクリプト(SilentInstall.py)を実行する.
        1. 自動インストールの実行に必要な追加構成情報を用意
            1. config.template.json, registration.template.json, secrets.template.json
            1. templateをhomeにコピーし編集
        1. 最初のノードでSilentInstall.pyを実行する. 実行パラメタに追加構成情報ファイルのパスを渡す.

1. 事前準備

1. 組織全体でDesktopとServerのバージョンを揃える. 2020.2など.

1. プロダクトキーを取得しておく.

1. クリーンな環境にインストールする. 理由はパフォーマンス,セキュリティ,相互運用性.

1. インストール手順

1. Setupファイルを実行

1. インストールパスの設定 (規定:C:\Program Files\Tableau\Tableau Server)

1. ゲートウェイポートの設定 (規定:80)

1. 取得済みのプロダクトキーを登録する

1. アイデンティティストアとSSO

1. ローカル/ActiveDirectory

1. ActiveDirectoryの構成 => Domain:完全修飾子(FQDN)/NetBios:FQDNの一番左のノード

1. ローカル認証

1. アイデンティティストア内のユーザ名は権限・パーミッションと紐づけられている.

1. 認証が検証された場合にTableauServerはTableauリソースへの認可をおこなう.

1. パスワードは直接保存されない. ハッシュ値が保存される.

1. SAML (SecurityAssertionMarkupLanguage)

1. セキュアなWebドメインがユーザ認証と認可データを交換するXML規格.

1. 外部のアイデンティティプロバイダ(IdP)とSAML2.0でユーザ認証できる. 資格情報はTableauServerが持たない.

1. サーバ全体のSAML認証, サイト毎のSAML認証.

1. Kerberos

1. KDC(キー配布センター)の使用に依存した3要素認証プロトコル

1. ActiveDirectoryのKerberos環境でKerberos認証をサポート. KerberosがTableau Serverへの認証を処理する.

1. ユーザはADDomainController(Kerberos KDC)にログイン. KerberosKDCからチケットを取得. チケットを使用してTableauにログイン.

1. Kerberos認証はユーザ認証のみ.コンテンツ等の内部許可,認可は処理しない.

1. OpenID Connect

1. GoogleなどのIdPにサインインできるようにする標準認証プロトコル.

1. IdPにログイン後, TableauServerに自動的にTableauServerにサインインする.

1. Tableau ServerはOpenID Authorization Code Flowのみをサポートする.

1. 信頼できるチケットと認証

1. TableauServerのViewを含むURLを開く. Webサーバは信頼できるTableauServerにユーザ名を送る.

1. TableauServerは受けたPostが管理下のIPアドレスか否かを確認しOKであればチケットを発行してWebサーバに応答する.

1. Webサーバはチケットを含むビューのURLを生成しブラウザに返す.

1. ブラウザは返ってきたURLをTableauServerに送る.

1. TableauServerはチケットを引き換えてセッションを作成しビューの最終的なURLをクライアントに返す.

1. SSL の設定方法

1. SSLの範囲

1. 外部HTTPトラフィックに対してSSLを使用する.

1. Client(Desktop,Web,tabcmd)/Server間のトラフィックに対してSSLを使用する.

1. コンポーネント間とリポジトリの間の全てのHTTPトラフィックをSSL化する.

1. ユーザ認証にSSLを使用する. ホストされているコンテンツのパーミッションや認証処理には使用されない.

1. SSL証明書の要件. PEM,X509X,SHA-2. 対応するkey,chainも必要. ワイルドカード証明書も可能.

1. 設定手順

1. キーファイルとCSRを生成.

1. TableauServer内のビルトインWebサーバ(Apache)ディレクトリでopensslコマンドを実行.

1. CAにCSRを送信してSSL証明書を取得.

1. キーファイルとSSL証明書をTableauServerに設定.

1. クラスタのSSL構成. "最初のノード"にのみゲートウェイプロセスが存在. このノードでのみSSL設定が必要.

1. Gatewayが複数ある場合はロードバランサにSSL設定. 手前にパススルーロードバランサを配置し個別にSSL設定もできる.

1. 証明書を C:\Program Files\Tableau\Tableau Server\SSL に保存.

1. TSM Web > [構成] > [セキュリティ] > [外部SSL] > [外部WebサーバのSSL] > [SSLでサーバ通信を有効にする]を選択

1. 証明書ファイル(.crt,.chain)をアップロードし,必要であればkeyfileのパスコードを入力.

1. マルチノード構成の場合, 最初のノードへの操作だけで必要な全てのノードに証明書が配布される.

1. [保留中の変更を保存] -> [変更を適用して再起動].

1. 単一マシン環境インストールのベストプラクティス

1. 全てのプロセスが1台のマシン上にインストールされたスタンドアロンの単一サーバノード.

1. 8コアCPUの場合

1. VizQL Server : 2 instances (物理コア数/4)

1. Backgrounder, CacheServer, DataServer : 2 instances

1. その他のプロセス: 1 instance each.

1. サイレントインストール

1. オンラインヘルプ上の表記は「自動インストール」

1. オンラインコミュニティでサポートされているPythonスクリプト(SilentInstall.py)を実行する.

1. 自動インストールの実行に必要な追加構成情報を用意

1. config.template.json, registration.template.json, secrets.template.json

1. templateをhomeにコピーし編集

1. 最初のノードでSilentInstall.pyを実行する. 実行パラメタに追加構成情報ファイルのパスを渡す.

: TableuServer認定資格

2020/07/10 -TableauServer
日々の学び, 雑な学び

この記事 Tableau未経験者がTableauを扱う仕事をすることになったのと, 合わせてServer Certified Associate資格の取得が必要になったためいつものごとく学びの軌跡を記 …

: ansibleでaws-cliをインストールする (+S3)

2019/11/02 -ansible, AWS
日々の学び

やりたいことは以下の2つ。 ansibleでaws-cliをインストールする ansibleでインストールしたaws-cliでs3コマンドを打てるようにするなお、相手には既にpipがインストールがし …

: 稼働中のEC2のコピーを作成してALB下で切り替えた話 WordPress Update Blue Green

2019/05/12 -AWS
日々の学び

稼働中のEC2を落とさないでALB下で切り替えた作業記録を書いてみます。こちら↓の方が詳しく書いてあります..。今回書いた記事の特徴は以下となります。 AutoScalingグループを使わない AL …

AWS常時SSL リダイレクトループしない.htaccessの書き方

2016/07/02 -AWS
pickup

HTTPSを強制するために .htaccess に細工をするのは有名。例えば以下のような書き方が王道。

<IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteCond %{HTTPS} off
    RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R,L]
</IfModule>

RewriteEngine on

RewriteCond %{HTTPS} off

RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R,L]

</IfModule>

これをそのままElasticB …

« 前へ 1 … 3 4 5 6 次へ »

「Data Engineering」一覧

Amazon Redshift概要アーキテクチャ

postgresユーザのホームディレクトリ

接続中のセッションを全部切る方法

TableauServer 準備

TableauServer 構成

TableauServer インストール

TableuServer認定資格

ansibleでaws-cliをインストールする (+S3)

稼働中のEC2のコピーを作成してALB下で切り替えた話 WordPress Update Blue Green

AWS常時SSL リダイレクトループしない.htaccessの書き方

Snowpark Container Services上でWebアプリ(FastAPI/React/TypeScript)を動かしてみた

Azure Queue StorageとAzure Service Busを比較してみた

Azure Functionsの機能まとめ（座学版）

External Network Accessを使ってSnowflakeとFitbitAPIを繋いでみた話

Deep dive into the internals of Snowflake Virtual Warehousesを読んでみた

GCSとのストレージ統合を設定した話

デプロイメントについて調べてみた話（端折り気味）

dbtのドキュメント生成機能について調べてみた話

The dbt Viewpointを読んでみた話

テストとDAGの構築について考えてみた話

Snowpark Container S

Azure Queue Storageと

「Data Engineering」 一覧

「Data Engineering」一覧