-
-
独立な確率変数の共分散がゼロであること
共分散と相関係数の定義について過去に書いていた。 そもそも共分散が発生するのは、2つの確率変数が連動して動くから。 2つの確率変数が独立している場合は、共分散、相関係数共にゼロ。 共分散の定義 まず、 …
-
-
PostgreSQL スキーマをコピーする
2020/11/05 -PostgreSQL
雑な学びスキーマをコピーする方法はない。 代わりに以下の方法で同じ効果を得る。 スキーマ名Aをスキーマ名Bに変更する スキーマ名Bの状態でpg_dumpする スキーマ名Bをスキーマ名Aに変更する スキーマ名B …
-
-
AirflowでEnd-To-End Pipeline Testsを行うためにAirflow APIを調べてみた話
Airflow自体にDAGの実行結果をテスト(End-To-End Pipeline Tests)する仕組みは無いようで、 以下のような地道な仕組みを自力で作る必要がありそうです。 テストデータを用意 …
-
-
標本の標準偏差とルートnの法則
平均\(\mu\)、標準偏差\(\sigma\)からなる母集団から標本を取り出したとき、 標本の平均は母集団の平均\(\mu\)に収束する。 では、もう一つの統計量である標準偏差はどうか。 意外と簡単 …
-
-
postgresユーザのホームディレクトリ
2020/10/15 -PostgreSQL
日々の学び, 雑な学びubuntuの場合、postgresユーザのホームディレクトリは /var/lib/postgresql 。 例えば .pgpass をここに置くと、postgres ユーザで psql を実行した場 …
-
-
kotlin基本構文-パッケージ,継承,final修飾子,abstract,多態性,ダウンキャストとSmart cast,インターフェース
2018/12/03 -kotlin
はじめてのスマホアプリ開発参考にしている書籍が薄すぎて悲しくなるが、サクサクっと読み進めてみる。 やはりJavaだからかクラス関係の記述が多いな。 パッケージのインポート kotlinのインポート構文はJava相当の書き方がで …
-
-
多次元正規分布に従うデータを生成する
2019/07/10 -NumPy/Pandas, クラスタリング
日々の学びそろそろ適当なデータを見つけてきて手法を試すのとは別に、 自力でデータを作って試してみたいと思い、NumPyを使った生成法を調べてみた。 一口に乱数といっても、正規分布に従う標本の生成のこと。 多次元 …
-
-
Deep dive into the internals of Snowflake Virtual Warehousesを読んでみた
この記事はSnowflake Advent Calendar 2023シリーズ2の19日目です。 今年はSnowProAdvanced: Architect試験に合格できました。 結局のところ資格試験 …
-
-
AWS常時SSL リダイレクトループしない.htaccessの書き方
HTTPSを強制するために .htaccess に細工をするのは有名。例えば以下のような書き方が王道。
12345<IfModule mod_rewrite.c>RewriteEngine onRewriteCond %{HTTPS} offRewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R,L]</IfModule>これをそのままElasticB …
-
-
Excelでカイ二乗分布曲線を描く
Excelは統計関数が充実している 一緒にPythonとRを習得した方が良いのだろうけど、Excelでも結構やれるらしいので、 Excelでカイ二乗分布曲線を描いてみる。 やり方 カイ二乗分布の確率密 …
-
-
計量テンソルの物理的な意味
2016/08/28 -情報科学
はじめに Tensor Flowを理解するために計量テンソルの物理的な意味の理解が不可欠なので数式を追ってみた。ちょっと時間かかったけど、計量テンソルまではOK。スカラー、ベクトルを説明するまではまだ …
-
-
Redshift テーブル設計のベストプラクティス
2020/11/03 -Amazon Redshift
やりなおしプログラマ, 日々の学びどのようにテーブル設計するとパフォーマンスを得られるか. 公式がベストプラクティスを用意している. Redshiftのベストプラクティスが先にあってER図が後なのか、 ER図に対してベストプラクティス …
-
-
上下左右に黒帯を出さずにYouTube動画(16:9)のIFRAMEのアスペクト比を変える
2019/02/27 -技術メモ1
YouTubeの動画は16:9なので、16:9以外のアスペクト比にすると、 動画が内接するように上下左右に黒帯が出る。 アスペクト比を変えた矩形にクリッピングして、 それをレスポンシブにする例がなかっ …
-
-
予言的中区間
正規分布の特性から、逆に95%の確率で出現を言い当てられる区間を決められることを読んだ。 標準正規分布、一般正規分布の95%予言的中区間についてまとめてみる。 標準正規分布の95%予言的中区間 平均\ …
-
-
詐欺サイトを発見したので独自調査してみる
2016/08/24 -技術メモ1
ある商品を探していたのだが、迂闊にも詐欺サイトのカートをポチってしまった。 届いた確認メールが突っ込みどころ満載だったのでそのサイトの模倣元に確認して事なきを得たが、住所と電話番号と氏名を抜かれてしま …
-
-
Azure Queue StorageとAzure Service Busを比較してみた
Azureで非同期処理を実装する必要があり、Queue StorageとService Busを比較しました。 メッセージの順序保証と消失回避をガチで追求するService Busは考慮すべき事項が大 …
-
-
同時確率分布と周辺確率分布の関係と独立性の定義
確率変数XとYが微妙に連動して動くときに何が起こっているのか。 状態空間モデルとベイズ統計で理解が必須なので、全くわからないながらもまとめてみる。 2次元確率分布の共分散と相関係数は次回で、まずは確率 …
-
-
筋トレ強度を上げて1週間、記録を振り返る
筋トレ強度を上げて1週間経過した 有酸素運動中心のシェイプアップに、強度の高い筋トレを追加した。 1週間経過し、早速、体重・体脂肪率グラフに変化があった。 順調に減少していた体重が68kgまで戻り、体 …
-
-
接続中のセッションを全部切る方法
2020/10/14 -PostgreSQL
日々の学びセッション毎にプロセスが動いている。 pg_terminate_backend()を使ってプロセスを落とせば良い。 動いているプロセスを落とせばセッションは切れる。 killで落とすと上手くいかないの …
-
-
PostgreSQL ダブルクォートで括られたDB名は大文字と小文字が区別される. FATAL: database “
” does not exist . 2021/07/29 -PostgreSQL
pg_dumpコマンドを使って作られたdumpファイルをpg_restoreでリストアしようとしたところ、 DB名が無いと怒られた. dbnameという名前のDBは確かにあるはずなのに. psql: …