Blog – 伊東生態統計研究室

『ポアソン分布・ポアソン回帰・ポアソン過程』第5章の内容をRでやってみる

R

『ポアソン分布・ポアソン回帰・ポアソン過程』（島谷健一郎著, 近代科学社, 2017）の第5章「空間点過程モデルの第1歩：非定常ポアソン過程」にある、非定常ポアソン過程による点配置やモデルあてはめをRでやってみました。今回は本の元データがないので、だいだい相当するようなことをやっています。ついでにL関数もためしています。

『ポアソン分布・ポアソン回帰・ポアソン過程』第4章をRで再現する

R

『ポアソン分布・ポアソン回帰・ポアソン過程』（島谷健一郎著, 近代科学社, 2017）の第4章「AICの根拠をシミュレーションで納得する」から、カルバック・ライブラー情報量や平均対数尤度のシミュレーションをRで再現してみました。

『ポアソン分布・ポアソン回帰・ポアソン過程』第3章の図をRで再現する

R

『ポアソン分布・ポアソン回帰・ポアソン過程』（島谷健一郎著, 近代科学社, 2017）の第3章「ポアソン回帰モデルと赤池情報量規準(AIC)」から、ポアソン回帰とそのあてはまり具合の図、それからモデルによるAICの比較をRで再現してみました。

『ポアソン分布・ポアソン回帰・ポアソン過程』第2章の図をRで再現する

R

『ポアソン分布・ポアソン回帰・ポアソン過程』（島谷健一郎著, 近代科学社, 2017）の第2章「ポアソン分布モデルと最尤法」から、尤度関数の図と、モデルのあてはまり、最尤推定値の一致性・漸近正規性の図をRで再現してみました。

『ポアソン分布・ポアソン回帰・ポアソン過程』第1章の図をRで再現する

R

『ポアソン分布・ポアソン回帰・ポアソン過程』（島谷健一郎著, 近代科学社, 2017）の第1章「ポアソン分布の2つの起源」から、ランダムなイベントとポアソン分布との関係をしめす図2つと、ポアソン乱数の生成の図1つをRで再現してみました。

Stanによる、ゼロが観察されないポアソン分布のモデリング

R

Stan

ポアソン分布から発生したデータで、ゼロだけ観測できないという状況を想定します。そのようなデータについて元の平均とゼロを含めた観測数を推定します。

Stanによる外れ値のモデリング

R

Stan

『ベイズモデリングの世界』（伊庭幸人編, 岩波書店, 2018）の講義3にある外れ値のモデルをStanで実装してみました。

森下(1957)の間隔法（分角順位法）による密度推定

R

森下(1957)の間隔法（分角順位法）による個体群密度の推定をおこなう関数です。方形区を設定して、すべての個体を数える方法に比べると、少ない労力で密度の推定ができるのが特長です。

金沢市への観光来訪者数の状態空間モデルによる解析

R

金沢市中心部を歩いていると、多くの観光客を目にします。観光客の数の変化を時系列分析して、どのような傾向があるのかを検討しました。

Stanによる歪正規分布のあてはめ

R

Stan

Stanの確率分布には歪正規分布もありますので、ちょっとためしてみました。

「曲がりくねった共変量関係」をStanを使ってガウス過程でモデル化

R

Stan

『生態学のための階層モデリング』第10章10.4節にある「曲がりくねった共変量関係」をStanを使ってモデル化してみました。本ではBUGSを使って罰則つきスプラインでモデル化していますが、ここではガウス過程でモデル化しました。

尤度比検定

R

Rのlmtestパッケージにあるlrtest関数で尤度比検定をやってみます。

Stanによる標準距離標本抽出法データの解析(2)

R

Stan

まえにも1回やりましたが、『生態学のための階層モデリング』第8章8.3.1にある、標準距離標本抽出法(conventional distance sampling)で採取したデータの解析をふたたびStanでやってみました。本にある実データを使用して、ビン分割データの解析もやってみます。距離データで解析するほうはまえとほぼ同じです。

semパッケージを使用した共分散構造分析

R

Stan

豊田秀樹・前田忠彦・柳井晴夫『原因をさぐる統計学』（講談社ブルーバックス, 1992）の第3章にある、食物とガンとの関係を共分散構造分析（構造方程式モデリング）で解析する例をRのsemパッケージでやってみました。

変量効果のある順序ロジスティック回帰

R

Stan

変量効果(random effect)のある順序ロジスティック回帰(ordered logistic regression)です。Rでは以前はdrmパッケージがあったのですが、現在はCRANから消えてしまっています。そのかわりというわけでもないですが、現在はordinalパッケージのclmm関数を使うことができます。

BPA第5章イワツバメのデータをつかって、KFASで状態空間モデルのあてはめ

R

Bayesian Population Analysis using WinBUGS 第5章のイワツバメのデータをつかって、KFASで状態空間モデルのあてはめをおこないます。KFASでは、観測値が正規分布以外の分布も扱うことができます。

Rにおける順序尺度の説明変数の扱い

R

Rでは順序尺度の説明変数がどのように扱われるか、についてのメモです。

Rで幾何平均を求める

R

Rで幾何平均を求めるには、exp(mean(log(x)))とするか、psychパッケージのgeometric.mean()関数をつかいます。

tmapパッケージによる地図化

R

tmapは地理空間データを地図化するパッケージで、ggplot2のように”+“演算子でレイヤーを重ねていけるのが特長です。

duckplyrをつかってみた

R

DuckDB

Tokyo.R 113 でのeitsupiさんの発表「duckplyr覚醒！」で紹介されていたduckplyrをためしてみました。

furrrパッケージでNIMBLEを並列化する

R

NIMBLE

NIMBLE のMCMC計算に時間がかかるとき、連鎖ごとに並列実行したいと思うことがありました。これについて NIMBLE User Manual には Running MCMC chains in parallel という節がありまして、以下のように書いてあります。

rimパッケージでRからMaximaを使う

R

Maxima

RからMaximaを使えるようにするrimというパッケージがあるということでためしてみました。

Emacsのessgdでバッファ内にRのグラフを描画する

R

Emacs

Emacsのバッファ内にRのグラフを描画できるessgdというパッケージがあるということで、ためしてみました。

『Rによる数値生態学』第2章のグラフをggplot2で描いてみた

R

『Rによる数値生態学』（原著“Numerical Ecology with R, 2nd Edition”）のグラフは基本的にbase graphicsで描かれています。このうち第2章「探索的データ解析」のものを、勉強のためggplot2（とpatchwork）で描いてみようと思いました。

Stanの隠れマルコフモデルでrow_stochastic_matrixをつかう

R

Stan

CmdStan 2.36がリリースされました。このバージョンでは、row_stochastic_matrixという制限付きの型がくわわりました。これは各行が確率単体(simplex)となっている行列です。（同時に、column_stochastic_matrixとsum_to_zero_vectorもくわわりました。それぞれ、列が確率単体の行列、…

tidyplotsをためす

R

r-wakalangで紹介されていたtidyplotsをためしてみました。

unmarkedでTMBを使う

R

TMB

N-mixtureモデルや占有モデルなど、生物の個体数推定の階層モデルをあつかうunmarkedパッケージで、エンジンにTMBが使えるようになっていましたので、試してみました。

tmbstanによるMCMCサンプリング

R

TMB

C++

Stan

TMBでは、負の対数尤度を最小化することで最尤推定値を得ますが、TMBのオブジェクトを利用してMCMCのサンプリングをおこなうtmbstanというパッケージがあったので、ためしてみました。

sdmTMBによる空間変量効果を組み込んだモデル

R

TMB

TMBを使って空間分布モデルを扱うRパッケージにsdmTMBがあります。今回はsdmTMBをつかって、空間変量効果を組み込んだモデルのあてはめをおこなってみました。

geostanパッケージでCARモデルのあてはめ

R

Stan

先月、「StanでCARモデル」という記事を書いたのですが、よくよく調べるとgeostanというパッケージがありました。今回は、geostanパッケージをつかってCAR (Conditional AutoRegressive) モデルのあてはめをおこないます。

モランのI統計量を求める

R

前回の記事で用いた石川県の市町村人口データについて、空間自己相関の指標となるモランのI統計量 (Moran’s I statistic) を計算してみます。

ggplot2による地理データの可視化

R

Rのsfパッケージとggplot2パッケージを利用して、地理データを可視化してみます。

TMBによる状態空間モデル（ローカルレベルモデル）

R

TMB

C++

TMBで、状態空間モデルのあてはめをやってみました。ただ、モデル式をそのままコード化したものでは、最適化計算がうまく収束しませんでした。

TMBによる、変量効果ありのN混合モデル

R

TMB

C++

前回作成したTMBのN混合モデルに変量効果を加えてみました。

TMBによるN混合モデル

R

TMB

C++

TMBでN混合モデル(N-mixture model)を実装してみました。TMBのexamplesにも実装例はあるのですが、R風の密度関数をつかって、より簡潔に書いてみました。

TMBによる混合効果モデルのあてはめ

R

TMB

C++

TMBを混合効果モデルを書いてみました。まだ不慣れなので、いろいろ試行錯誤しましたが、なんとかできました。

TMBによるポアソン回帰モデルとゼロ過剰ポアソンモデルのあてはめ

R

TMB

C++

Applied Statistical Modelling for Ecologistsで使われているということもありましたので、TMBをためしてみました。

glmmTMBによるゼロ過剰ポアソンモデルのあてはめ

R

TMB

glmmTMBは、TMBを利用して一般化線形混合モデルのあてはめをおこなうRパッケージです。これをつかって、変量効果のあるゼロ過剰ポアソンモデルのあてはめをやってみました。

tidymodelsからの判別分析

R

前回の記事「tidymodelsからのサポートベクターマシン」のサポートベクターマシーンのところを判別分析に置き換えるということをやってみました。tidymodelsのおかげで、書き換えるところは最小限になっています。

tidymodelsからのサポートベクターマシン

R

Rで、tidymodelsを利用してサポートベクターマシンによる分類をためしてみました。tidymodelsの勉強には、著者のお一人の瓜生さんからいただいた下記書籍を参考にしました。

TidyDensityをためしてみた

R

TidyDensityというパッケージがありました。さまざまな確率分布に従う乱数をtidyな形で生成できるというもののようです。

StanでCARモデル

R

Stan

空間自己相関をとりいれたStanのモデルは、 Max Josephさんの“Exact sparse CAR models in Stan”、Mitzi Morrisさんの“Spatial Models in Stan: Intrinsic Auto-Regressive Models for Areal Data”がStanのCase…

雑然データを整然データに整形した1例

R

中央省庁のオープンデータには印刷を前提としたフォーマットのものをそのままExcel形式やCSV形式で公開していて、いわゆる雑然データ(messy data)となっているというものがままあります。今回はそのひとつを整然データ(tidy data)に整形する過程をご紹介します。

NIMBLEで、多変量正規分布の状態空間モデルのあてはめ

R

NIMBLE

前の記事にひきつづき、松浦健太郎さんの“Bayesian Statistical Modeling with Stan, R, and Python”の11.6節にある、多変量正規分布の状態空間モデルをNIMBLEに移植してみました。

JAGSで、変化点を持つ状態空間モデルのあてはめ

R

JAGS

松浦健太郎さんの“Bayesian Statistical Modeling with Stan, R, and Python”の11.5節にある、変化点（スイッチ成分）を持つ状態空間モデルをJAGSに移植してみました。

RからODBC経由でFileMaker Proのデータベースに接続する

R

FileMaker Pro

「Rのdbplyrでサブクエリを構築すると分かりやすい」を読んで、ふとFileMaker ProのデータベースにRから接続してみようと思ったので、やってみました。以前は、RODBCパッケージをつかいましたが、今回はodbcパッケージを使用しました。

間隔尺度変数の交互作用

R

第71回日本生態学会大会での粕谷さんの発表内容を自分でも確認してみました。回帰のとき、間隔尺度変数との交互作用がある変数は、間隔尺度変数のゼロの取り方が変わると、係数の値が変わるという話です。

Stanによるディリクレ過程混合モデル

R

Stan

先日NIMBLEで解析した、平均が異なるポアソン分布が混合しているディリクレ過程混合モデルを今回はStanでやってみます。

NIMBLEによるディリクレ過程混合モデル（ポアソン分布版）

R

NIMBLE

複数の個体群が混ざっている個体数データを想定して、平均が異なるポアソン分布が混合しているデータをディリクレ過程混合モデルでクラスター分けすることを考えてみます。

NIMBLEによるディリクレ過程混合モデル

R

NIMBLE

The BUGS Book 11.8節 Bayesian nonparametric models の Example 11.8.1 Galaxy clustering: Dirichlet process mixuture models にあるモデルをNIMBLEに実装してみました。

nimbleHMCを使ってみる

R

NIMBLE

NIMBLEでは、nimbleHMCパッケージにより、Stanで使われているNo-U-Turn Hamiltonian Monte Carloサンプラーを利用できます。ということで、試してみました。

rgbifで、GBIFから日本のコウノトリの出現データを取得する

R

GBIF (Global Biodiversity Information Facility)は、地球上の生物多様性情報を集積し、提供する枠組みです。Rでは、rgbifパッケージを使用してGBIFからデータを取得できます。

ggplot2で第2種の誤りの確率を図示する

R

よくある図ですが、第2種の誤りの確率をggplot2で描いてみました。設定は、『統計学実践ワークブック』の第10章を参考にしています。

RでParquetの読み書き

R

そろそろRユーザーもApache ArrowでParquetを使ってみませんか？から4年。私もParquetを使ってみました。

田中吉郎の彫塑的水平曲線図法による地図描画

R

r.iresmi.netの記事Tanakaを読んで、田中吉郎の彫塑的水平曲線図法という地図描画方法を知りました。Rではその名もtanakaというパッケージがあります。

Create MLとFileMaker Proで、ヒノキ・スギの判別アプリの作成

Create ML

FileMaker Pro

Claris Engage Japan 2023にて、最近のFileMaker Proなら機械学習モデルを組み込んだアプリが作成できるという話をきいたので、試してみました。

VGG16による画像分類

Python

TensorFlow

Apple SiliconのMacでは、GPU対応のTensorFlowが使えるということで、TensorFlowを使った機械学習です。Keras組み込みのVGG16で画像の分類をやってみます。

母分散の信頼区間推定のシミュレーション

R

第109回Tokyo.Rの書籍抽選で、『数値シミュレーションで読み解く統計のしくみ～Rでためしてわかる心理統計』(小杉考司・紀ノ定保礼・清水裕士著, 技術評論社)をいただきました。統計的推測や分析をシミュレーションで理解するという本で、たいへん参考になります。

bayesplotパッケージによる事後予測検査（離散値編）

R

NIMBLE

前回のつづきで、今回は離散値の場合をあつかいます。

bayesplotパッケージによる事後予測検査

R

Stan

事後予測検査 (Posterior predictive check) は、モデルの評価のため、目的変数の事後予測分布から複製データを抽出して、それと観測値とがどのくらい整合がとれているのかを確認するというものです。モデルがデータにあっていなければ、複製データと観測値との間に大きな差が生じることになります。

線形回帰モデルの診断

R

R標準のlm関数で線形回帰モデルを当てはめた結果のオブジェクトにplot関数を適用すると回帰診断のプロットが表示されます。外れ値のあるデータや、線形ではないデータをあてはめた場合どのように表示されるのか見てみました。

tidymodelsでランダムフォレスト（付: reticulate経由のPythonでランダムフォレスト）

R

Python

『Rユーザのためのtidymodels[実践]入門』を参考に、Palmer Station penguin dataのペンギンの種の判別をランダムフォレストでおこなうというモデルをつくって、実行してみました。

交絡と中間変数

R

林・黒木(2016)にある、交絡および中間変数によるバイアスをシミュレーションで確認してみました。

NIMBLEによる季節調整モデル

R

NIMBLE

前回の記事のモデルをNIMBLEでやってみました。

dlmによる季節調整モデル

R

岩波データサイエンス Vol.6に書いた記事「Rによる状態空間モデリング—dlmとKFASを用いて—」のうち、dlmによる季節調整モデルの解析を（ちょっとだけ変えて）やりなおしてみました。元の記事の方がより詳細に書いてありますので、興味のある方はそちらも参照いただけると幸いです。

dplyrで周辺合計を計算する

R

Rでは、配列(array)や行列(matrix)だと、baseのmarginSums関数で周辺合計が計算できますが、この関数はデータフレームには適用できません。janitorパッケージを使うと簡単にできるそうなのですが、dplyrでなんとかしてみました。

樹木の直径と高さとの関係のモデリング（CmdStanR版）

R

Stan

『たのしいベイズモデリング2』第5章「樹木の直径と高さとの関係のモデリング」のコードをCmdStanRを使用するように修正しました。

Stanで打ち切りデータの解析

R

Stan

ある試験を2段階でおこなうとき、1次試験で一定の点数以上をとった人だけ2次試験を受けられるという状況を考えます。このとき、1次試験で落ちた人が2次試験も受けていたと想定した場合の2次試験の平均点と、1次試験と2次試験の点数の相関係数を求めます。

Durbin-Watson検定

R

回帰分析の残差に自己相関がないかを検定する手法としてDurbin-Watson検定があります。RではcarパッケージのdurbinWatsonTest関数が利用可能です。

NIMBLE (nimbleSMC) による粒子フィルタ

R

NIMBLE

NIMBLEには、nimbleSMCという関連パッケージがあって、粒子フィルタ（逐次モンテカルロ）に対応しています。ということで、ためしてみました。

NIMBLEによる条件付き自己回帰 (CAR) モデル

R

NIMBLE

久保さんの『データ解析のための統計モデリング入門』11章「空間構造のある階層ベイズモデル」にある、条件付き自己回帰 (CAR) モデルのあてはめを、NIMBLEで再現してみます。

隠れマルコフモデルによる多状態モデルのモデル化

R

Stan

NIMBLE

『BUGSで学ぶ階層モデリング入門』9章「多状態モデルを用いた捕獲再捕獲による生存と移動の推定」のうち、もっとも簡単なモデルをStanのhmm_marginalを使ってあてはめてみます。比較のため、NIMBLEでもやってみます。

Stanのhmm_marginalによる隠れマルコフモデルのあてはめ

R

Stan

NIMBLE

Stanには、隠れマルコフモデルの潜在状態を周辺化してパラメータを推定するhmm_marginalという関数が用意されています。これをつかった例をしめします。

Stanのgaussian_dlm_obsによる状態空間モデルのあてはめ

R

Stan

Stanには、状態空間モデルの1種であるガウシアン動的線形モデル用のgaussian_dlm_obsという分布が用意されています。これを利用して状態空間モデルのあてはめをやってみます。

AICによるモデル選択後に検定してはいけない

R

ちょうど1年前に、「いつでもAICを使えばよいというものではない」という発表資料を公開したのですが、あらためて関連した話をかいてみました。

Stanによる標準距離標本抽出法

R

Stan

Stanで、『生態学のための階層モデリング』8.3節にある標準距離標本抽出法モデルの解析をやってみます。

Rでマンデルブロ集合の描画

R

C++

Rで、マンデルブロ集合を描画してみます。Rだけではさすがにおそいので、計算部分ではC++を使います。

半分手動の分散分析

R

1元配置分散分析を半分手動でやってみます。

毎木調査データの正規化

R

先日の記事にて、毎木調査データを横長(wide)から縦長(long)の整然(tidy)データの形式に変形するということをしました。

毎木調査データのwide↔︎long変換

R

森林の調査では、一定の範囲（方形区、ベルト、円形プロットなど）の中にある樹木の胸高直径¹と樹高を測定するということがよくおこなわれます（毎木調査といいます）。こうした調査を長期間継続（毎年あるいは数年おきで）することにより、個々の樹木の成長や、枯死・新規加入の状況、森林全体の成長量などといったことがわかるようになります。

捕獲・再捕獲データからの生存率推定(CJSモデル)

R

NIMBLE

動物の捕獲・再捕獲データに、Cormack-Jolly-Seber (CJS)モデルを適用して、(見かけの)生存率と、再捕獲率を推定します。CJSモデルについては、BUGSで学ぶ階層モデリング入門や、Applied Hierarchical Modeling in Ecology Vol.2に解説があります。

常微分方程式をつかったモデルのパラメーター推定

R

Stan

Stanの組み込み関数には、常微分方程式を解く関数があります。これを使った例として、ロトカ・ヴォルテラの競争方程式を組み込んだモデルのパラメーター推定をやってみます。

ゼロ過剰ベータ回帰

R

Stan

ベータ分布では、0（や1）そのものを含むデータは扱えません。0となる場合をモデルに組み込むことで0を扱えるようにします。

ベータ回帰

R

Stan

(0, 1)の範囲をとるデータに対する回帰にはベータ回帰がよく使われます。Rのbetaregパッケージを使った場合とStanを使った場合、さらに単純に線形回帰を当てはめた場合を比較してみました。