%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\def\TITLE{\bf ガンマ分布の中心極限定理とStirlingの公式}
\def\AUTHOR{黒木玄}
\def\DATE{2016年5月1日作成%
\thanks{%
最新版は下記URLからダウンロードできる.
飽きるまで継続的に更新と訂正を続ける予定である.
5月1日Ver.0.1.
((中略))
%5月2日Ver.0.2: 対数版の易しいStirlingの公式の節を追加した.
%5月3日Ver.0.3: 色々追加. 特にFourierの反転公式に関する付録を追加した.
%5月4日Ver.0.4: ガウス分布のFourier変換の付録とGauss積分の計算の付録
%を追加した.
%5月5日Ver.0.5: 誤りの訂正と様々な追加(全17頁).
%5月5日Ver.0.6: ファイル名を変更し,
%対数版の易しいStirlingの公式の微小な改良の節を追加した(全18頁).
%5月6日Ver.0.7: ガンマ函数の正値性と対数凸性と函数等式による特徴付けと
%無限乗積展開の証明の節や対数版の易しいStirlingの公式を改良して
%通常のStirlingの公式を導くことなどを色々追加した(全24頁).
%5月7日Ver.0.8: 正弦函数の無限乗積展開を $\cos(tx)$ の
%Fourier級数展開を使って導く方法の解説を追加した(全25頁).
%5月8日Ver.0.9: Riemann-Lebesgueの定理の節と
%Fourier変換の部分和とFourier級数の部分和の収束に関する解説を追加(全30頁).
%5月9日Ver.0.10: 二項分布の中心極限定理の解説を追加(全33頁).
%5月12日Ver.0.11: Laplaceの方法による補正項の計算の仕方の解説と
%\tableref{table:Stirling}を追加(全37頁).
%5月13日Ver.0.12(43頁): 自由度の大きなカイ2乗分布が正規分布で近似できることと
%Stirlingの公式が同値であるというコメントを追加した.
%様々な確率分布についての付録(\secref{sec:dists})を追加した.
%Maxwell-Boltzmann則の導出も追加した(\secref{sec:MB1}).
%5月14日Ver.0.13(46頁): 細かい計算ミスを訂正し, MB則の解説を補充した.
%5月15~18日Ver.0.14(50頁): ギャンブルに関する逆正弦法則(\fnref{fn:arcsin}),
%Wignerの半円則(\fnref{fn:Wigner}),
%$\sin^2$ 型分布が佐藤・Tate予想に登場すること(\fnref{fn:Sato-Tate})
%のコメントを追加した.
%二項分布と第一種ベータ分布の関係(\secref{sec:Bin-Beta})と
%Poisson分布とガンマ分布の関係(\secref{sec:Poisson-Gamma})の
%簡単で大雑把な解説を追加した.
%Stirlingの公式のよりシンプルな証明の筋道の解説(\secref{sec:pconv-2})を追加した.
%細かな誤りを訂正した.
%5月23日Ver.0.15(57頁): 簡単なTauber型定理とその応用に関する\secref{sec:Tauber}
%を追加した. 応用例はWallisの公式と $x-x^2+x^4-x^8+x^{16}-\cdots$ の $x\nearrow 1$
%での漸近挙動の2つ. Wallisの公式型の漸近挙動からどのようにして逆正弦分布が
%出て来るかも解説してある.
%5月24日Ver.0.16(61頁): \theoremref{theorem:Tauber-Laplace}の証明が
%あまりにも雑だったので, Stone-Weierstrassの多項式近似定理から得られる
%\lemmaref{lemma:SW}を追加して, 詳しく書き直した.
%大きく書き直した直後なので誤りが残っているものと思われる.
%他にも細かな訂正と追加をした.
%5月24日Ver.0.17(61頁): 細かな誤りの訂正.
%5月25日Ver.0.18(67頁): Taylorの定理の証明の仕方に関する\secref{sec:Taylor}
%を追加した(iterated integralsによる線形常微分方程式の解法(\secref{sec:LODE})を含む).
%6月3日Ver.0.19(76頁): 細かい訂正と追加.
%Laplace-Stieltjes変換に関する漸近挙動に緩変動函数付きの
%Tauber型定理に関するかなり詳しい解説を追加した
%(\secref{sec:Laplace-Stieltjes}, \secref{sec:Tauber-Stieltjes}).
%他にも色々追加した.
%6月4日Ver.0.20(81頁): Stirling-Binetの公式に関する\secref{sec:Binet1}を追加した.
%その節の結果のまとめがこの時点では書きかけの\secref{sec:Binet2}の最初にある.
%6月23日Ver.0.20.1: このノートの内容は変化無し.
%この場所でこのノートの続編が公開されていることを\secref{sec:intro}の直前で
%アナウンスしておいた.
%6月29日Ver.0.21(86頁): 正規分布関連の確率分布に関する
%\theoremref{theorem:chi-square}, \theoremref{theorem:t},
%\theoremref{theorem:normal-t}, \theoremref{theorem:normal-t2},
%\theoremref{theorem:F}を追加した.
6月30日Ver.0.22: 細かな訂正と追記.
\secref{sec:Beta1st}を大幅に書き直した.
7月1日Ver.0.23(89頁): \secref{sec:Betas}を追加した.
7月4日Ver.0.24: \secref{sec:y=xt}の凡ミスを訂正した.
7月4日Ver.0.25(91頁): 不偏分散の直交変換による取り扱いに関する\secref{sec:Y_k}を追加した.
7月30日Ver.0.26(94頁): 多項分布とPearsonのカイ2乗統計量と多次元正規分布に関する
\secref{sec:Pearson}を追加した.
8月27日Ver.0.27(94頁): 細かい修正と追加.
9月11日Ver.0.28(96頁): \secref{sec:Gamma-Gauss-Stirling}の誤りを修正した.
9月12日Ver.0.29(96頁): この更新記録を大幅に削った.
更新の歴史については公開した古い版を参照して欲しい.
9月12日Ver.0.29a: 微修正.
}
\\[\bigskipamount]
{\small
\href{http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160501StirlingFormula.pdf}
{\tt http://www.math.tohoku.ac.jp/{\textasciitilde}kuroki/LaTeX/20160501StirlingFormula.pdf}
}}
\def\PDFTITLE{Stirlingの公式}
\def\PDFAUTHOR{黒木玄}
\def\PDFSUBJECT{確率論}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\documentclass[12pt,twoside]{jarticle}
\usepackage{amsmath,amssymb,amsthm}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\usepackage{hyperref}
\usepackage[dvipdfmx]{hyperref}
\usepackage{pxjahyper}
\hypersetup{%
bookmarksnumbered=true,%
colorlinks=true,%
setpagesize=false,%
pdftitle={\PDFTITLE},%
pdfauthor={\PDFAUTHOR},%
pdfsubject={\PDFSUBJECT},%
pdfkeywords={TeX; dvipdfmx; hyperref; color;}}
\newcommand\arxivref[1]{\href{http://arxiv.org/abs/#1}{\tt arXiv:#1}}
\newcommand\TILDE{\textasciitilde}
\newcommand\US{\textunderscore}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage[dvipdfmx]{graphicx}
\usepackage[all]{xy}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\usepackage[dvipdfmx]{color}
\newcommand\red{\color{red}}
\newcommand\blue{\color{blue}}
\newcommand\green{\color{green}}
\newcommand\magenta{\color{magenta}}
\newcommand\cyan{\color{cyan}}
\newcommand\yellow{\color{yellow}}
\newcommand\white{\color{white}}
\newcommand\black{\color{black}}
\renewcommand\r{\red}
\renewcommand\b{\blue}
\newcommand\dsum{\displaystyle\sum}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\pagestyle{headings}
\setlength{\oddsidemargin}{0cm}
\setlength{\evensidemargin}{0cm}
\setlength{\topmargin}{-1.3cm}
\setlength{\textheight}{25cm}
\setlength{\textwidth}{16cm}
%\allowdisplaybreaks
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\newcommand\N{{\mathbb N}} % natural numbers
\newcommand\Z{{\mathbb Z}} % rational integers
\newcommand\F{{\mathbb F}} % finite field
\newcommand\Q{{\mathbb Q}} % rational numbers
\newcommand\R{{\mathbb R}} % real numbers
\newcommand\C{{\mathbb C}} % complex numbers
%\renewcommand\P{{\mathbb P}} % projective spaces
\newcommand\eps{\varepsilon}
\renewcommand\d{\partial}
\newcommand\tf{{\tilde f}}
\newcommand\tg{{\tilde g}}
\newcommand\Li{\operatorname{Li}}
\renewcommand\Re{\operatorname{Re}}
\renewcommand\Im{\operatorname{Im}}
\newcommand\Xbar{{\overline X}}
\newcommand\bra{\langle}
\newcommand\ket{\rangle}
\newcommand\rank{\operatorname{rank}}
\newcommand\diag{\operatorname{diag}}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%
% enumerate
%
\renewcommand\labelenumi{(\arabic{enumi})}
\renewcommand\labelenumii{(\alph{enumii})}
\renewcommand\labelenumiii{(\roman{enumiii})}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%
% 定理環境
%
\newtheoremstyle{jplain}% name
{}% space above
{}% space below
{\normalfont}% body font
{}% indent amount
{\bfseries}% theorem head font
{.}% punctuation after theorem head
{4pt}% space after theorem head (default: 5pt)
{\thmname{#1}\thmnumber{#2}\thmnote{\hspace{2pt}(#3)}}% theorem head spec
%\theoremstyle{plain} % 見出しをボールド、本文で斜体を使う
%\theoremstyle{definition} % 見出しをボールド、本文で斜体を使わない
\theoremstyle{jplain}
\newtheorem{theorem}{定理}
\newtheorem*{theorem*}{定理} % 番号を付けない
\newtheorem{prop}[theorem]{命題}
\newtheorem*{prop*}{命題}
\newtheorem{lemma}[theorem]{補題}
\newtheorem*{lemma*}{補題}
\newtheorem{cor}[theorem]{系}
\newtheorem*{cor*}{系}
\newtheorem{example}[theorem]{例}
\newtheorem*{example*}{例}
\newtheorem{axiom}[theorem]{公理}
\newtheorem*{axiom*}{公理}
\newtheorem{problem}[theorem]{問題}
\newtheorem*{problem*}{問題}
\newtheorem{summary}[theorem]{要約}
\newtheorem*{summary*}{要約}
\newtheorem{guide}[theorem]{参考}
\newtheorem*{guide*}{参考}
%
%\theoremstyle{definition} % 見出しをボールド、本文で斜体を使わない
\theoremstyle{jplain}
\newtheorem{definition}[theorem]{定義}
\newtheorem*{definition*}{定義} % 番号を付けない
%
%\theoremstyle{remark} % 見出しをイタリック、本文で斜体を使わない
%\theoremstyle{definition} % 見出しをボールド、本文で斜体を使わない
\theoremstyle{jplain}
\newtheorem{remark}[theorem]{注意}
\newtheorem*{remark*}{注意}
%
\numberwithin{theorem}{section}
\numberwithin{equation}{section}
\numberwithin{figure}{section}
\numberwithin{table}{section}
%
% 引用コマンド
%
\newcommand\secref[1]{第\ref{#1}節}
\newcommand\theoremref[1]{定理\ref{#1}}
\newcommand\propref[1]{命題\ref{#1}}
\newcommand\lemmaref[1]{補題\ref{#1}}
\newcommand\corref[1]{系\ref{#1}}
\newcommand\exampleref[1]{例\ref{#1}}
\newcommand\axiomref[1]{公理\ref{#1}}
\newcommand\problemref[1]{問題\ref{#1}}
\newcommand\summaryref[1]{要約\ref{#1}}
\newcommand\guideref[1]{参考\ref{#1}}
\newcommand\definitionref[1]{定義\ref{#1}}
\newcommand\remarkref[1]{注意\ref{#1}}
%
\newcommand\figureref[1]{図\ref{#1}}
\newcommand\tableref[1]{表\ref{#1}}
\newcommand\fnref[1]{脚注\ref{#1}}
%
% \qed を自動で入れない proof 環境を再定義
%
\makeatletter
\renewenvironment{proof}[1][\proofname]{\par
%\newenvironment{Proof}[1][\Proofname]{\par
\normalfont
\topsep6\p@\@plus6\p@ \trivlist
\item[\hskip\labelsep{\bfseries #1}\@addpunct{\bfseries.}]\ignorespaces
}{%
\endtrivlist
}
\renewcommand{\proofname}{証明}
%\newcommand{\Proofname}{証明}
\makeatother
%
% 正方形の \qed を長方形に再定義
%
\makeatletter
\def\BOXSYMBOL{\RIfM@\bgroup\else$\bgroup\aftergroup$\fi
\vcenter{\hrule\hbox{\vrule height.85em\kern.6em\vrule}\hrule}\egroup}
\makeatother
\newcommand{\BOX}{%
\ifmmode\else\leavevmode\unskip\penalty9999\hbox{}\nobreak\hfill\fi
\quad\hbox{\BOXSYMBOL}}
\renewcommand\qed{\BOX}
%\newcommand\QED{\BOX}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\begin{document}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\title{\TITLE}
\author{\AUTHOR}
\date{\DATE}
\maketitle
\tableofcontents
%\pagebreak
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%\bigskip\bigskip
\paragraph{古い版}
このノートの古い版が次の場所で公開されている:
\begin{center}
{\small
\href
{http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160501StirlingFormula/}
{\tt http://www.math.tohoku.ac.jp/{\textasciitilde}kuroki/LaTeX/20160501StirlingFormula/}
}
\end{center}
最初のVer.0.1は3ページしかなかった.
%\bigskip
\paragraph{続編}
このノートの続編が次の場所で公開されている:
\begin{center}
{\small
\href
{http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf}
{\tt http://www.math.tohoku.ac.jp/{\textasciitilde}kuroki/LaTeX/20160616KullbackLeibler.pdf}
}
\end{center}
この続編ではKullback-Leibler情報量(相対エントロピーの $-1$ 倍)と
Sanovの定理を扱っており, Sanovの定理から,
Boltzmann因子($e^{-\beta E_i}$),
Gibbs分布(カノニカル分布, $e^{-\beta E_i}q_i/Z$)
が経験分布として自然に現われることを示している.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\setcounter{section}{-1} % 最初の節番号を0にする
\section{はじめに}
\label{sec:intro}
{\bf Stirlingの公式}とは
\[
n! \sim n^n e^{-n} \sqrt{2\pi n} \qquad (n\to \infty)
\]
という階乗の近似公式のことである.
ここで $a_n\sim b_n$ ($n\to\infty$)は $\lim_{n\to\infty}(a_n/b_n)=1$ を
意味する. より精密には
\[
n! = n^n e^{-n} \sqrt{2\pi n}\left(1+\frac{1}{12n}+O\left(\frac{1}{n^2}\right)\right) \qquad (n\to \infty)
\]
が成立している%
\footnote{\secref{sec:Laplace}を見よ.}.
このノートではまず最初にガンマ分布に関する中心極限定理からStirlingの公式が
``導出''されることを説明する.
その後は様々な方法でStirlingの公式を導出する.
精密かつ厳密な議論はしない.
このノートの後半の付録群では関連の基礎知識の解説を行なう.
このノートの全体は学生向けのGauss積分入門, ガンマ函数入門, ベータ函数入門,
Fourier解析入門になることを意図して書かれた雑多な解説の寄せ集めである.
前の方の節で後の方の節で説明した結果を使うことが多いので
読者は注意して欲しい.
基本的な方針として易しい話しか扱わないことにする.
\begin{table}[htbp]
\caption{Stirlingの公式による階乗の近似}
\label{table:Stirling}
\centering
\begin{tabular}{|c||c|cc|cc|} \hline
$n$ & $n!$ & $A_n=n^ne^{-n}\sqrt{2\pi n}$ & ($\text{誤差}/n!$) & $A_n(1+1/(12n))$ & ($\text{誤差}/n!$) \\ \hline\hline
$1$ & 1 & $0.92\cdots$ & (7.78\%) & $0.9989\cdots$ & ($0.10\%$) \\ \hline
$3$ & 6 & $5.836\cdots$ & (2.73\%) & $5.998\cdots$ & ($0.028\%$) \\ \hline
$10$ & 3628800 & $3598695.6\cdots$ & (0.83\%) & $3628684.7\cdots$ & ($0.0032\%$) \\ \hline
$30$ & $2.6525\cdots\times10^{32}$ & $2.6451\cdots\times10^{32}$ & (0.28\%) & $2.6525\cdots\times10^{32}$ & ($3.7\times10^{-6}$) \\ \hline
$100$ & $9.3326\cdots\times10^{157}$ & $9.3248\cdots\times10^{157}$ & (0.08\%) & $9.3326\cdots\times10^{157}$ & ($3.4\times10^{-7}$) \\
\hline
\end{tabular}
\end{table}
\tableref{table:Stirling}を見ればわかるように,
$n^n e^{-n}\sqrt{2\pi n}$ による $n!$ の近似の誤差は,
$n=3$ の段階ですでに $3\%$ を切っており,
$n=10$ の段階では $1\%$ を切っている.
さらに $1/(12n)$ で補正すると誤差は劇的に小さくなり,
$n=1$ の段階ですでに近似の誤差が $0.1\%$ 程度と相当に小さい:
\[
\frac{\sqrt{2\pi}}{e}\left(1+\frac{1}{12}\right) = 0.9989\cdots \approx 1.
\]
このようにStirlingの公式は階乗の近似公式として非常に優秀である%
\footnote{\href
{http://www.ebyte.it/library/downloads/2007_MTH_Nemes_GammaFunction.pdf}
{Gerg\"o Nemes, New aymptotic expansion for the $\Gamma(z)$ function, 2007}
に階乗の様々な近似公式の比較がある. たとえば Nemes の公式
\[
n!
=\left[\left(n + \frac{1}{12n-\frac{1}{10n+\cdots}}\right)\frac{1}{e}\right]^n\sqrt{2\pi n}
=n^n e^{-n} \sqrt{2\pi n}
\left(1+\frac{1}{12n^2}+\frac{1}{1440n^4}+\cdots \right)^n
\]
は極めて優秀な近似公式である.
}.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ガンマ分布に関する中心極限定理からの``導出''}
ガンマ分布とは次の確率密度函数で定義される確率分布のことである%
\footnote{ガンマ函数は $s>0$ に対して
$\Gamma(s)=\int_0^\infty e^{-x}x^{s-1}\,dx$ と定義される.
直接の計算によって $\Gamma(1)=1$ を,
部分積分によって $\Gamma(s+1)=s\Gamma(s)$ を示せるので,
$0$ 以上の整数 $n$ について $\Gamma(n+1)=n!$ となる.}:
\[
f_{\alpha,\tau}(x) =
\begin{cases}
\dfrac{e^{-x/\tau}x^{\alpha-1}}{\Gamma(\alpha)\tau^\alpha} & \qquad (x>0), \\
0 & \qquad (x\leqq 0).
\end{cases}
\]
ここで $\alpha,\tau>0$ はガンマ分布を決めるパラメーターである%
\footnote{$\alpha$ は shape parameter と,
$\tau$ は scale parameter と呼ばれているらしい.
ガンマ分布の平均と分散はそれぞれ $\alpha\tau$ と $\alpha\tau^2$ になる.}.
以下簡単のため $\alpha=n>0$, $\tau=1$ の場合のガンマ分布のみを扱うため
に $f_n(x)=f_{n,1}(x)$ とおく:
\[
f_n(x) = \frac{e^{-x} x^{n-1}}{\Gamma(n)} \qquad (x>0).
\]
確率密度函数 $f_n(x)$ で定義される確率変数を $X_n$ と書くことにする.
確率変数 $X_n$ の平均 $\mu_n$ と分散 $\sigma_n^2$ は両方 $n$ になる%
\footnote{確率密度函数 $f(x)$ を持つ確率変数 $X$ に対して,
期待値汎函数が $E[g(X)]=\int_\R g(x)f(x)\,dx$ と定義され,
平均が $\mu=E[X]$ と定義され,
分散が $\sigma^2=E[(X-\mu)^2]=E[X^2]-\mu^2$ と定義される.}:
\begin{align*}
&
\mu_n = E[X_n] = \int_0^\infty x f_n(x)\,dx = \frac{\Gamma(n+1)}{\Gamma(n)}=n,
\\ &
E[X_n^2] = \int_0^\infty x^2 f_n(x)\,dx = \frac{\Gamma(n+2)}{\Gamma(n)}=(n+1)n,
\\ &
\sigma_n^2 = E[X_n^2]-\mu_n^2 = n.
\end{align*}
ゆえに確率変数 $Y_n=(X_n-\mu_n)/\sigma_n=(X_n-n)/\sqrt{n}$ の
平均と分散はそれぞれ $0$ と $1$ になり, その確率密度函数は
\[
\sqrt{n}f_n(\sqrt{n}y+n)
=
\sqrt{n}\frac{e^{-(\sqrt{n}y+n)}(\sqrt{n}y+n)^{n-1}}{\Gamma(n)}
\]
になる%
\footnote{確率変数 $X$ の確率分布函数が $f(x)$ のとき, 確率変数 $Y$ を $Y=(X-a)/b$ と
定めると, $E[g(Y)]=\int_\R g((x-a)/b)f(x)\,dx = \int_\R g(y) b f(by+a)\,dy$ なので,
$Y$ の確率分布函数は $b f(by+a)$ になる.}.
この確率密度函数で $y=0$ とおくと
\[
\sqrt{n}f_n(n)
=
\sqrt{n}\frac{e^{-n}n^{n-1}}{\Gamma(n)}
=
\frac{n^n e^{-n}\sqrt{n}}{\Gamma(n+1)}
\]
となる. $n>0$ が整数のとき $\Gamma(n+1)=n!$ なので,
これが $n\to\infty$ で $1/\sqrt{2\pi}$ に収束することとStirlingの公式の成立は同値になる.
ガンマ分布が再生性を満たしていることより,
中心極限定理を適用できるので,
$\R$ 上の有界連続函数 $\varphi(x)$ に対して, $n\to\infty$ のとき
\[
\int_0^\infty \varphi\left(\frac{x-n}{\sqrt{n}}\right)f_n(x)\,dx
=
\int_0^\infty \varphi(y)\sqrt{n}f_n(\sqrt{n}y+n)\,dy
\longrightarrow
\int_{-\infty}^\infty \varphi(y)\frac{e^{-y^2/2}}{\sqrt{2\pi}}\,dy.
\]
$\varphi(y)$ をデルタ函数 $\delta(y)$ に近付けることによって
(すなわち確率密度函数の $y$ に $0$ を代入することによって),
\[
\sqrt{n}f_n(n)
=
\sqrt{n}\frac{e^{-n}n^{n-1}}{\Gamma(n)}
=
\frac{n^n e^{-n} \sqrt{n}}{\Gamma(n+1)}
\longrightarrow
\frac{1}{\sqrt{2\pi}}
\qquad(n\to\infty)
\]
を得る.
この結果はStirlingの公式の成立を意味する.
以上の``導出''の最後で確率密度函数の $y$ に $0$ を代入するステップ
には論理的にギャップがある.
このギャップを埋めるためには
中心極限定理をブラックボックスとして利用するのではなく,
中心極限定理の特性函数を用いた証明に戻る必要がある.
そのような証明の方針については次の節を見て欲しい.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{ガンマ分布の特性函数を用いた表示からの導出}
前節では中心極限定理を便利なブラックボックスとして用いて
Stirlingの公式を``導出''した.
しかし, その``導出''には論理的なギャップがあった.
そのギャップを埋めるためには,
中心極限定理が確率密度函数を特性函数(確率密度函数の逆Fourier変換)の
Fourier変換で表示することによって証明されることを思い出す必要がある.
この節ではガンマ分布の確率密度函数を特性函数のFourier変換で表わす公式を
用いて, 直接的にStirlingの公式を証明する%
\footnote{筆者はこの証明法を
\href
{https://www.math.kyoto-u.ac.jp/~nobuo/pdf/prob/stir.pdf}
{https://www.math.kyoto-u.ac.jp/{\textasciitilde}nobuo/pdf/prob/stir.pdf}
を見て知った.}.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Stirlingの公式の証明}
ガンマ分布の確率密度函数 $f_n(x)=e^{-x}x^{n-1}/\Gamma(n)$ ($x>0$)
の特性函数(逆Fourier変換) $F_n(t)$ は次のように計算される%
\footnote{確率分布がパラメーター $n$ について再生性を持つことと
特性函数がある函数の $n$ 乗の形になることは同値である.}:
\[
F_n(t)
=\int_0^\infty e^{itx} f_n(x)\,dx
=\frac{1}{\Gamma(n)}\int_0^\infty e^{-(1-it)x} x^{n-1}\,dx
%=\frac{1}{\Gamma(n)}\frac{\Gamma(n)}{(1-it)^n}
=\frac{1}{(1-it)^n}.
\]
ここで, 実部が正の複素数 $\alpha$ に対して
\[
\frac{1}{\Gamma(n)}\int_0^\infty e^{-\alpha t} t^{n-1}\,dt = \frac{1}{\alpha^n}
\]
となること使った. この公式はCauchyの積分定理を使って示せる%
\footnote{
Cauchyの積分定理を使わなくても示せる.
左辺を $f(\alpha)$ と書くと, $f(1)=1$ でかつ部分積分によって
$f'(\alpha)=-(n/\alpha)f(\alpha)$ となることがわかるので,
その公式が得られる.
正の実数 $\alpha$ に対するこの公式は $t=x/\alpha$ という
置換積分によって容易に証明される.
}.
Fourierの反転公式より%
\footnote{Fourierの反転公式の証明の概略については\secref{sec:Fourier}を参照せよ.},
\[
f_n(x)
=
\frac{e^{-x} x^{n-1}}{\Gamma(n)}
=
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-itx}F_n(t)\,dt
=
\frac{1}{2\pi}\int_{-\infty}^\infty \frac{e^{-itx}}{(1-it)^n}\,dt
\qquad (x>0).
\]
この公式さえ認めてしまえばStirlingの公式の証明は易しい.
この公式より, $t=\sqrt{n}u$ と置換することによって,
\begin{align*}
\sqrt{n}f_n(n)
=
\frac{n^n e^{-n}\sqrt{n}}{\Gamma(n+1)}
=
\frac{\sqrt{n}}{2\pi}
\int_{-\infty}^\infty
\frac{e^{-itn}}{(1-it)^n}
\,dt
=
\frac{1}{2\pi}
\int_{-\infty}^\infty
\frac{e^{-iu\sqrt{n}}}{(1-iu/\sqrt{n})^n}\,du.
\end{align*}
Stirlingの公式を証明するためには,
これが $n\to\infty$ で $1/\sqrt{2\pi}$ に収束することを示せばよい.
そのために被積分函数の対数の様子を調べよう:
\begin{align*}
\log\frac{e^{-iu\sqrt{n}}}{(1-iu/\sqrt{n})^n}
&
=-n\log\left(1-\frac{iu}{\sqrt{n}}\right)-iu\sqrt{n}
\\&
=n\left(\frac{iu}{\sqrt{n}}-\frac{u^2}{2n}+o\left(\frac{1}{n}\right)\right)-iu\sqrt{n}
=-\frac{u^2}{2} + o(1).
\end{align*}
したがって, $n\to\infty$ のとき
\[
\frac{e^{-iu\sqrt{n}}}{(1-iu/\sqrt{n})^n} \longrightarrow e^{-u^2/2}.
\]
これより, $n\to\infty$ のとき
\[
\sqrt{n}f_n(n)
=
\frac{n^n e^{-n}\sqrt{n}}{\Gamma(n+1)}
=
\frac{1}{2\pi}
\int_{-\infty}^\infty
\frac{e^{-iu\sqrt{n}}}{(1-iu/\sqrt{n})^n}\,du
\longrightarrow
\frac{1}{2\pi}
\int_{-\infty}^\infty
e^{-u^2/2}\,du
=
\frac{1}{\sqrt{2\pi}}
\]
となることがわかる%
\footnote{厳密に証明したければ, たとえばLebesgueの収束定理を使えばよい.}.
最後の等号で一般に正の実数 $\alpha$ に対して
\[
\int_{-\infty}^\infty e^{-u^2/\alpha}\,du = \sqrt{\alpha\pi}
\]
となることを用いた%
\footnote{この公式はGauss積分の公式
$\int_{-\infty}^\infty e^{-x^2}\,dx=\sqrt{\pi}$
で $x=u/\sqrt{\alpha}$ と積分変数を変換すれば得られる.
Gauss積分の公式は以下のようにして証明される.
左辺を $I$ とおくと
$I^2=\int_{-\infty}^\infty\int_{-\infty}^\infty e^{-(x^2+y^2)}\,dx\,dy$
であり, $I^2$ は $z=e^{-(x^2+y^2)}$ のグラフと平面 $z=0$ で挟まれた
「小山状の領域」の体積だと解釈される.
その小山の高さ $0< z\leqq 1$ における断面積は $-\pi \log z$ に
なるので, その体積は $\int_0^1(-\pi\log z)\,dz=-\pi[z\log z-z]_0^1=\pi$
になる. ゆえに $I=\sqrt{\pi}$.
Gauss積分の公式の不思議なところは円周率が出て来るところであり,
しかもその平方根が出て来るところである.
しかしその二乗が小山の体積であることがわかれば, その高さ $z$ での断面が
円盤の形になることから円周率 $\pi$ が出て来る理由がわかる.
平方根になるのは $I$ そのものを直接計算したのではなく,
$I^2$ の方を計算したからである.
}. %
これでStirlingの公式が証明された.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{正規化されたガンマ分布の確率密度函数の各点収束}
確率密度函数 $f_n(x)=e^{-x}x^{n-1}$ を持つ確率変数を $X_n$ と書くとき,
$Y_n=(X_n-n)/\sqrt{n}$ の平均と分散はそれぞれ $0$ と $1$ になるので
あった(前節を見よ). $Y_n$ の確率密度函数は
\[
\sqrt{n}f_n(\sqrt{n}y+n)
=\sqrt{n}\frac{e^{-\sqrt{n}y-n}(\sqrt{n}y+n)^{n-1}}{\Gamma(n)}
=\frac{e^{-n}n^{n-1/2}}{\Gamma(n)}
\frac{e^{-\sqrt{n}y}(1+y/\sqrt{n})^n}{1+y/\sqrt{n}}
\]
になる. そして, $n\to\infty$ のとき
\begin{align*}
\log\left(e^{-\sqrt{n}y}\left(1+\frac{y}{\sqrt{n}}\right)^n\right)
&=
n\log\left(1+\frac{y}{\sqrt{n}}\right)-\sqrt{n}y
\\ &
=n\left(\frac{y}{\sqrt{n}}-\frac{y^2}{2n}+o\left(\frac{1}{n}\right)\right)
-\sqrt{n}y
=-\frac{y^2}{2}+o(1)
\end{align*}
なので, $n\to\infty$ で $e^{\sqrt{n}y}(1+y/\sqrt{n})^n\to e^{-y^2/2}$ と
なり, さらに $1+y/\sqrt{n}\to 1$ となる.
ゆえに, 次が成立することと Stirling の公式は同値になる:
\[
\sqrt{n}f_n(\sqrt{n}y+n)
=\sqrt{n}\frac{e^{-\sqrt{n}y-n}(\sqrt{n}y+n)^{n-1}}{\Gamma(n)}
\longrightarrow
\frac{e^{-y^2/2}}{\sqrt{2\pi}}
\qquad (n\to\infty).
\]
すなわち $Y_n$ の確率密度函数が標準正規分布の確率密度函数に各点収束すること
とStirlingの公式は同値である.
ガンマ分布について確率密度函数の各点収束のレベルで中心極限定理が
成立していることと Stirling の公式は同じ深さにある.
$Y_n$ の確率分布函数が標準正規分布の確率密度函数に各点収束することの
直接的証明は $\sqrt{n}f(n)$ の収束の証明と同様に以下のようにして得られる:
\begin{align*}
\sqrt{n}f_n(\sqrt{n}y+n)
&=
\frac{\sqrt{n}}{2\pi}
\int_{-\infty}^\infty
\frac{e^{-it(\sqrt{n}y+n)}}{(1-it)^n}\,dt
=\frac{1}{2\pi}
\int_{-\infty}^\infty
e^{-iuy}\frac{e^{-it\sqrt{n}}}{(1-iu/\sqrt{n})^n}\,dt
\\ &
\longrightarrow
\frac{1}{2\pi}
\int_{-\infty}^\infty e^{-iuy}e^{-u^2/2}\,du
=
\frac{1}{\sqrt{2\pi}}e^{-y^2/2}
\qquad(n\to\infty).
\end{align*}
最後の等号で, Cauchyの積分定理より%
\footnote{複素解析を使わなくても容易に証明される.
たとえば, $e^{-ity}$ のTaylor展開を代入して項別積分を実行しても証明できる.
もしくは, 両辺が $f'(y)=-y f(y)$, $f(0)=\sqrt{2\pi}$ を満たしていることからも
導かれる(左辺が満たしていることは部分積分すればわかる).
Cauchyの積分定理を使えば
形式的に $u+iy$ ($u>0$) を $v>0$ で置き換える
置換積分を実行したのと同じように見える証明が得られる.}
\[
\int_{-\infty}^\infty e^{-iuy}e^{-u^2/2}\,du
=\int_{-\infty}^\infty e^{-(u+iy)^2/2-y^2/2}\,du
=e^{-y^2/2}\int_{-\infty}^\infty e^{-v^2/2}\,dv
=e^{-y^2/2}\sqrt{2\pi}
\]
となることを用いた.
このように,
ガンマ分布の確率密度函数の特性函数のFourier変換による表示を使えば
確率密度函数の各点収束のレベルでの中心極限定理を容易に示すことができ,
その結果は Stirling の公式と同値になっている.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ガンマ分布の特性函数とFourier反転公式を用いない方法}
\label{sec:pconv-2}
ガンマ函数の定義より,
\[
n! = \Gamma(n+1)=\int_0^\infty e^{-x} x^n\,dx.
\]
積分変数を $x=n+\sqrt{n}\,y=n(1+y/\sqrt{n})$ によって $y$ に変換すると,
\[
n! = n^n e^{-n}\sqrt{n} \int_{-\sqrt{n}}^\infty e^{-\sqrt{n}\,y}\left(1+\frac{y}{\sqrt{n}}\right)^n\,dy.
\]
ゆえに
\[
c_n = \frac{n!}{n^n e^{-n}\sqrt{n}},
\qquad
h_n(y) =
\begin{cases}
e^{-\sqrt{n}\,y}(1+y/\sqrt{n})^n & (y>\sqrt{n}), \\
0 & (y\leqq -\sqrt{n}).
\end{cases}
\]
とおくと, $c_n=\int_{-\infty}^\infty h_n(y)\,dy$ となる.
$\log h_n(y)$ の $y=0$ における Taylor 展開によって
$\log h_n(y) = -y^2/2 + o(1)$ ($n\to\infty$)
となることがわかるので, $\lim_{n\to\infty} h_n(y)=e^{-y^2/2}$ となることがわかる.
さらに
\[
\lim_{n\to\infty}\int_{-\infty}^\infty h_n(y)\,dy
=\int_{-\infty}^\infty e^{-y^2/2}\,dy
%\tag{$\$$}
\]
という積分と極限の順序の交換を示すことができれば%
\footnote{$y\geqq 0$ で $h_n(y)\leqq h_1(y)=e^{-y}(1+y)$ が,
$y\leqq 0$ で $h_n(y)\leqq e^{-y^2/2}$ が成立しているので,
Lebesgueの収束定理を使えば容易に示すことができる.
Lebesgueの収束定理を使わなくても, $|y|\leqq M$ で $h_n$ が
一様収束することを用いて示すこともできる.},
$\lim_{n\to\infty}c_n=\sqrt{2\pi}$ が得られる. すなわちStirlingの公式
\[
\lim_{n\to\infty} \frac{n!}{n^n e^{-n} \sqrt{2\pi n}}=1
\]
が得られる. この筋道であればFourier解析の知識は必要ではなくなる.
積分と極限の順序交換をLebesgueの収束定理で示すためには
\[
0\leqq h_n(y)\leqq
\begin{cases}
e^{-y}(1+y) & (y\geqq 0), \\
e^{-y^2/2} & (y\leqq 0).
\end{cases}
\]
を示せば十分である($\phi(y)$ は可積分函数).
$y>-\sqrt{n}$ とし, $l_n(y)=\log h_n(y)$ を微分すると,
\begin{align*}
&
l'_n(y)
=\frac{\sqrt{n}}{1+y/\sqrt{n}}-\sqrt{n}
=\frac{-y}{1+y/\sqrt{n}},
\\ &
l''_n(y)=\frac{-1}{(1+y/\sqrt{n})^2}<0,
\\ &
%\qquad
l'''_n(y)=\frac{2/\sqrt{n}}{(1+y/\sqrt{n})^3}>0,
\\ &
l_n(0)=0, \qquad\;
l'_n(0)=0, \qquad\;
l''_n(1)=-1.
\end{align*}
Taylorの定理より, 各 $y>-\sqrt{n}$ ごとにある $0<\theta<1$ が存在して,
\[
l_n(y) = -\frac{y^2}{2} + Ay^3, \qquad
A = \frac{1}{3!}l'''_n(\theta y) =
\frac{1}{3\sqrt{n}(1+\theta y/\sqrt{n})^3} > 0.
\]
これより $\lim_{n\to\infty}l_n(y)=-y^2/2$.
ゆえに $\lim_{n\to\infty}h_n(y)=e^{-y^2/2}$ となることがわかる.
$y\leqq 0$ のとき,
$Ay^3\leqq 0$ なので $l_n(y)\leqq e^{-y^2/2}$ となるので,
$h_n(y)\leqq e^{-y^2/2}$.
$y\geqq 0$ と仮定し, $l_1(y)=\log(e^{-y}(1+y))$ と $l_n(y)$ ($n\geqq 1$)を比較しよう.
まず $l_1(0)=l_n(0)$ である.
そして $l'_1(y)=-y/(1+y)$, $l'_n(y)=-y/(1+y/\sqrt{n})$
の分母を比較すると,
$\sqrt{n}\geqq 1$ より $1+y\geqq 1+y/\sqrt{n}$ なので,
$l_1'(y)\geqq l'_n(y)$ ($y\geqq 0$) となる.
ゆえに, $y\geqq 0$ のとき $l_1(y)\geqq l_n(y)$ となる.
すなわち $h_n(y)\leqq h_1(y)=e^{-y}(1+y)$ となる.
これで示すべきことが示された.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{自由度が大きなカイ2乗分布が正規分布で近似できることとの関係}
独立な標準正規分布する確率変数 $n$ 個の確率変数 $X_1,\ldots,X_n$
によって $Y_n=X_1^2+\cdots+X_n^2$ と定義された確率変数 $Y_n$ の確率分布を
自由度 $n$ の{\bf カイ2乗分布}と呼ぶ.
自由度 $n$ のカイ2乗分布は
shape が $\alpha=n/2$ で scale が $\tau=2$ のガンマ分布に等しい.
特に自由度 $n$ のカイ2乗分布の確率密度函数は
\[
f_{n/2,2}(y) =
\begin{cases}
\dfrac{e^{-y/2}y^{n/2-1}}{\Gamma(n/2)2^{n/2}} & \qquad (y>0), \\
0 & \qquad (y\leqq 0).
\end{cases}
\]
になり, その平均と分散はそれぞれ $n$ と $2n$ になる. すなわち,
\[
\int_0^\infty g(y) \frac{e^{-y/2}y^{n/2-1}}{\Gamma(n/2)2^{n/2}}\,dy
=\int_{\R^n} g(x_1^2+\cdots+x_n^2) \frac{e^{-(x_1^2+\cdots+x_n^2)/2}}{(2\pi)^{n/2}}\,dx_1\cdots dx_n.
\]
この事実を示すためには, ガンマ分布の再生性より, $n=1$ の場合を示せば十分である.
$n=1$ の場合の計算は本質的にガウス積分と $\Gamma(1/2)$ の関係そのものである.
実際, $x>0$ で $x=\sqrt{y}$ と積分変数を置換することによって
\[
\int_{-\infty}^\infty g(x^2)\frac{e^{-x^2/2}}{\sqrt{2\pi}}\,dx
=2\int_0^\infty g(y) \frac{e^{-y/2}}{\sqrt{2\pi}}\frac{y^{-1/2}}{2}\,dy
=\int_0^\infty g(y)\frac{e^{-y/2}y^{1/2-1}}{\Gamma(1/2)2^{1/2}}\,dy.
\]
最後の等号で $\Gamma(1/2)=\sqrt{\pi}$ を使った.
統計学の世界では, 自由度 $n$ を大きくすると,
カイ2乗分布は平均が $n$ で分散が $2n$ の正規分布にゆっくり近付くことが
よく知られている.
その事実はガンマ分布の中心極限定理そのものである.
そして, 前節で示したように正規化されたガンマ分布の確率密度函数が
標準正規分布に各点収束するという結果とStirlingの公式は同値
(同じ深さの結果)なのであった.
以上をまとめると次のようにも言えることがわかる:
\begin{quote}
自由度 $n$ のカイ2乗分布を変数変換で平均 $0$, 分散 $1$ に正規化するとき,
$n\to\infty$ でその確率密度函数が標準正規分布の確率密度函数に収束する
という統計学においてよく知られている結果はStirlingの公式と同値である.
\end{quote}
要するに統計学をよく知っている人は, Stirlingの公式は
$n\to\infty$ でカイ2乗分布が正規分布に近づくことと同じことを意味していると思ってよい.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{一般の場合の中心極限定理に関する大雑把な解説}
一般の場合の中心極限定理について大雑把にかつ簡単に解説する.
$X_1,X_2,X_3,\ldots$ は独立で等しい確率分布を持つ確率変数の列であるとする.
さらにそれらは平均 $\mu=E[X_k]$ と分散 $\sigma^2=E[(X_k-\mu)^2]=E[X_k]^2-\mu^2$
を持つと仮定する.
$Y_n=(X_1+\cdots+X_n-n\mu)/\sqrt{n\sigma^2}$ とおくと $Y_n$ の平均と分散は
それぞれ $0$ と $1$ になる.
このとき $n\to\infty$ の極限で $Y_n$ の確率分布が平均 $0$, 分散 $1$ の
標準正規分布に(適切な意味で)収束するというのが中心極限定理である.
記述の簡単のため $X_k$ を $(X_k-\mu)/\sigma$ で置き換えることにする.
このように置き換えても $Y_n$ は変わらない.
このとき $X_k$ の平均と分散はそれぞれ $0$ と $1$ になるので,
$X_k$ の特性函数を $\varphi(t)=E[e^{itX_k}]$ と書くと,
\[
\varphi(t) = 1 - \frac{t^2}{2} + o(t^2).
\]
$Y_n=(X_1+\cdots+X_n)/\sqrt{n}$ とおくと
$Y_n$ の平均と分散もそれぞれ $0$ と $1$ になり,
$Y_n$ の特性函数の極限は次のように計算される:
\begin{align*}
E[e^{itY_n}]
&=\prod_{k=1}^n E[e^{itX_k/\sqrt{n}}]
=\varphi\left(\frac{t}{\sqrt{n}}\right)^n
\\ &
=\left( 1 - \frac{t^2}{2n} + o\left(\frac{1}{n}\right) \right)^n
\longrightarrow e^{-t^2/2}
\qquad (n\to\infty).
\end{align*}
ゆえに, Fourierの反転公式より%
\footnote{$\varphi(t/\sqrt{n})^n$ が可積分ならば
$Y_n$ に関するFourier 反転公式の結果は函数になるが,
可積分でない場合には測度になり, 測度の収束を考えることになる.},
$Y_n$ の確率密度函数%
\footnote{一般には $\R$ 上の確率測度になる.}
$f_n(y)$ は
\[
f_n(y)
= \frac{1}{2\pi}\int_{-\infty}^\infty
e^{-ity}\varphi\left(\frac{t}{\sqrt{n}}\right)^n\,dt
\]
になり, これは $n\to\infty$ で標準正規分布の確率密度函数
\[
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ity}e^{-t^2/2}\,dt
=\frac{e^{-y^2/2}}{\sqrt{2\pi}}
\]
に収束する\footnote{厳密には適切な意味での収束を考える必要がある.}.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{二項分布の中心極限定理}
以上では確率分布の「適切な意味での収束」についてほとんど何も説明
しなかった. この節ではその点について二項分布を例に用いて大雑把に説明する%
\footnote{アイデアの説明はするが, 厳密な議論はしない.}.
$X_n$ が二項分布する確率変数のとき, $g(X_n)$ の期待値は
\[
E[g(X_n)] = \sum_{k=0}^n g(k) \binom{n}{k}p^k q^{n-k}
\]
と定義される. ここで $0
0$ ($a=\infty$ を含む)に対して,
\[
\int_0^a e^{-nt} t^{s-1}\,dt
= \frac{1}{n^s}\int_0^{an} e^{-x} x^{s-1}\,dx
\sim
\frac{\Gamma(s)}{n^s}
\qquad (n\to\infty).
\]
$t=x/n$ と積分変数を置換した. この公式を使えば,
\[
\int_0^a e^{-nt} (\alpha_1 t^{s_1-1} + \alpha_2 t^{s_2-1} + \cdots)\,dt
=
\frac{\alpha_1\Gamma(s_1)}{n^{s_1}} + \frac{\alpha_2\Gamma(s_2)}{n^{s_2}} + \cdots
\qquad (n\to\infty)
\]
のような計算が可能になる.
これを用いてStirlingの公式の最初の補正項 $1/(12n)$を得てみよう.
函数 $f(x)$ を
\[
f(x) = x-\log(1+x) \qquad (x>-1)
\]
と定め, 積分変数を $y=n(1+x)$ と置換することによって,
\begin{align*}
n!
&= \Gamma(n+1)
= \int_0^\infty e^{-y} y^n\,dy
\\ &
= \int_{-1}^\infty e^{-n-nx}n^n(1+x)^n n\,dx
= n^{n+1}e^{-n}\int_{-1}^\infty e^{-nf(x)}\,dx.
\end{align*}
さらに積分を $x>0$ と $x<0$ に分けることによって
\[
\frac{n!}{n^{n+1}e^{-n}}
= \int_0^\infty e^{-nf(x)}\,dx + \int_0^1 e^{-nf(-x)}\,dx.
\]
もしも $f(x)=t$ もしくは $f(-x)=t$ と
積分変数を置換できれば, 積分の形が上で説明した形に
なりそうである.
実際にそれが可能なことを確認しよう.
$f(x)=x-\log(1+x)$ の導函数は
\[
f'(x) = 1 - \frac{1}{1+x} = \frac{x}{1+x}
\]
なので $x>0$ で $f'(x)>0$ となり, $-10$ で単調増加し,
$x<0$ で単調減少する.
ゆえに $x>0$ と $-10$ ではこの表示をそのまま用いる.
$x<0$ では $t^{1/2}$ を $-t^{1/2}$ で置き換え,
さらに $x$ を $-x$ で置き換えた表示を用いる.
すなわち
\[
x = \sqrt{2}\,t^{1/2} - \frac{2}{3}t + \frac{\sqrt{2}}{18}t^{3/2} - \cdots
\]
とおくと $f(-x)=t$ となる. 以上のそれぞれの場合において,
おいて
\[
\frac{dx}{dt}
=
\frac{\sqrt{2}}{2}\,t^{1/2-1}
\pm \frac{2}{3}t^{1-1}
+ \frac{\sqrt{2}}{12}t^{3/2-1}
\pm \cdots
\]
以上の2つの場合で $t$ の整数次の項には $-1$ 倍の違いがある.
準備が整った.
$f(x)=t$ と積分変数を置換することによって, $n\to\infty$ のとき
\begin{align*}
\int_0^\infty e^{-nf(x)}\,dx
&=\int_0^\infty e^{-nt}\frac{dx}{dt}\,dt
\\ &
= \int_0^\infty e^{-nt}
\left(
\frac{\sqrt{2}}{2}\,t^{1/2-1}
+ \frac{2}{3}t^{1-1}
+ \frac{\sqrt{2}}{12}t^{3/2-1}
+ \cdots
\right)
\,dt
\\ &
=
\frac{\sqrt{2}\Gamma(1/2)}{2n^{1/2}}
+\frac{2\Gamma(1)}{3}
+\frac{\sqrt{2}\Gamma(3/2)}{12n^{3/2}}
+\cdots
\\ &
=
\frac{\sqrt{2\pi}}{2n^{1/2}}
+\frac{2}{3n}
+\frac{\sqrt{2\pi}}{24n^{3/2}}
+\cdots
\end{align*}
となる. 最後に $\Gamma(1/2)=\sqrt{\pi}$, $\Gamma(1)=1$,
$\Gamma(3/2)=(1/2)\Gamma(1/2)=\sqrt{\pi}/2$ を使った.
もう一方の積分についても,
$f(-x)=t$ と積分変数を置換することによって同様にして,
$n\to\infty$ のとき
\[
\int_0^1 e^{-nf(-x)}\,dx
=
\frac{\sqrt{2\pi}}{2n^{1/2}}
-\frac{2}{3n}
+\frac{\sqrt{2\pi}}{24n^{3/2}}
-\cdots
\]
となる. 以上の2つを足し合わせると,
$n$ の整数乗分の1の項がすべてキャンセルし,
次が得られる:
\[
\frac{n!}{n^{n+1}e^{-n}}
=
\frac{\sqrt{2\pi}}{n^{1/2}}
+\frac{\sqrt{2\pi}}{12n^{3/2}}
+O\left(\frac{1}{n^{5/2}}\right)
\qquad
(n\to\infty).
\]
これは次のように書き直される:
\[
n!
= n^n e^{-n}\sqrt{2\pi n}
\left(1 + \frac{1}{12n} + O\left(\frac{1}{n^2}\right) \right)
\qquad (n\to\infty).
\]
これで第1の補正項 $1/(12n)$ もLaplaceの方法で求められることがわかった.
第2の補正項以降も同様にして求められる.
\begin{remark*}
以上の計算において ``$+\cdots$'' と書いた部分については注意が必要である.
そのことは以下の計算例を見ればわかる.
\[
\frac{1}{1+t} = 1-t+t^2-t^3+\cdots+(-1)^{k-1}t^{k-1}+(-1)^k\frac{t^k}{1+t}
\]
なので
\begin{align*}
\int_0^\infty \frac{e^{-nt}\,dt}{1+t}
&
=\frac{\Gamma(1)}{n}
-\frac{\Gamma(2)}{n^2}
%+\frac{\Gamma(3)}{n^3}
%-\frac{\Gamma(4)}{n^4}
+\cdots
+(-1)^{k-1}\frac{\Gamma(k)}{n^k}
+(-1)^k\int_0^\infty\frac{e^{-nt}t^k\,dt}{1+t}
\\ &
=\frac{0!}{n}
-\frac{1!}{n^2}
%+\frac{2!}{n^3}
%-\frac{3!}{n^4}
+\cdots
+(-1)^{k-1}\frac{(k-1)!}{n^k}
+(-1)^k\int_0^\infty\frac{e^{-nt}t^k\,dt}{1+t}.
\end{align*}
上の議論ではこのような和の途中から先を ``$+\cdots$'' と略記して来た.
すぐ上の式は正しい公式だが,
\[
\int_0^\infty \frac{e^{-nt}\,dt}{1+t}
=\sum_{k=1}^\infty (-1)^{k-1}\frac{(k-1)!}{n^k}
\]
は通常の意味で正しい公式ではない.
なぜならば右辺はどんなに大きな $n$ に対しても収束しないからである.
``$+\cdots$'' の部分は``無限和''を意味すると解釈するのではなく,
``有限和+剰余項''を意味すると解釈しておかなければいけない.
\qed
\end{remark*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{対数版の易しいStirlingの公式}
Stirlingの公式は次と同値である:
\[
\log n! - (n+1/2)\log n + n \longrightarrow \log\sqrt{2\pi}
\qquad (n\to\infty).
\]
これより, 次の弱い結果が導かれる:
\[
\log n! = n\log n - n + o(n)
\qquad (n\to\infty).
\]
ここで $o(n)$ は $n$ で割った後に $n\to\infty$ と
すると $0$ に収束する量を意味する.
これをこの節では{\bf 対数版の易しい Stirling の公式}と呼ぶことにする.
この公式であれば以下で説明するように初等的に証明することができる%
\footnote{以下の証明を見ればわかるように $o(n)$ の部分は $O(\log n)$
であることも証明できる. ここで $O(\log n)$ は $\log n$ で割った後に
有界になる量を意味している.}.
\subsection{対数版の易しい Stirling の公式の易しい証明}
\label{sec:easy}
単調増加函数 $f(x)$ について $f(k)\leqq\int_k^{k+1} f(x)\,dx\leqq f(k+1)$
が成立しているので, $f(1)\geqq 0$ を満たす単調増加函数 $f(x)$ について,
\[
f(1)+f(2)+\cdots+f(n-1)\leqq \int_1^n f(x)\,dx \leqq f(1)+f(2)+\cdots+f(n).
\]
ゆえに
\[
\int_1^n f(x)\,dx\leqq f(1)+f(2)+\cdots+f(n)\leqq \int_1^n f(x)\,dx + f(n).
\]
これを $f(x)=\log x$ に適用すると
\[
\int_1^n \log x\,dx = [x\log x-x]_1^n = n\log n - n + 1, \qquad
\log 1+\log 2+\cdots+\log n=\log n!
\]
なので
\[
n\log n - n + 1 \leqq \log n! \leqq n\log x - n + 1 + \log n.
\]
すなわち
\[
1 \leqq \log n! - n\log n + n \leqq 1+\log n.
\]
したがって
\[
\log n!=n\log n-n+O(\log n)=n\log n-n+o(n)
\qquad (n\to\infty).
\]
ここで $O(\log n)$ は $\log n$ で割ると有界になるような量を意味している.
\subsection{大学入試問題への応用例}
対数版の易しいStirlingの公式を使うと,
$an$ 個から $bn$ 個取る組み合わせの数(二項係数)の対数は
\begin{align*}
\log\binom{an}{bn}
&=\log(an)! - \log(bn)! -\log((a-b)n)!
\\ &
=an\log a+an\log n - an + o(n)
\\ &
-bn\log b-bn\log n + bn + o(n)
\\ &
-(a-b)n\log(a-b)-(a-b)n\log n + (a-b)n
+o(n)
\\ &
= n\log\frac{a^a}{b^b(a-b)^{a-b}} + o(n).
\end{align*}
となる. ゆえに
\[
\log\binom{an}{bn}^{1/n}
\longrightarrow \log\frac{a^b}{b^b(a-b)^{a-b}}
\qquad (n\to\infty).
\]
すなわち
\[
\lim_{n\to\infty}\binom{an}{bn}^{1/n}
=\lim_{n\to\infty}\left(\frac{(an)!}{(bn)!((a-b)n)!}\right)^{1/n}
=\frac{a^a}{b^b(a-b)^{a-b}}.
\]
要するに $an$ 個から $bn$ 個取る組み合わせの数の $n$ 乗根の $n\to\infty$
での極限は二項係数部分の式の分子分母の $(kn)!$ を $k^k$ で置き換えれば得られる.
この結果を使えば次の
\href{https://www.google.co.jp/search?q=\%E6\%9D\%B1\%E5\%B7\%A5\%E5\%A4\%A7\%E5\%85\%A5\%E8\%A9\%A6\%E5\%95\%8F\%E9\%A1\%8C+1988+\%E6\%95\%B0\%E5\%AD\%A6}
{東工大の1988年の数学の入試問題}を暗算で解くことができる:
\[
\lim_{n\to\infty}\left(\frac{{}_{3n}C_n}{{}_{2n}C_n}\right)^{1/n}\ \text{を求めよ.}
\]
この極限の値は
\[
\frac{3^3/(1^12^2)}{2^2/(1^11^1)}=\frac{3^3}{2^4}=\frac{27}{16}.
\]
入試問題を作った人は, まずStirlingの公式を使うと容易に解ける問題を考え,
その後に高校数学の範囲内でも解けることを確認したのだと思われる.
\begin{remark*}
上で示したことより,
\[
\lim_{n\to\infty}\binom{2n}{n}^{1/n}=\frac{2^2}{1^11^1}=2^2.
\]
これは次を意味している($o(n)$ は $n$ で割ると $n\to\infty$ で $0$ に収束する量):
\[
\binom{2n}{n}=2^{2n} e^{o(n)}
\qquad (n\to\infty).
\]
Wallisの公式(\secref{sec:Wallis})
\[
\binom{2n}{n}\sim\frac{2^{2n}}{\sqrt{\pi n}}
\qquad (n\to\infty)
\]
はその精密化になっている.
\qed
\end{remark*}
\begin{remark*}
\href{http://d.hatena.ne.jp/gould2007/touch/20071127}
{東工大では1968年にも次の問題を出しているようだ}:
\[
\lim_{n\to\infty}\frac{1}{n}\sqrt[n]{{}_{2n}P_n}\ \text{を求めよ.}
\qquad(\text{答えは $2^2 e^{-1}$}.)
\]
この問題も明らかに元ネタはStirlingの公式である. より一般に次を示せる:
\[
\lim_{n\to\infty} \frac{((an)!)^{1/n}}{n^a}
%=\lim_{n\to\infty}\left( (an)! n^{-an} \right)^{1/n}
= a^a e^{-a}.
\]
なぜならば
\begin{align*}
\log\frac{((an)!)^{1/n}}{n^a}
&=
\frac{1}{n}\log(an)!-a\log n
\\ &
=\frac{1}{n}(an\log a + an\log n - an + o(n)) - a\log n
\\ &
=a\log a - a + o(1)
\\ &
=\log(a^a e^{-a})+o(1).
\end{align*}
やはりStirlingの公式を使えば容易に示せる結果を
高校数学の範囲内で解けるように調節して入試問題にしているのだと思われる.
\qed
\end{remark*}
\subsection{対数版の易しいStirlingの公式の改良}
少し工夫すると次を示せる. ある定数 $c$ が存在して,
\[
\log n! = n \log n + \frac{1}{2}\log n - n + c + o(1)
\qquad (n\to\infty).
\]
以下ではこの公式を証明しよう%
\footnote{定数 $c$ が $\log\sqrt{2\pi}$ であることは既知であるが,
Wallisの公式を使えば $e^c=\sqrt{2\pi}$ であることを示せる.}.
\secref{sec:easy}で証明した対数版の易しいStirlingの公式と
上の公式の違いは $(1/2)\log n$ の項と定数項 $c$ を付け加えて
改良しているところである.
それらの項を出すアイデアは次の通り.
$\int_1^n\log x\,dx=[x\log x-x]_1^n=n\log n-n+1$ を $k=1,2,3,\ldots,n-1$ に対する
長方形 $[k-1/2,k+1/2]\times[0,\log k]$ の面積の総和
と長方形 $[n-1/2,n]\times[0,\log n]$ の面積の
和 $\log(n-1)!+(1/2)\log n=\log n!-(1/2)\log n$ で近似すれば,
自然に $(1/2)\log n$ の項が得られる.
さらに, それらの長方形の和集合と
領域 $\{\,(x,y)\mid 1\leqq x\leqq n,\ 0\leqq y\leqq\log x\,\}$
の違いを注意深く分析すれば,
$\int_1^n\log x\,dx$ と長方形の面積の総和の差が $n\to\infty$ で
ある定数に収束することがわかり, 定数項も得られる.
$\log x$ は単調増加函数なので正の実数 $\alpha_k, \beta_k$ を
\[
\alpha_k=\int_k^{k+1/2}\log x\,dx-\frac{1}{2}\log k, \qquad
\beta_k =\frac{1}{2}\log k-\int_{k-1/2}^k\log x\,dx
\]
と定めることができる. このとき,
\begin{align*}
&
\log n! - \frac{1}{2}\log n - \int_1^n \log x\,dx
=
\sum_{k=1}^{n-1}\log k+\frac{1}{2}\log n - \int_1^n \log x\,dx
\\ & \qquad\qquad
= -\alpha_1+\beta_2-\alpha_2+\beta_3-\cdots+\beta_{n-1}-\alpha_{n-1}+\beta_n.
\end{align*}
この交代和が $n\to\infty$ で収束することを示したい.
$\log x$ が上に凸であることより,
数列 $\alpha_1,\beta_2,\alpha_2,\beta_3,\alpha_3,\ldots$ が
単調減少することがわかり,
$\log x$ の導函数が $x\to\infty$ で $0$ に収束することより,
その数列は $0$ に収束することもわかる.
ゆえに上の交代和は $n\to\infty$ で収束する%
\footnote{$0$ 以上の実数で構成された $0$ に収束する単調減少列 $a_n$ が
定める交代級数 $\sum_{k=1}^\infty (-1)^{k-1}a_k$ は収束する.
(絶対収束するとは限らない.)}.
その収束先を $a$ と書き, $c=1+a$ とおくと, $n\to\infty$ のとき
\[
\log n!
= \frac{1}{2}\log n + \int_1^n\log x\,dx + a + o(1)
= n\log n +\frac{1}{2}\log n - n + c + o(1).
\]
$c=\log\sqrt{2\pi}$ であることをWallisの公式(\secref{sec:Wallis})
を使って証明しよう.
$n!=n^{n+1/2}e^{-n}e^ce^{o(1)}$ をWallisの公式
\[
\sqrt{\pi}=\lim_{n\to\infty}\frac{2^{2n}(n!)^2}{(2n)!\sqrt{n}}
\]
に代入すると,
\[
\sqrt{\pi}
=\lim_{n\to\infty}
\frac{2^{2n}n^{2n+1}e^{-2n}e^{2c}}{2^{2n+1/2}n^{2n+1}e^{-2n}e^c}
=\frac{e^c}{\sqrt{2}}.
\]
ゆえに $e^c=\sqrt{2\pi}$ である.
これでWallisの公式を使えば,
対数版の易しいStirlingの公式を改良することによって,
通常のStirlingの公式 $n!\sim n^n e^{-n}\sqrt{2\pi n}$ が
得られることがわかった.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: Fourierの反転公式}
\label{sec:Fourier}
厳密な証明をするつもりはないが,
Fourierの反転公式の証明の概略について説明しよう.
函数 $f(x)$ に対してその逆Fourier変換 $F(p)$ を
\[
F(p) = \int_{-\infty}^\infty e^{ipx} f(x)\,dx
\]
と定める. このとき函数 $f$ について適切な条件を仮定しておくと,
それに応じた適切な意味で
\[
f(x) = \frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx} F(p)\,dp
\]
が成立する. これをFourierの反転公式と呼ぶ.
\subsection{Gauss分布の場合}
$a>0$ であるとし,
\[
f(x)=e^{-x^2/(2a)}
\]
とおき, $F(p)$ はその逆Fourier変換であるとする. このとき
\[
F(p)
=\int_{-\infty}^\infty e^{ipx} e^{-x^2/(2a)}\, dx
=e^{-p^2/(2a^{-1})}\sqrt{2a\pi}
\]
が容易に得られる%
\footnote{Cauchyの積分定理を使う方法,
$e^{ipx}$ のTaylor展開を代入して項別積分する方法,
左辺と右辺が同じ微分方程式を満たしていることを使う方法
など複数の方法で容易に計算可能である.}. %
この公式で $x$, $a$ のそれぞれと $p$, $a^{-1}$ の立場を
交換することによって
\[
\int_{-\infty}^\infty e^{-ipx} e^{-p^2/(2a^{-1})}\, dp
=e^{-x^2/(2a)}\sqrt{2a^{-1}\pi}
\]
が得られる. 以上の2つの結果を合わせると,
\[
f(x) = \frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx} F(p)\,dp
\]
が得られる. すなわち $f(x)=e^{-x^2/(2a)}$ については
Fourierの反転公式が成立している.
一般に $f(x)$ についてFourierの反転公式が成立していれば
$f(x)$ を平行移動して得られる函数 $f(x-\mu)$ についても
Fourierの反転公式が成立していることが容易に示される.
実際, $F(p)$ を $f(x)$ の逆Fourier変換とすると,
$f(x-\mu)$ の逆Fourier変換は
\[
\int_{-\infty}^\infty e^{ipx} f(x-\mu)\,dx
=\int_{-\infty}^\infty e^{ip(x'+\mu)} f(x')\,dx'
=e^{ip\mu}F(p)
\]
になり,
\[
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}e^{ip\mu}F(p)\,dp
=\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ip(x-\mu)}F(p)\,dp
=f(x-\mu).
\]
以上によって, $f(x-\mu)=e^{-(x-\mu)^2/(2a)}$ についても
Fourierの反転公式が成立することがわかった.
逆Fourier変換およびFourier変換の線形性より,
$f(x-\mu)=e^{-(x-\mu)^2/(2a)}$ の形の函数の線形和についても
Fourierの反転公式が成立していることがわかる%
\footnote{``任意の函数''はそのような線形和の``極限''で表わされる.
したがって, Fourierの反転公式の証明の本質的部分はこれで終了している
とみなせる.}.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{一般の場合}
\label{sec:generalcase}
$a>0$ に対して函数 $\rho_a(x)$ を
\[
\rho_a(x) = \frac{1}{\sqrt{2\pi a}}e^{-x^2/(2a)}
\]
と定める. これは $\rho_a(x)>0$ と $\int_{-\infty}^\infty \rho_a(x)\,dx=1$
を満たしている. そして前節の結果によって, $\rho_a(x-\mu)$ は
Fourierの反転公式を満たしている.
函数 $f(x)$ に対して函数 $f_a(x)$ を
$\rho_a$ との畳み込み積によって函数 $f_a(x)$ を定める:
\[
f_a(x) = \int_{-\infty}^\infty \rho_a(x-y) f(y)\,dy.
\]
このとき $f_a(x)$ についてはFourierの反転公式が成立している%
\footnote{$f_a(x)$ はFourierの反転公式が成立している函数
$\rho_a(x-\mu)$ の重み $f(\mu)$ での重ね合わせなので,
これはほとんど明らかである.}.
実際, $f_a(x)$ の逆Fourier変換 $F_a(p)$ と書くと,
\begin{align*}
F_a(p)
&= \int_{-\infty}^\infty e^{ipx} f_a(x)\,dx
= \int_{-\infty}^\infty
\left( \int_{-\infty}^\infty e^{ipx} \rho_a(x-y)\,dx \right)
f(y)\,dy
\end{align*}
なので
\begin{align*}
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}F_a(p)\,dp
&=
\int_{-\infty}^\infty
\left(
\frac{1}{2\pi}
\int_{-\infty}^\infty
e^{-ipx}
\left(
\int_{-\infty}^\infty
e^{ipx'}\rho_a(x'-y)\,dx'
\right)
\,dp
\right)
f(y)\,dy
\\ &
=
\int_{-\infty}^\infty \rho_a(x-y) f(y) \,dy
=
f_a(x).
\end{align*}
2つ目の等号で $\rho_a(x-\mu)$ について
Fourierの反転公式が成立することを使った.
さらに
\[
\int_{-\infty}^\infty e^{ipx} \rho_a(x-y)\,dx
=e^{ipy}e^{-ap^2/2}
\]
なので
\[
F_a(p)=\int_{-\infty}^\infty e^{ipy}e^{-ap^2/2}f(y)\,dy=e^{-ap^2/2}F(p)
\]
となる%
\footnote{これは畳み込み積の逆Fourier変換が
逆Fourier変換の積に等しいことの特殊な場合にすぎない.}.
ゆえに
\[
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}F_a(p)\,dp
=\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}e^{-ap^2/2}F(p)\,dp.
\]
したがって
\[
\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}e^{-ap^2/2}F(p)\,dp
= \int_{-\infty}^\infty \rho_a(x-y)f(y)\,dy
= f_a(x).
\]
もしも $F(p)$ が可積分ならば, Lebesgueの収束定理より, 左辺について
\[
\lim_{a\to 0}\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}e^{-ap^2/2}F(p)\,dp
=\frac{1}{2\pi}\int_{-\infty}^\infty e^{-ipx}F(p)\,dp
\]
が言える.
あとは, 函数 $f(x)$ について適切な条件を仮定したとき,
$a\to 0$ のとき函数 $f_a(x)$ が
適切な意味で函数 $f(x)$ に収束することを示せれば,
$f(x)$ 自身が適切な意味でFourierの反転公式を満たすことがわかる%
\footnote{$\rho_a(x)$ の $a\to 0$ での様子のグラフを描けば,
$\rho_a(x)$ がDiracのデルタ函数(超函数)に``収束''しているように
見えることから, これもほとんど明らかだと言える.}.
たとえば, $f$ は有界かつ点 $x$ で連続だと仮定する.
ある $M>0$ が存在して $|f(y)-f(x)|\leqq M$ ($y\in\R$)となる.
任意に $\eps>0$ を取る.
ある $\delta >0$ が存在して
$|y-x|\leqq\delta$ ならば $|f(y)-f(x)|\leqq\eps/2$ となる.
函数 $\rho_a$ の定義より,
$a>0$ を十分小さくすると $\int_{|y-x|>\delta}\rho_a(x-y)\,dy\leqq\eps/(2M)$
となることもわかる. 以上の状況のもとで
\begin{align*}
|f_a(x)-f(x)|
&=
\left|
\int_{-\infty}^\infty \rho_a(x-y)(f(y)-f(x))\,dy
\right|
\\ &
\leqq
\int_{-\infty}^\infty \rho_a(x-y)|f(y)-f(x)|\,dy
\\ &
\leqq
\int_{|y-x|\leqq\delta} \rho_a(x-y)\frac{\eps}{2}\,dy
+
\int_{|y-x|>\delta} \rho_a(x-y)M\,dy
\\ &
\leqq \frac{\eps}{2}+\frac{\eps}{2M}M
=\eps.
\end{align*}
これで $\lim_{a\to 0}f_a(x)=f(x)$ が示された.
筆者は実解析一般については次の教科書をおすすめする.
\begin{center}
\href{http://www.amazon.co.jp/dp/4000054449}{%
猪狩惺,
実解析入門,
岩波書店 (1996), xii+324頁,
定価3,800円}.
\end{center}
筆者は学生時代に猪狩惺先生の授業で
Lebesgue積分論やFourier解析について勉強した.
信じられないほどクリアな講義であり,
数学の分野の中で実解析が最もクリアな分野なのではないかと思えて来るほどだった.
上の教科書が2016年5月3日現在品切れ中であり,
プレミア価格のついた中古本しか手に入らないことはとても残念なことである.
\subsection{Riemann-Lebesgueの定理}
$f(x)$ は $\R$ 上の可積分函数%
\footnote{$\R$ 上の可測函数で $\int_\R |f(x)|\,dx<\infty$ を満たすものを
$\R$ 上の可積分函数と呼ぶ. 可測函数の定義を知らない人は以下のように考えてよい.
区間 $I=[a,b]$ に対して $I$ 上で $1$ になり $I$ の外で $0$ になる
函数を $1_I$ と書く. 数 $\alpha_i$ と区間 $I_i$ たちによって
$\sum_{i=1}^n \alpha_i 1_{I_i}$ と表される函数は{\bf 階段函数}と呼ばれる.
階段函数の全体は和とスカラー倍で閉じており, 自然にベクトル空間をなす.
階段函数 $f=\sum_{i=1}^n \alpha_i 1_{I_i}$, $I_i=[a_i,b_i]$, $a_i0$ とする.
$\R$ 上の可積分函数 $f$ の
Fourier変換 $\widehat{f}(p)=\int_{-\infty}^\infty e^{-ipy}f(y)\,dx$ に対して,
\[
s_N(f)(x) = \frac{1}{2\pi}\int_{-N}^N e^{ipx} \widehat{f}(p)\,dp
\]
をFourier変換の $N$ 部分和と呼ぶ. $N$ 部分和は次のように変形される:
\begin{align*}
s_N(f)(x)
&=\int_{-\infty}^\infty
\left(\frac{1}{2\pi}\int_{-N}^N e^{ip(x-y)} \,dp\right) f(y)\,dy
\\ &
=\int_{-\infty}^\infty
\frac{e^{iN(x-y)}-e^{e^{-iN(x-y)}}}{2\pi i(x-y)} f(y)\,dy
\\ &
=\int_{-\infty}^\infty
\frac{\sin(N(x-y))}{\pi(x-y)} f(y)\,dy.
\\ &
=\int_0^\infty
\frac{\sin(Ny)}{\pi y} (f(x+y)+f(x-y))\,dy
\\ &
=\frac{1}{\pi}\int_0^\infty
\sin(Ny) \frac{f(x+y)+f(x-y)}{y} \,dy.
\end{align*}
4つ目の等号で $y$ を $x+y$ でおきかえ, $\sin(Ny)/y$ が偶函数であることを
使った.
$\delta>0$ を任意に取る.
$y\geqq \delta$ で $(f(x+y)+f(x-y))/y$ は可積分である.
ゆえに Riemann-Lebesgue の定理より,
\[
\lim_{N\to\infty}
\int_\delta^\infty
\sin(Ny) \frac{f(x+y)+f(x-y)}{y} \,dy
= 0.
\]
したがって $N$ 部分和 $s_N(f)(x)$ が $N\to\infty$ で収束することと,
\[
\frac{1}{\pi}\int_0^\delta
\sin(Ny) \frac{f(x+y)+f(x-y)}{y} \,dy
\]
が $N\to\infty$ で収束することは同値になり,
それらが収束するときそれらの値は一致する.
以上の結果を{\bf Riemannの局所性定理}と呼ぶ.
以上の結果を $f(x)=e^{-x^2/2}$ の場合に適用することによって
{\bf Dirichlet積分}(ディリクレ積分)の公式
\[
\lim_{R\to\infty}\int_0^R \frac{\sin x}{x}\,dx = \frac{\pi}{2}
\]
を証明できる. $f(x)=e^{-x^2/2}$ とおく.
このとき, \secref{sec:Gauss-Fourier}での計算より,
$\widehat{f}(p)=e^{-p^2/2}\sqrt{2\pi}$ でかつ
\[
\lim_{N\to\infty}s_N(f)(x)
= \frac{1}{2\pi}\int_{-\infty}^\infty e^{ipx}\widehat{f}(p)\,dp
= f(x).
\]
ゆえに, Riemannの局所性定理を $x=0$ の場合に適用すると,
任意の $\delta>0$ について
\[
\lim_{N\to\infty}s_N(f)(0)
=\lim_{N\to\infty}
\frac{1}{\pi}\int_0^\delta \sin(Ny)\frac{2e^{-y^2/2}}{y}\,dy
=e^{-0^2/2}=1.
\]
ゆえに
\[
\lim_{N\to\infty}
\left(
\int_0^\delta \frac{\sin(Ny)}{y}\,dy
+ \int_0^\delta \sin(Ny)\frac{e^{-y^2/2}-1}{y}\,dy
\right)
=\frac{\pi}{2}.
\]
左辺の後者の積分はRiemann-Lebesgueの定理より $N\to\infty$ で $0$ に収束する.
したがって
\[
\lim_{N\to\infty}\int_0^\delta \frac{\sin(Ny)}{y}\,dy = \frac{\pi}{2}.
\]
さらに $y=x/N$ と積分変数を変換することによって,
\[
\frac{\pi}{2}
=\lim_{N\to\infty}\int_0^{N\delta} \frac{\sin x}{x}\,dx
= \lim_{R\to\infty}\int_0^R \frac{\sin x}{x}\,dx.
\]
このようにDirichlet積分の公式はRiemannの局所性定理とRiemann-Lebesgueの定理
と $e^{-x^2/2}$ のFourier変換の計算から得られる%
\footnote{複素解析を使った証明もある.}.
Dirichlet積分の公式で積分変数 $x$ を $a>0$ に対する $ax$ で置換し,
両辺を $\pm 1$ 倍することによって
\[
\lim_{R\to\infty}\int_0^R \frac{\sin(\pm ax)}{x}\,dx = \pm\frac{\pi}{2}
\qquad (a>0,\ \text{復号同順}).
\]
すなわち次が成立している:
\[
\lim_{R\to\infty}\int_0^R \frac{\sin(ax)}{x}\,dx
=
\begin{cases}
\pi/2 & (a>0), \\
0 & (a=0), \\
-\pi/2 & (a<0).
\end{cases}
\]
Dirichlet積分の公式はこの形で使われることが多い.
$\R$ 上の可積分函数 $f$ と $x\in\R$ に対して,
ある $\delta>0$ が存在して
\[
\frac{(f(x+y)+f(x-y))/2-f(x)}{y}
\]
が $00$ について,
$N\to\infty$ のとき
\[
s_N(f)(x)
=\frac{1}{\pi}\int_0^\delta \sin(Nx)\frac{f(x+y)+f(x-y)}{y}\,dy+o(1).
\]
Dirichlet積分の公式の証明より, $N\to\infty$ のとき
\[
f(x)
= \lim_{N\to\infty} \frac{2}{\pi}\int_0^\delta \frac{\sin(Ny)}{y}\,dy\,f(x)
= \frac{2}{\pi}\int_0^\delta \sin(Ny) \frac{f(x)}{y}\,dy + o(1).
\]
ゆえに
\[
s_N(f)(x)-f(x)
=\frac{2}{\pi} \int_0^\delta
\sin(Ny)\frac{(f(x+y)+f(x-y))/2-f(x)}{y}\,dy
+o(1).
\]
もしも $[(f(x+y)+f(x-y))/2-f(x)]/y$ が $00$ について, \\
$[(f(x+y)+f(x-y))/2-f(x)]/y$ は $00$ について,
\[
\frac{(f(x+y)+f(x-y))/2-f(x)}{y}
=\frac{1}{2}\left[\frac{f(x+y)-f(x+0)}{y}-\frac{f(x-y)-f(x-0)}{-y}\right]
\]
は $01$ に対して函数 $f_a(x)$ を次のように定める:
\[
f_a(x)=
\begin{cases}
1/(2a) & (-a-a$ のとき $\pi/2$ になり, $x=-a$ のとき $0$ になり, $x<-a$ のとき $-\pi/2$ になり,
2つ目のDirichlet積分は
$xa$ のとき $-\pi/2$ になる.
それらの和は $-a0$ に対して,
\[
\lim_{N\to\infty}
\int_\delta^\pi
\sin((N+1/2)y)
\frac{y/2}{\sin(y/2)}\frac{(f(x+y)+f(x-y))/2-f(x)}{y}\,dy=0.
\]
ゆえに, $N\to\infty$ のとき,
\begin{align*}
&
s_N(f)(x)-f(x)
\\ &
=\frac{2}{\pi}\int_0^\delta
\sin((N+1/2)y)
\frac{y/2}{\sin(y/2)}\frac{(f(x+y)+f(x-y))/2-f(x)}{y}\,dy + o(1).
\end{align*}
ゆえに $00$ に対して次の公式が成立している:
\[
\int_{-\infty}^\infty e^{-ipx} \frac{e^{-x^2/(2t)}}{\sqrt{2\pi t}}\,dx
= e^{-tp^2/2}.
\tag{$*$}
\]
この公式が成立していることを複数の方法で示そう.
\subsection{熱方程式を使う方法}
函数 $u=u(t,x)$ を次のように定める:
\[
u(t,x)
= \frac{e^{-x^2/(2t)}}{\sqrt{2\pi t}}.
\]
この函数 $u=u(t,x)$ は熱方程式の基本解になっている:
\[
u_t = \frac{1}{2}u_{xx}, \qquad
\lim_{t\to 0}\int_{-\infty}^\infty f(x) u(t,x)\,dx=f(0).
\]
ここで $f(x)$ は有界な連続函数である.
$u=u(t,x)$ が熱方程式を満たすことは偏微分の計算で容易に示される.
後者の極限の証明は実質的に\secref{sec:generalcase}の終わりに書いてある.
ゆえに, $U(t,p)=\int_{-\infty}^\infty e^{-ipx} u(t,x)\,dx$ とおくと,
\begin{align*}
\frac{\d}{\d t}U(t,p)
&=
\frac{1}{2}
\int_{-\infty}^\infty e^{-ipx} \frac{\d^2 u(t,x)}{\d x^2}\,dx
%\\ &
=
\frac{1}{2}
\int_{-\infty}^\infty \frac{\d^2 e^{-ipx}}{\d x^2} u(t,x)\,dx
%\\ &
=
-\frac{p^2}{2}U(t,p).
\end{align*}
2つ目の等号で部分積分を2回行なった. さらに
\[
\lim_{t\to 0}U(t,p)
=\lim_{t\to 0} \int_{-\infty}^\infty e^{-ipx} u(t,x)\,dx
=e^{-ip0}
=1.
\]
したがって
\[
U(t,p)=e^{-tp^2/2}
\]
となることがわかる. これで公式($*$)が示された.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{両辺が同一の常微分方程式を満たしていることを使う方法}
前節の記号をそのまま使うと,
\begin{align*}
\frac{\d}{\d p}U(t,p)
&=\int_{-\infty}^\infty (-ix)e^{-ipx}u(t,x)\,dx
=it\int_{-\infty}^\infty e^{-ipx}\frac{\d}{\d x}u(t,x)\,dx
\\ &
=-it\int_{-\infty}^\infty \left(\frac{\d}{\d x}e^{-ipx}\right)u(t,x)\,dx
=-it\int_{-\infty}^\infty (-ip)e^{-ipx}u(t,x)\,dx
\\ &
=-tp U(t,p).
\end{align*}
2つ目の等号で $u_x=-(x/t)u$ を使い,
3つ目の等号で部分積分を使った.
さらに
\[
U(t,0)=\int_{-\infty}^\infty u(t,x)\,dx=1
\]
となる. これらより $U(t,p)=e^{-tp^2/2}$ となることがわかる.
この方針であれば $u(t,x)$ が熱方程式の基本解であることを使わずにすむ.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{項別積分で計算する方法}
もしも $t=1$ の場合の公式($*$)
\[
\int_{-\infty}^\infty e^{-ipx} \frac{e^{-x^2/2}}{\sqrt{2\pi}}\,dx = e^{-p^2/2}
\tag{$**$}
\]
が示されたならば,
$x$, $p$ をそれぞれ $x/\sqrt{t}$, $\sqrt{t}\,p$ で
置換することによって一般の $t>0$ に関する公式($*$)が得られる.
ゆえに公式($*$)を示すためには公式($**$)を証明すれば十分である.
さらに $\sin(px)$ は奇函数なので
$\int_{-\infty}^\infty e^{-x^2/2} \sin(px)\,dx=0$ となる.
ゆえに
\[
\int_{-\infty}^\infty e^{-x^2/2}\cos(px)\,dx=e^{-p^2/2}\sqrt{2\pi}
\]
を示せば十分である. 左辺の $\cos(px)$ にそのTaylor-Maclaulin展開を代入
した後に項別積分することによってこの公式を示そう.
準備. まず $\int_{-\infty}^\infty e^{-x^2/2}x^{2n}\,dx$ を計算しよう.
部分積分によって
\begin{align*}
\int_{-\infty}^\infty e^{-x^2/2} x^{2n}\,dx
&=
\int_{-\infty}^\infty \left(-e^{-x^2/2}\right)' x^{2n-1}\,dx
\\ &
=\int_{-\infty}^\infty e^{-x^2/2} (x^{2n-1})'\,dx
=(2n-1)\int_{-\infty}^\infty e^{-x^2/2} x^{2n-2}\,dx.
\end{align*}
ゆえに帰納的に $n=0,1,2,\ldots$ に対して
\[
\int_{-\infty}^\infty e^{-x^2/2} x^{2n}\,dx
=(2n-1)\cdots 5\cdot 3\cdot 1\sqrt{2\pi}
=\frac{(2n)!}{2^n n!}\sqrt{2\pi}.
\]
2つ目の等号は左辺の分子分母に$2n\cdots 4\cdot 2=2^n n!$ を
かけることによって得られる.
上で準備した結果を用いると,
\begin{align*}
&
\int_{-\infty}^\infty e^{-x^2/2}\cos(px)\,dx
=
\int_{-\infty}^\infty e^{-x^2/2}
\sum_{n=0}^\infty (-1)^n\frac{(px)^{2n}}{(2n)!}
\,dx
\\ & \qquad
=
\sum_{n=0}^\infty \frac{(-p^2)^n}{(2n)!}
\int_{-\infty}^\infty e^{-x^2/2}x^{2n}\,dx
%\\ &
=
\sum_{n=0}^\infty \frac{(-p^2/2)^n}{n!}\sqrt{2\pi}
=
e^{-p^2/2}\sqrt{2\pi}.
\end{align*}
これで公式($**$)が示された.
\subsection{Cauchyの積分定理を使う方法}
複素解析を知っている人であれば詳しい説明は必要ないと思うので,
以下の説明では大幅に手抜きをする.
Cauchyの積分定理を使うと実数 $p$ に対して
\[
\int_{-\infty}^\infty e^{-(x+ip)^2/2}\,dx
=\int_{-\infty}^\infty e^{-x^2/2}\,dx
=\sqrt{2\pi}
\]
となることを示せる. ゆえに
\[
\int_{-\infty}^\infty e^{-ipx}e^{-x^2/2}\,dx
=
\int_{-\infty}^\infty e^{-(x+ip)^2/2-p^2/2}\,dx
=
e^{-p^2/2}\int_{-\infty}^\infty e^{-(x+ip)^2/2}\,dx
=
e^{-p^2/2}\sqrt{2\pi}.
\]
これで公式($**$)が示された.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: Gauss積分の計算}
次の公式の様々な証明の仕方を解説しよう:
\[
I:=\int_{-\infty}^\infty e^{-x^2}\,dx = \sqrt{\pi}.
\]
この公式の面白いところ(不思議なところ)は円周率の気配が見えない
積分の値が円周率の平方根になっていることである.
実際の証明では
\[
I^2 = \iint_{\R^2} e^{-(x^2+y^2)}\,dx\,dy = \pi
\]
を示すことになる.
\subsection{同一の体積の2通りの積分表示を用いた計算}
$I^2=\iint_{\R^2}e^{-(x^2+y^2)}\,dx\,dy$ は $z=e^{-(x^2+y^2)}$ の
小山状のグラフと平面 $z=0$ に挟まれた部分の体積を表わしている.
その体積は高さ $z$ の断面の面積%
\footnote{$z=e^{-(x^2+y^2)}$, $r^2=x^2+y^2$ とおくと,
$\pi r^2=\pi(-\log z)$ となる.} %
$\pi(-\log z)$ を $00,\ 0\leqq\theta<2\pi\,\}$ とおくと,
\[
I^2
=\iint_{\R^2} e^{-(x^2+y^2)}\,dx\wedge dy
=\iint_K e^{-r^2}r \,dr\wedge d\theta
=\int_0^{2\pi}d\theta \int_0^\infty e^{-r^2}r \,dr
=\pi.
\]
\subsection{Jacobianを使わずにすむ積分変数の変換による計算}
\label{sec:y=xt}
以下のように計算すると積分の順序交換と1変数の置換積分のみを使って
Gauss積分を計算できる.
$y=x\tan\theta$ によって $y$ から $\theta$ に積分変数を変換すると,
\[
dy = \frac{d\theta}{\cos^2\theta}, \qquad
x^2+y^2=x^2(1+\tan^2\theta) = \frac{x^2}{\cos^2\theta}
\]
より,
\begin{align*}
I^2
&=4
\int_0^\infty
\left(
\int_0^\infty e^{-(x^2+y^2)}\,dy
\right)\,dx
=4
\int_0^\infty
\left(
\int_0^{\pi/2} \exp\left(-\frac{x^2}{\cos^2\theta}\right)\,\frac{x}{\cos^2\theta}\,d\theta
\right)\,dx
\\ &
=4
\int_0^{\pi/2}
\left(
\int_0^\infty \exp\left(-\frac{x^2}{\cos^2\theta}\right)\,\frac{x}{\cos^2\theta}\,dx
\right)\,d\theta
=4
\int_0^{\pi/2}
\left[
\frac{\exp\left(-\frac{x^2}{\cos^2\theta}\right)}{-2}
\right]_{x=0}^{x=\infty}
\,d\theta
\\ &
=4
\int_0^{\pi/2}\frac{1}{2}\,d\theta
=4\frac{1}{2}\frac{\pi}{2}
=\pi.
\end{align*}
3つ目の等号で積分の順序交換を行なった.
$y=xt$ によって $y$ から $t$ に積分変数を変換すること
によって本質的に同じ計算を実行することもできる:
\begin{align*}
I^2
&=4
\int_0^\infty
\left(
\int_0^\infty e^{-(x^2+y^2)}\,dy
\right)\,dx
=4
\int_0^\infty
\left(
\int_0^\infty e^{-(1+t^2)x^2}\,x \,dt
\right)\,dx
\\ &
=4
\int_0^\infty
\left(
\int_0^\infty e^{-(1+t^2)x^2}\,x \,dx
\right)\,dt
=4
\int_0^\infty\left[\frac{e^{-(1+t^2)x^2}}{-2(1+t^2)}\right]_{x=0}^{x=\infty}\,dt
\\ &
=2
\int_0^\infty\frac{dt}{1+t^2}
=2[\arctan t]_0^\infty
=2\frac{\pi}{2}
=\pi.
\end{align*}
3つ目の等号で積分の順序交換を行ない, 6つ目の等号で $\arctan t$ の導函数が $1/(1+t^2)$
であることを使った%
\footnote{$t=\tan\theta$ のとき $dt/d\theta = 1+\tan^2\theta=1+t^2$ なので,
$\theta=\arctan t$ の導函数は $d\theta/dt = 1/(1+t^2)$ になる.
そのことから, $\arctan t = \int_0^t dt/(1+t^2)$ となることもわかる.}.
\subsection{ガンマ函数とベータ函数の関係を用いた計算}
\label{sec:GaussGamma}
前節ではJacobianが出て来ない1変数の積分の置換積分のみを用いて
Gauss積分を計算する方法を説明した.
それと似たような方法によって,
ガンマ函数とベータ函数の関係式を
1変数の積分の置換積分のみを用いて証明することができて,
その関係式の特別な場合としてGauss積分の値を計算することもできる.
この節の内容は前節の内容の一般化であると考えられる.
統計学でよく使われる確率密度函数の記述にはガンマ函数や
ベータ函数を与える積分の被積分函数が現われる(\secref{sec:dists}).
だから, 統計学に興味がある読者は
Gauss積分の計算の一般化として
ガンマ函数とベータ函数についても学んでおいた方が
効率が良いとも考えられる.
$s,p,q>0$ (もしくは実部が正の複素数 $s,p,q$)に対して,
\[
\Gamma(s)=\int_0^\infty e^{-x}x^{s-1}\,dx
\qquad
B(p,q)=\int_0^1 x^{p-1}(1-x)^{q-1}\,dx
\]
によってガンマ函数 $\Gamma(s)$ とベータ函数 $B(p,q)$ が定義される%
\footnote{他にもたくさんの同値な定義の仕方がある.
以下では解析接続については扱わない.}.
部分積分によって $\Gamma(s+1)=s\Gamma(s)$ であることがわかり,
$\Gamma(1)=1$ なので, 0以上の整数 $n$ に対して $\Gamma(n+1)=n!$ となる.
Gauss積分 $I$ は $\Gamma(1/2)$ に等しい:
\[
I
=2\int_0^\infty e^{-x^2}\,dx
=2\int_0^\infty e^{-t} \frac{t^{-1/2}}{2}\,dt
=\int_0^\infty e^{-t}t^{1/2-1}\,dt
=\Gamma(1/2).
\]
2つ目の等号で $x=\sqrt{t}$ とおいた.
したがって $\Gamma(1/2)^2=\pi$ を証明できれば
Gauss積分が計算できたことになる.
ベータ函数は以下のような複数の表示を持つ:
\begin{align*}
B(p,q)
=2\int_0^{\pi/2} \cos^{2p-1}\theta\,\sin^{2q-1}\theta\,d\theta
=\int_0^\infty \frac{t^{p-1}\,dt}{(1+t)^{p+q}}
=\frac{1}{p}\int_0^\infty \frac{du}{(1+u^{1/p})^{p+q}}.
\end{align*}
$x=\cos^2\theta=t/(1+t)$, $t=u^{1/p}$ と変数変換した.
3つ目の(最後の)表示の $p=1/2$ の場合の被積分函数
が $t$ 分布の確率密度函数の表示で使用され,
2つ目の表示の被積分函数は $F$ 分布の確率密度函数の表示で使用される.
$\Gamma(1/2)$ のGauss積分による表示の被積分函数は
正規分布の確率密度函数の表示で使用され,
ガンマ函数の定義式の被積分函数は $\chi^2$ 分布の被積分函数の表示で使用される.
このようにガンマ函数とベータ函数は実用的によく利用される確率分布を
理解するためには必須の教養になっている(\secref{sec:dists}).
特に最初の表示より $B(1/2,1/2)=\pi$ となることがわかる.
ゆえに, もしも
\[
\Gamma(p)\Gamma(q)=\Gamma(p+q)B(p,q)
\]
が示されたならば, $\Gamma(1/2)^2=B(1/2,1/2)=\pi$ となることがわかる.
したがってGauss積分の計算はガンマ函数とベータ函数のあいだの関係式を
示すことに帰着される.
ガンマ函数とベータ函数のあいだの関係式は1変数の置換積分と
積分順序の交換のみを使って証明可能である.
以下でそのことを簡単に説明しよう.
条件 $A$ に対して, $x,y$ が $A$ をみたすとき値が $1$ になり,
それ以外のときに値が $0$ になる $x,y$ の函数を $1_A(x,y)$ と書くことにすると,
\begin{align*}
\Gamma(p)\Gamma(q)
&=
\int_0^\infty
\left(
\int_0^\infty e^{-(x+y)} x^{p-1} y^{q-1}\,dy
\right)\,dx
\\ &
=
\int_0^\infty
\left(
\int_x^\infty e^{-z} x^{p-1} (z-x)^{q-1}\,dz
\right)\,dx
\\ &
=
\int_0^\infty
\left(
\int_0^\infty 1_{x0$ に制限し,
$y=x-a/x$ によって $x>0$ における積分
を $-\infty0$ で
\begin{align*}
x=\frac{1}{2}(y+\sqrt{y^2+4a})
\end{align*}
と一意的に解けて
\begin{align*}
dx = \frac{1}{2}\left(1 + \frac{y}{\sqrt{y^2+4a}}\right)\,dy.
\end{align*}
が成立している. ゆえに
\begin{align*}
2\int_0^\infty \exp\left(-\frac{1}{2}\left(x-\frac{a}{x}\right)^2\right)\,dx
&
=2\int_{-\infty}^\infty \exp\left(-\frac{1}{2}y^2\right)
\frac{1}{2}\left(1 + \frac{y}{\sqrt{y^2+4a}}\right)\,dy
\\ &
=\int_{-\infty}^\infty e^{-y^2/2}\,dy
=\sqrt{2\pi}.
\end{align*}
2番目の等号で $y/\sqrt{y^2+4a}$ が $y$ の奇函数であることを使った.
一方
\begin{align*}
-\frac{1}{2}\left(x-\frac{a}{x}\right)^2
=-\frac{1}{2}\left(x^2+\frac{a^2}{x^2}\right)+a
\end{align*}
なので
\begin{align*}
2\int_0^\infty \exp\left(-\frac{1}{2}\left(x-\frac{a}{x}\right)^2\right)\,dx
=e^a\int_{-\infty}^\infty \exp\left(-\frac{1}{2}\left(x^2+\frac{a^2}{x^2}\right)\right)\,dx.
\end{align*}
以上を合わせると($*$)が得られる.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: ガンマ函数}
\secref{sec:GaussGamma}でガンマ函数について簡単に解説した.
以下ではそこでは解説できなかったガンマ函数の性質について説明しよう.
\subsection{ガンマ函数と正弦函数の関係式}
\secref{sec:GaussGamma}で示した $\Gamma(1/2)^2=B(1/2,1/2)=\pi$ は
次の有名な公式の特別な場合である:
\[
\Gamma(s)\Gamma(1-s)=B(s,1-s)=\frac{\pi}{\sin(\pi s)}.
\]
この公式にも複数の証明法がある.
1つ目の方法は $\sin z$ と $\Gamma(s)$ の無限乗積展開
\begin{align*}
&
\sin z = z\prod_{n=1}^\infty\left(1-\frac{z^2}{\pi^2 n^2}\right),
\qquad\text{{\it i.e.}}\quad
\frac{\sin(\pi s)}{\pi}=s\prod_{n=1}^\infty\left(1-\frac{s^2}{n^2}\right),
\\ &
\frac{1}{\Gamma(s)}
=\lim_{n\to\infty}\frac{s(s+1)\cdots(s+n)}{n!n^s}
=e^{\gamma s}s\prod_{n=1}^\infty\left[ \left(1+\frac{s}{n}\right)e^{-s/n} \right]
\end{align*}
を使う方法である%
\footnote{$\Gamma(s)\Gamma(1-s)=\pi/\sin(\pi s)$ を先に証明しておいて
(たとえば複素解析を使えば容易に示せる),
ガンマ函数の無限乗積展開から $\sin z$ の無限乗積展開を導出することもできる.}.
ここで $\gamma$ はEuler定数
\[
\gamma=\lim_{n\to\infty}\left(\frac11+\frac12+\cdots+\frac1n-\log n\right)
\]
である. これらの公式を認めると,
\[
\frac{1}{\Gamma(s)\Gamma(1-s)}
=\frac{1}{\Gamma(s)(-s)\Gamma(-s)}
=\frac{s(-s)}{-s}\prod_{n=1}^\infty\left[\left(1+\frac{s}{n}\right)\left(1-\frac{s}{n}\right)\right]
=\frac{\sin(\pi s)}{\pi}.
\]
2つ目の方法は次の定積分を複素解析を用いて計算することである:
\[
\Gamma(s)\Gamma(1-s)=B(s,1-s) = \int_0^\infty \frac{t^{s-1}}{1+t}\,dt.
\]
$01$ であるとし,
複素平面上を原点から $R$ までまっすぐ進み,
次に時計回りに角度 $2\pi s$ だけ回転して $Re^{2\pi is}$ まで進み,
そこから原点までまっすぐに戻る経路を $C$ と書くと,
$\int_C dz/(1+z^{1/s})$ は $dz/(1+z^{1/s})$ の $z=e^{\pi is}$ に
おける留数 $-s e^{\pi is}$ の $2\pi i$ 倍に等しく,
$R\to\infty$ の極限で $\int_C dz/(1+z^{1/s})$
は $\int_0^\infty du/(1+u^{1/s})$ からそれ自身の $e^{2\pi is}$ 倍を引いた
ものに等しい%
\footnote{$z^{1/s}$ は $z$ を $e^{2\pi is}$ 倍しても不変だが,
$dz$ は $e^{2\pi is}$ 倍になる.}. ゆえに
\[
\int_0^\infty \frac{du}{1+u^{1/s}}
=\frac{-2\pi is e^{\pi is}}{1-e^{2\pi is}}
=\frac{2\pi is}{e^{\pi is}-e^{-\pi is}}
=\frac{\pi s}{\sin(\pi s)}.
\]
定積分を計算した結果に円周率倍がよく現われるのは
極の周囲を1周する積分が留数の $2\pi i$ 倍になるからである.
複素解析と初等函数とガンマ函数の解説については,
\href{http://www.amazon.co.jp/dp/4000051717}
{高木貞治『解析概論』(岩波書店)}の第5章(201--267頁)をおすすめする.
複素函数論の一般論だけではなく,
具体的な函数の性質の詳しい解説も含めて67頁におさまっているのは
驚異的だと思う.
\subsection{ガンマ函数の無限乗積展開}
\label{sec:Gamma-prod}
函数 $f(s)$ ($s>0$)は以下の3つの条件を満たしていると仮定する:
\begin{itemize}
\item 正値性: $f(s)>0$ ($s>0$),
\item 函数等式: $f(s+1)=sf(s)$ ($s>0$),
\item 対数凸性: $\log f(s)$ は $s>0$ の下に凸な函数である.
\end{itemize}
この3つの条件を満たす函数は次の表示を持つ:
\[
f(s) = f(1)\lim_{n\to\infty}\frac{n!n^s}{s(s+1)\cdots(s+n)}
\qquad (s>0).
\tag{$*$}
\]
特に $\Gamma(s)$ が上の3つの条件と $\Gamma(1)=1$ を満たしていることから,
{\bf Gaussの公式}
\[
\Gamma(s)=\lim_{n\to\infty}\frac{n!n^s}{s(s+1)\cdots(s+n)}
\]
が成立しており, 上の3つの条件を満たしている函数は $\Gamma(s)$ の定数倍
になることもわかる.
以上で述べたことを証明しよう.
まず, ($*$)の極限の分子分母をひっくり返して得られる極限
\[
\lim_{n\to\infty}\frac{s(s+1)\cdots(s+n)}{n!n^s}
\]
が常に収束することを示そう.
\begin{align*}
&
\frac{s(s+1)\cdots(s+n)}{n!n^s}
\\ &
=
s\left(1+\frac{s}{1}\right)\left(1+\frac{s}{2}\right)\cdots\left(1+\frac{s}{n}\right)
e^{-s\log n}
\\ &
=
s\left(1+\frac{s}{1}\right)e^{-s}\left(1+\frac{s}{2}\right)e^{-\frac{s}{2}}
\cdots\left(1+\frac{s}{n}\right)e^{-\frac{s}{n}}
e^{s\left(1+\frac{1}{2}+\cdots+\frac{1}{n}-\log n\right)}
\end{align*}
$1+\frac{1}{2}+\cdots+\frac{1}{n}-\log n$ は $n\to\infty$ でEuler定数 $\gamma$ に
収束する%
\footnote{$1/x$ は単調減少函数なので,
$1+1/2+\cdots+1/n-\log n\geqq\int_1^{n+1}dx/x-\log n=\log(n+1)-\log n\geqq 0$
でかつ $1/(n+1)\leqq\int_n^{n+1}dx/x=\log(n+1)-\log n$ なので,
$1+1/2+\cdots+1/n-\log n$ は有界かつ単調減少する. ゆえに収束する.}.
ゆえに $\prod_{k=1}^n(1+s/k)e^{-s/k}$ が $n\to\infty$ で収束することを示せばよい.
$z$ の複素正則函数 $(1+z)e^{-z}-1$ は原点 $z=0$ で2位の零点を持つので,
$(1+z)e^{-z}=1+O(z^2)$ ($z\to 0$) となる.
ゆえに $(1+s/k)e^{-s/k}=1+O(s^2/k^2)$ ($k\to\infty$).
これより無限積 $\prod_{k=1}^\infty(1+s/k)e^{-s/k}$ が収束することがわかる.
まとめ:
\[
\lim_{n\to\infty}\frac{s(s+1)\cdots(s+n)}{n!n^s}
=e^{\gamma s}s\prod_{n=1}^\infty\left[ \left(1+\frac{s}{n}\right)e^{-s/n} \right]
\]
は常に収束する%
\footnote{この極限を $1/\Gamma(s)$ の定義とすることもできる.
この方法であれば最初から $1/\Gamma(s)$ が複素平面全体で定義されており,
$\Gamma(s)$ の極が $s=0,-1,-2,\ldots$ のみにあることも自明になる.}.
右辺の無限積が $1/\Gamma(s)$ に等しいという公式
\[
\frac{1}{\Gamma(s)}
=e^{\gamma s}s\prod_{n=1}^\infty\left[ \left(1+\frac{s}{n}\right)e^{-s/n} \right]
\]
を{\bf Weierstrass の公式}と呼ぶ.
右辺の無限積は任意の $s\in\C$ に対して収束する.
以上によって収束が示された極限の逆数を $F(s)$ と書くことにする:
\[
F(s)=\lim_{n\to\infty}\frac{n!n^s}{s(s+1)\cdots(s+n)}.
\]
このとき
\[
F(s+1)
=\lim_{n\to\infty}
\frac{ns}{s+1+n}\frac{n!n^s}{s(s+1)\cdots(s+n)}
=sF(s), \quad
F(1)=\frac{n!\,n}{(n+1)!}=1.
\]
ゆえに目標である($*$)の公式 $f(s)=f(1)F(s)$ ($s>0$) を
示すためには, $00$ で成立している. ゆえに
\[
\frac{n^s n!}{s(s+1)\cdots(s+n)}
=\frac{n^s\Gamma(s)\Gamma(n+1)}{\Gamma(s+n+1)}
\longrightarrow
\Gamma(s)
\qquad(n\to\infty).
\]
このように, ガンマ函数の正値性, 対数凸性, 函数等式による特徴付けを
経由せずに, 直接的にガンマ函数に関するGaussの公式を(したがって無限乗積展開も)
得ることは易しい. 以上によって次の公式も証明されたことになる:
\[
\lim_{n\to\infty}n^s B(s,n+1)=\Gamma(s).
\]
まとめ:
\[
\Gamma(s)
=\lim_{n\to\infty}n^sB(s,n+1)
=\lim_{n\to\infty}\frac{n^s n!}{s(s+1)\cdots(s+n)}
=\frac{1}{e^{\gamma s}s}\prod_{n=1}^\infty\left[\left(1+\frac{s}{n}\right)e^{-s/n}\right]^{-1}.
\]
ここで $\gamma$ はEuler定数である.
\subsection{正弦函数の無限乗積展開}
ガンマ函数の無限乗積展開の応用として $\sin z$ の無限乗積展開を証明しよう.
積分の順序交換を用いて証明されるガンマ函数とベータ函数の関係と
複素解析を用いて証明されるベータ函数と正弦函数の関係より
\[
\Gamma(s)\Gamma(1-s)=B(s,1-s)=\frac{\pi}{\sin(\pi s)}.
\]
一方, ガンマ函数の無限乗積展開より,
\[
\frac{1}{\Gamma(s)\Gamma(1-s)}
=\frac{1}{\Gamma(s)(-s)\Gamma(-s)}
=s\prod_{n=1}^\infty\left(1-\frac{s^2}{n^2}\right).
\]
以上を比較すると,
\[
\sin(\pi s)=\pi s\prod_{n=1}^\infty\left(1-\frac{s^2}{n^2}\right),
\qquad\therefore\quad
\sin z=z\prod_{n=1}^\infty\left(1-\frac{z^2}{\pi^2n^2}\right).
\]
このように, $\sin(\pi s)=\pi/(\Gamma(s)(-s)\Gamma(-s))$ なので
ガンマ函数の無限乗積展開\footnote{直接証明すれば易しい.}から
正弦函数の無限乗積展開が得られるのである.
正弦函数の無限乗積展開を直接示すためには,
$\sin z$ の対数微分 $\cot z$ の部分分数展開
\[
\cot z
= \frac{1}{z}
+ \sum_{n=1}^\infty\left(\frac{1}{z-n\pi}+\frac{1}{z+n\pi}\right)
\]
を複素解析を用いて証明し, 項別に積分すればよい.
詳しくは高木貞治『解析概論』の235頁を見よ.
以下では, 複素解析ではなく,
Fourier級数の理論を使って正弦函数の無限乗積展開を直接に得る方法
を紹介しておこう\footnote{以下では厳密な議論はしないが,
Fourier級数の収束については\secref{sec:Fseries-N}を参照せよ.}.
まず $x$ の函数 $\cos(tx)$ の $-\pi\leqq x\leqq\pi$ での値のFourier級数展開を求め,
そこから $\cot(\pi t)$ の部分分数展開が得られることを示そう%
\footnote{$x$ の偶函数 $\cos(tx)$ の $-\pi\leqq x\leqq\pi$ での値を周期 $2\pi$
で $\R$ 全体に拡張して得られる連続周期函数 $f_t(x)$ のFourier級数を考える.
$\cos(tx)$ の $0\leqq x<2\pi$ での値を周期 $2\pi$ で拡張するのではない
ことに注意せよ.
}.
$e^{itx}$ の Fourier係数は
\begin{align*}
a_n
&= \frac{1}{2\pi}\int_{-\pi}^\pi e^{-inx}e^{itx}\,dx
=\frac{1}{2\pi}\left[ \frac{e^{-inx}e^{itx}}{i(t-n)} \right]_{x=-\pi}^{x=\pi}
\\ &
=\frac{(-1)^n(e^{i\pi t}-e^{-i\pi t})}{2\pi i(t-n)}
=(-1)^n\frac{\sin(\pi t)}{\pi}\frac{1}{t-n}
\end{align*}
なので, $e^{itx}$ のFourier級数展開は
\begin{align*}
e^{itx}
&=\lim_{N\to\infty} \sum_{n=-N}^N a_n e^{inx}
=\frac{\sin(\pi t)}{\pi}
\lim_{N\to\infty} \sum_{n=-N}^N \frac{(-1)^n e^{inx}}{t-n}
\\ &
=\frac{\sin(\pi t)}{\pi} \left[
\frac{1}{t}
+ \sum_{n=1}^\infty (-1)^n
\left(\frac{e^{inx}}{t-n}+\frac{e^{-inx}}{t+n} \right)
\right]
\\ &
=\frac{\sin(\pi t)}{\pi} \left[
\frac{1}{t}
+ \sum_{n=1}^\infty (-1)^n
\left(\frac{2t\cos(nx)}{t^2-n^2}+i\frac{2n\sin(nx)}{t^2-n^2} \right)
\right]
\end{align*}
になる. ゆえに $\cos(tx)$ のFourier級数展開は
\[
\cos(tx)
=\frac{\sin(\pi t)}{\pi}
\left[
\frac{1}{t} + \sum_{n=1}^\infty (-1)^n\frac{2t\cos(nx)}{t^2-n^2}
\right]
\]
になる. したがって,
\[
\pi\cot(tx)
=\frac{\pi\cos(\pi t)}{\sin(\pi t)}
=\frac{1}{t} + \sum_{n=1}^\infty (-1)^n\frac{2t\cos(nx)}{t^2-n^2}
\]
両辺の $x\to\pi$ での極限を取ることによって,
\[
\pi\cot(\pi t)
=\frac{1}{t} + \sum_{n=1}^\infty\frac{2t}{t^2-n^2}
=\frac{1}{t} + \sum_{n=1}^\infty\left(\frac{1}{t-n}+\frac{1}{t+n}\right)
\]
を得る%
\footnote{$\coth z=-i\cot(-iz)$ より,
\(\displaystyle
\coth(\pi t)=-i\pi\cot(-\pi i t)
=\frac{1}{t} + \sum_{n=1}^\infty\frac{2t}{t^2+n^2}.
\)}.
$\sin(\pi t)$ の対数微分は $\pi\cot(\pi t)$ に等しいので,
\[
\frac{d}{dt}\log\frac{\sin(\pi t)}{\pi t}
=\sum_{n=1}^\infty\left(\frac{1}{t-n}+\frac{1}{t+n}\right)
=\sum_{n=1}^\infty\left( \frac{-1/n}{1-t/n} + \frac{1/n}{1+t/n} \right).
\]
両辺を $t=0$ から $t=s$ まで積分すると,
\[
\log\frac{\sin(\pi s)}{\pi s}
=\sum_{n=1}^\infty
\left(\log\left( 1-\frac{s}{n} \right)+\log\left( 1+\frac{s}{n} \right)\right)
=\log\prod_{n=1}^\infty\left( 1-\frac{s^2}{n^2} \right)
\]
したがって, 次が得られる%
\footnote{$\sinh z=i\sin(-iz)$ より,
\(\displaystyle
\sinh(\pi s)=\pi s \prod_{n=1}^\infty\left(1+\frac{s^2}{n^2}\right).
\)
}
\[
\sin(\pi s)
=\pi s \prod_{n=1}^\infty\left( 1-\frac{s^2}{n^2} \right).
\]
$\sin$ の無限乗積展開とガンマ函数の無限乗積展開の公式を認めて使うことを許せば,
$1/(\Gamma(s)\Gamma(1-s))$ と $\sin(\pi s)$ を比較することによって
\[
\Gamma(s)\Gamma(1-s)=\frac{\pi}{\sin(\pi s)}
\]
を示せる. さらに $\Gamma(p)\Gamma(q)=\Gamma(p+q)B(p,q)$ を
1変数の積分の置換積分と積分の順序交換のみを用いて容易に証明できることを
使えば, 次の公式も得られる:
\[
\frac{\pi}{\sin(\pi s)}
=B(s,1-s)
=\int_0^1x^s(1-x)^{1-s}\,dx
=\int_0^\infty \frac{t^{s-1}\,dt}{1+t}
=\frac{1}{s}\int_0^\infty\frac{du}{1+u^{1/s}}.
\]
これらの公式はどれか一つを証明できれば他も芋づる式に得られるようになっている.
\subsection{Wallisの公式}
\label{sec:Wallis}
次の公式は{\bf Wallisの公式}と呼ばれている:
\[
\lim_{n\to\infty}\frac{2^{2n}(n!)^2}{(2n)!\sqrt{n}}
=\sqrt{\pi},
\qquad
\text{\it i.e.}\quad
\binom{2n}{n}\sim\frac{2^{2n}}{\sqrt{\pi n}}.
\]
Wallisの公式の面白いところは円周率の平方根が
整数の比の極限で表わされているところである.
Wallisの公式はガンマ函数に関するGaussの公式に $s=1/2$ を代入すれば得られる:
\begin{align*}
\sqrt{\pi}&
=\Gamma(1/2)
=\lim_{n\to\infty}\frac{n^{1/2} n!}{(1/2)(1/2+1)\cdots(1/2+n)}
\\ &
=\lim_{n\to\infty}
\frac{2^{n+1}n^{1/2}n!}{1\cdot3\cdots(2n+1)}
=\lim_{n\to\infty}
\frac{2^{n+1}n^{1/2}n!}{1\cdot3\cdots(2n+1)}\frac{2^n n!}{2\cdot4\cdots(2n)}
\\ &
=\lim_{n\to\infty}
\frac{2^{2n+1}n^{1/2}(n!)^2}{(2n+1)!}
=\lim_{n\to\infty}
\frac{2^{2n}(n!)^2}{(2n)!}\frac{2n^{1/2}}{2n+1}
=\lim_{n\to\infty}
\frac{2^{2n}(n!)^2}{(2n)!\sqrt{n}}.
\end{align*}
次の公式も{\bf Wallisの公式}と呼ばれている:
\[
\prod_{n=1}^\infty\frac{2n\cdot 2n}{(2n-1)(2n+1)} = \frac{\pi}{2}.
\]
この公式は次の公式で $s=1/2$ とおけば得られる:
\[
\sin(\pi s)
= \frac{\pi}{\Gamma(s)\Gamma(1-s)}
= \pi s\prod_{n=1}^\infty\left(1-\frac{s^2}{n^2}\right).
\]
実際,
\[
1=\sin\left(\frac{\pi}{2}\right)
=\frac{\pi}{2}\prod_{n=1}^\infty\left(1-\frac{1}{(2n)^2}\right)
=\frac{\pi}{2}\prod_{n=1}^\infty\frac{(2n-1)(2n+1)}{2n\cdot 2n}.
\]
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Stirling-Binet の公式(1)}
\label{sec:Binet1}
以下の解説はほぼ
E.~T.~Whittaker and G.~N.~Watson, A course of modern analysis (1927)
からの引き写しである.
この本は様々な古典的な公式が大量に載っている非常に楽しい本である.
ガンマ函数の対数微分をディガンマ函数(digamma函数)と呼び, $\psi(s)$ と表わす:
\[
\psi(s)=\frac{d}{ds}\log\Gamma(s)=\frac{\Gamma'(s)}{\Gamma(s)}.
\]
さらにディガンマ函数の導函数 $\psi'(s)$ をトリガンマ函数(trigamma函数)と呼ぶ.
ガンマ函数の無限乗積展開(Weierstrassの公式)より,
\[
\log\Gamma(s)
=
-\gamma s - \log s
-\sum_{n=1}^\infty\left[\log\left(1+\frac{s}{n}\right)-\frac{s}{n}\right].
\]
ここで $\gamma$ はEuler定数である.
両辺を項別微分することによって次を得る:
\[
\psi(s)=\frac{d}{ds}\log\Gamma(s)
=
-\gamma - \frac{1}{s}
-\sum_{n=1}^\infty\left[\frac{1}{n+s}-\frac{1}{n} \right].
\]
さらにもう一度項別微分すると
\[
\psi'(s)
=\frac{1}{s^2}+\sum_{n=1}^\infty\frac{1}{(n+s)^2}
=\sum_{n=0}^\infty\frac{1}{(n+s)^2}.
\]
このようにして, ガンマ函数の無限乗積展開から,
ディガンマ函数とトリガンマ函数の部分分数展開が得られる.
以下の目標はディガンマ函数に関する公式を経由して,
$\log\Gamma(s)$ に関するStirling-Binetの公式を示すことである.
長くて地道な計算になるが, 内容的には
ディガンマ函数の部分分数展開からディガンマ函数の積分表示式を得て,
それを積分して $\log\Gamma(z)$ の表示を得るだけの単純な計算である.
まず, Euler定数の積分表示式
\[
\gamma
%= \int_0^1 \frac{1-e^{-u}}{u}\,du - \int_1^\infty \frac{e^{-u}}{u}\,du
= \int_0^\infty\left(\frac{e^{-t}}{1-e^{-t}}-\frac{e^{-t}}{t}\right)\,dt
\]
を示そう.
Euler定数の定義に $1/k=\int_0^1 x^{k-1}\,dx$
と $\log n=\int_1^n du/u$ を代入すると,
\begin{align*}
\gamma
&
=\lim_{n\to\infty}\left[\sum_{k=1}^n \frac{1}{k} - \log n\right]
=\lim_{n\to\infty}\left[\sum_{k=1}^n \int_0^1 x^{k-1}\,dx - \int_1^n \frac{du}{u}\right]
\\ &
=\lim_{n\to\infty}\left[\int_0^1\frac{1-x^n}{1-x}\,dx - \int_1^n \frac{du}{u}\right]
=\lim_{n\to\infty}\left[\int_0^1\frac{1-(1-y)^n}{y}\,dy - \int_1^n \frac{du}{u}\right]
\\ &
=\lim_{n\to\infty}\left[\int_0^n\frac{1-(1-u/n)^n}{u}\,du - \int_1^n \frac{du}{u}\right]
\\ &
=\lim_{n\to\infty}
\left[\int_0^1\frac{1-(1-u/n)^n}{u}\,du - \int_1^n \frac{(1-u/n)^n}{u}\,du\right]
\\ &
= \int_0^1 \frac{1-e^{-u}}{u}\,du - \int_1^\infty \frac{e^{-u}}{u}\,du
\\ &
= \lim_{\delta\searrow 0}
\left[ \int_\delta^1 \frac{du}{u} - \int_\delta^\infty \frac{e^{-u}}{u}\,du \right]
%\\ &
= \lim_{\delta\searrow 0}
\left[
\int_\Delta^1 \frac{du}{u}
-\int_\Delta^\delta \frac{du}{u}
-\int_\delta^\infty \frac{e^{-u}}{u}\,du
\right]
\\ &
= \lim_{\delta\searrow 0}
\left[ \int_\Delta^1 \frac{du}{u} - \int_\delta^\infty \frac{e^{-u}}{u}\,du \right]
= \lim_{\delta\searrow 0}
\left[
\int_\delta^\infty \frac{e^{-t}}{1-e^{-t}}\,dt
- \int_\delta^\infty \frac{e^{-t}}{t}\,dt
\right]
\\ &
= \lim_{\delta\searrow 0}
\int_\delta^\infty
\left(
\frac{e^{-t}}{1-e^{-t}}
-\frac{e^{-t}}{t}
\right) \,dt
\\ &
= \int_0^\infty
\left(
\frac{e^{-t}}{1-e^{-t}}
-\frac{e^{-t}}{t}
\right)\,dt.
\end{align*}
1つ目の等号はEuler定数の定義であり, 2つ目の等号で積分の代入を行ない,
3つ目の等号で等比数列の和 $1+x+\cdots+x^{n-1}=(1-x^n)/(1-x)$ を使った.
さらに4つ目の等号で積分変数の変換 $y=1-x$ を行ない,
5つ目の等号でさらに $y=t/n$ とおき,
6つ目の等号で $0$ から $1$ までの積分と $1$ から $\infty$ までの積分を分けた.
6つ目の等号の右辺は $n\to\infty$ の極限が取れる形式になっていることに注意せよ.
9つ目の等号で $0<\Delta=1-e^{-\delta}<\delta$ とおいた.
10個目の等号で $\delta\searrow 0$ のとき
$\int_\Delta^\delta du/u=\log(\delta/(1-e^{-\delta}))\to 0$ となることを使った.
11個目の等号で1つ目の積分で $u=1-e^{-t}$ とおき, 2つ目の積分で $u=t$ とおいた.
次に, Euler定数の積分表示式に似ているディガンマ函数の積分表示式
\[
\psi(s)=\frac{d}{ds}\log\Gamma(s)
=\int_0^\infty\left(\frac{e^{-t}}{t}-\frac{e^{-st}}{1-e^{-t}}\right)\,dt.
\]
を示そう(Gaussによるディガンマ函数の無限積分表示).
ディガンマ函数の部分分数展開で,
上で証明したEuler定数の積分表示とよく使われる公式
\[
\frac{1}{c^s} = \frac{1}{\Gamma(s)}\int_0^\infty e^{-ct}t^{s-1}\,dt
\qquad (\Re c>0)
\tag{$\$$}
\]
の $s=1$ の場合を $c=s,s+n,n$ に適用した結果を使うと,
\begin{align*}
\psi(s)
&
=\frac{d}{ds}\log\Gamma(s)
\\ &
=
-\int_0^\infty\left(\frac{e^{-t}}{1-e^{-t}}-\frac{e^{-t}}{t}\right)\,dt
-\int_0^\infty e^{-st}\,dt
+\sum_{n=1}^\infty \int_0^\infty (e^{-nt}-e^{-(n+s)t})\,dt
\\ &
=
\int_0^\infty\left(\frac{e^{-t}}{t}-\frac{e^{-t}}{1-e^{-t}}\right)\,dt
+\lim_{n\to\infty}
\int_0^\infty \frac{e^{-t}-e^{-nt}-e^{-st}+e^{-(s+n)t}}{1-e^{-t}}\,dt
\\ &
=
\int_0^\infty\left(\frac{e^{-t}}{t}-\frac{e^{-st}}{1-e^{-t}}\right)\,dt
-\lim_{n\to\infty}
\int_0^\infty \frac{1-e^{-st}}{1-e^{-t}} e^{-nt} \,dt
\\ &
=
\int_0^\infty\left(\frac{e^{-t}}{t}-\frac{e^{-st}}{1-e^{-t}}\right)\,dt
\end{align*}
3つ目の等号で
\begin{align*}
&
e^{-t}+e^{-2t}+\cdots+e^{-(n-1)t}=\frac{e^{-t}-e^{-nt}}{1-e^{-t}},
\\ &
e^{-st}+e^{-(s+1)t}+e^{-(s+2)t}+\cdots+e^{-(s+n-1)t}=\frac{e^{-st}-e^{(s+n)t}}{1-e^{-t}}
\end{align*}
を使った. これでディガンマ函数の積分表示式が証明された.
以下の目標はディガンマ函数に関する公式を積分して $\log\Gamma(z)$ に
関する公式を得ることである.
ここで公式
\[
\int_0^\infty \frac{e^{-t}-e^{-zt}}{t}\,dt = \log z
\tag{$*$}
\]
を示しておこう. 左辺を $f(z)$ と書くと, $f(1)=0$ でかつ,
$f'(z)=\int_0^\infty e^{-zt}\,dt=1/z$ なので $f(z)=\log z$ となる.
上で証明したディガンマ函数の積分表示式で $s=z+1$ とおいて,
被積分函数の2つ目の項の分子分母に $e^t$ をかけると:
\[
\psi(z+1)=\frac{d}{dz}\log\Gamma(z+1)
=\int_0^\infty\left( \frac{e^{-t}}{t}-\frac{e^{-zt}}{e^t-1}\right)\,dt.
\]
これにすぐ上の段落で証明した公式を適用すると,
\begin{align*}
\psi(z+1)
=\log z + \int_0^\infty\left(\frac{e^{-zt}}{t}-\frac{e^{-zt}}{e^t-1}\right)\,dt
=\log z - \int_0^\infty\left(-\frac{1}{t}+\frac{1}{e^t-1}\right)e^{-zt}\,dt.
\end{align*}
一時的に $f(t)=1/(e^t-1)$ とおくと $f(-t)=-f(t)-1$ より $1/2+f(t)$ は奇函数
になる. さらに $1/2-1/t+f(t)$ は $t=0$ で正則になり,
\[
\frac{1}{2}-\frac{1}{t}+\frac{1}{e^t-1}
=\frac{t}{12}-\frac{t^3}{720}+\frac{t^5}{30240}+O(t^7)
\tag{$*$}
\]
となることもわかる. 左辺の函数の $1/t$ 倍は $00$ において $I(z)$ は上から次のように評価される:
\[
|I(z)|\leqq M\int_0^\infty e^{-(\Re z)t}\,dt = \frac{M}{\Re z}.
\]
これは $z>0$ に対して,
\[
\log\Gamma(z+1)=z\log z-z+\log\sqrt{2\pi z}+O\left(\frac{1}{z}\right)
\qquad (z\to\infty).
\]
これでStirlingの公式
\[
\Gamma(z+1) = z^z e^{-z}\sqrt{2\pi z} \,(1+O(1/z)) \qquad (z\to\infty)
\]
が再証明された. より精密には($\#$)と($\$$)より,
\begin{align*}
I(z)
&=\int_0^\infty
e^{-zt}
\left(\frac{1}{12}-\frac{t^2}{720}+\frac{t^4}{30240}+O(t^6)\right)\,dt
\\ &
=\frac{\Gamma(1)}{12z}-\frac{\Gamma(3)}{720z^3}+\frac{\Gamma(5)}{30240z^5}
+O\left(\frac{1}{z^7}\right)
\\ &
=\frac{1}{12z}-\frac{1}{360z^3}+\frac{1}{1260z^5}+O\left(\frac{1}{z^7}\right)
\qquad (z\to\infty).
\end{align*}
すなわち
\[
\Gamma(z+1)=z^z e^{-z}\sqrt{2\pi z}\,
\exp\left(\frac{1}{12z}-\frac{1}{360z^3}+\frac{1}{1260z^5}+O\left(\frac{1}{z^7}\right)\right)
\qquad (z\to\infty).
\]
特に
\[
\Gamma(z+1)=z^z e^{-z}\sqrt{2\pi z}\,
\left(1+\frac{1}{12z}+O\left(\frac{1}{z^2}\right)\right)
\qquad (z\to\infty)
\]
と第1補正項 $1/(12n)$ も得られた.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Stirling-Binet の公式(2)}
\label{sec:Binet2}
前節の結果は以下のようにまとめられる:
\begin{align*}
&
\log\Gamma(z+1)=z\log z-z+\log\sqrt{2\pi z}+I(z),
\\ &
I(z)=\int_0^\infty\left(\frac{1}{2}-\frac{1}{t}+\frac{1}{e^t-1}\right)e^{-zt}\frac{dt}{t},
\\ &
\frac{1}{2}-\frac{1}{t}+\frac{1}{e^t-1}
=\frac{t}{12}-\frac{t^3}{720}+\frac{t^5}{30240}+O(t^7).
\end{align*}
この公式は E.~T.~Whittaker and G.~N.~Watson, A course of modern analysis (1927)
の12・31節で ``Binet's first expression for $\log\Gamma(z)$ in terms of an infinite integral''
と呼ばれている. 以下では12・32節に書いてある ``Binet's second expression'' を紹介しよう.
すなわち,
\[
I(z)=2\int_0^\infty \frac{\arctan(t/z)}{e^{2\pi t}-1}\,dt
\]
という公式の証明を目指そう.
\bigskip{\Large\bf 書きかけ}\bigskip
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: 様々な確率分布について}
\label{sec:dists}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{正規分布}
\label{sec:normal}
次の確率密度函数で定義される確率分布を
平均 $\mu$, 分散 $\sigma$ の正規分布と呼ぶ:
\[
f_{\mu,\sigma}(x)\,dx
=\frac{e^{-(x-\mu)^2/(2\sigma^2)}}{\sqrt{2\pi \sigma^2}}\,dx.
\]
平均 $0$, 分散 $1$ の正規分布を標準正規分布と呼ぶ.
\paragraph{再生性}
独立な確率変数 $X$, $Y$ がそれぞれ平均 $\mu_X,\mu_Y$, 分散 $\sigma_X^2,\sigma_Y^2$
の正規分布にしたがうとき, $X+Y$ は平均 $\mu_X+\mu_Y$, 分散 $\sigma_X^2+\sigma_Y^2$ の
正規分布にしたがう.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{ガンマ分布とカイ2乗分布}
\label{sec:Gamma}
次の確率密度函数で定義される確率分布を
shape $\alpha>0$, scale $\tau>0$ のガンマ分布と呼ぶ:
\[
f_{\alpha,\tau}(x)\,dx
=\frac{e^{-x/\tau}x^{\alpha-1}}{\Gamma(\alpha)\tau^\alpha}\,dx
=\frac{e^{-x/\tau}(x/\tau)^\alpha}{\Gamma(\alpha)}\frac{dx}{x}
\qquad (x>0).
\]
平均は $x=\alpha\tau$, 分散は $\alpha\tau^2$ であり,
$\alpha\geqq 0$ のとき最頻値は $x=(\alpha-1)\tau$ になる.
\paragraph{特性函数}
ガンマ分布の特性函数は次の形になる:
\begin{align*}
\varphi_{\tau,\alpha}(t)
=\frac{1}{\tau^\alpha\Gamma(\alpha)}\int_0^\infty e^{itx}e^{-x/\tau}x^{\alpha-1}\,dx
=(1-i\tau t)^{-\alpha}.
\end{align*}
証明するためには $\varphi_{\tau,\alpha}'(t)=i\alpha\tau(1-i\tau t)^{-1}\varphi_{\tau,\alpha}(t)$
を示せば十分である. そのことは以下のようにして示される:
\begin{align*}
\tau^\alpha\Gamma(\alpha)\varphi_{\tau,\alpha}'(t)
&
=\int_0^\infty i e^{itx} e^{-x/\tau} x^\alpha\,dx
%\\ &
= \frac{i}{it-\tau^{-1}}
\int_0^\infty \frac{\d}{\d x}(e^{itx} e^{-x/\tau}) x^\alpha\,dx
\\ &
=\frac{-i\tau}{1-i\tau t}
\int_0^\infty \frac{\d}{\d x}(e^{itx} e^{-x/\tau}) x^\alpha\,dx
%\\ &
=\frac{i\tau}{1-i\tau t}
\int_0^\infty e^{itx} e^{-x/\tau} \frac{\d}{\d x}x^\alpha\,dx
\\ &
=\frac{i\alpha\tau}{1-i\tau t}
\int_0^\infty e^{itx} e^{-x/\tau} x^{\alpha-1}\,dx
=\frac{i\alpha\tau}{1-i\tau t}
\tau^\alpha\Gamma(\alpha)\varphi_{\tau,\alpha}(t).
\end{align*}
1つめの等号で積分記号化での微分を行い,
4つめの等号で部分積分を使った.
特性函数の形から次の再生性がただちに導かれる.
\paragraph{再生性}
独立な確率変数 $X,Y$ がそれぞれ shape $\alpha_X,\alpha_Y$, scale $\tau,\tau$ の
ガンマ分布にしたがうとき, $X+Y$ は shape $\alpha_X+\alpha_Y$, scale $\tau$ の
ガンマ分布にしたがう.
\paragraph{カイ2乗分布}
カイ2乗分布($\chi^2$ 分布)はガンマ分布の特別な場合である.
すなわち, shape $n/2$, scale $2$ のガンマ分布を
自由度 $n$ のカイ2乗分布($\chi^2$ 分布)と呼ぶ:
\[
f_{2,n/2}(x)\,dx
= \frac{e^{-x/2} x^{n/2-1}}{2^{n/2}\Gamma(n/2)}\,dx
= \frac{e^{-x/2}(x/2)^{n/2}}{\Gamma(n/2)}\frac{dx}{x}.
\]
カイ2乗分布は自由度 $n$ について再生性を持つ.
\begin{theorem}[標準正規分布からカイ2乗分布が得られること]
\label{theorem:chi-square}
確率変数 $X_1,X_2,\ldots$ は独立同分布の確率変数列であり,
各々は標準正規分布にしたがうと仮定する.
このとき $Y=X_1^2+\cdots+X_n^2$ は自由度 $n$ のカイ2乗分布にしたがう.
\end{theorem}
\begin{proof}
次を示せば十分である:
\[
E[f(Y)] = \text{const.}\, \int_0^\infty f(y)e^{-y/2} y^{n/2-1}\,dy.
\]
これを示そう.
\begin{align*}
E[f(Y)]
&
=E[f(X_1^2+\cdots+X_n^2)]
\\ &
=\frac{1}{(2\pi)^{n/2}} \int\!\!\cdots\!\!\int_{\R^n}
f(x_1^2+\cdots+x_n^2)e^{-(x_1^2+\cdots+x_n^2)/2}\,dx_1\cdots dx_n
\\ &
=\frac{A_{n-1}}{(2\pi)^{n/2}} \int_0^\infty f(r^2)e^{-r^2/2} r^{n-1}\,dr
\\ &
=\frac{A_{n-1}}{2(2\pi)^{n/2}} \int_0^\infty f(y)e^{-y/2} y^{(n-1)/2} y^{-1/2}\,dy
\\ &
=\frac{A_{n-1}}{2(2\pi)^{n/2}} \int_0^\infty f(y)e^{-y/2} y^{n/2-1} \,dy.
\end{align*}
3つめの等号で $r=\sqrt{x_1^2+\cdots+x_n^2}$ とおき,
$\R^n$ における微小体積要素が $n-1$ 次元単位球面上の微小面積と $r^{n-1}\,dr$ の積
になることを使い, $n-1$ 次元単位球面の面積を $A_{n-1}$ と書いた.
4つめの等号で $r=y^{1/2}$, $dr=(1/2)y^{-1/2}\,dy$ とおいた.
\qed
\end{proof}
\begin{remark}
以上の計算によって, $n-1$ 次元単位球面の面積 $A_{n-1}$ に関して,
\[
A_{n-1} = \frac{2\pi^{n/2}}{\Gamma(n/2)}
\]
が成立することも示されたことになる.
これは\secref{sec:MB2}での計算結果と一致している.
\qed
\end{remark}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{多項分布とPearsonのカイ2乗統計量と多次元正規分布}
\label{sec:Pearson}
$K=(K_1,\ldots,K_r)$ は多項分布に従う離散型ベクトル値確率変数であるとする.
すなわち, $p_i>0$, $\sum_{i=1}^r p_i=1$ であるとし,
実数 $k_1,\ldots,k_r$ に対して,
$K=(k_1,\ldots,k_r)$ となる確率は, $k_i$ がすべて非負の整数で $\sum_{i=1}^r k_i=n$
のとき
\[
P(K=(k_1,\ldots,k_r)) = \frac{n!}{k_1!\cdots k_r!} p_1^{k_1}\cdots p_r^{k_r}
\]
であり, それ以外のとき $0$ であるとする.
\begin{example}[サイコロ]
$1$ から $6$ までの目が同じ確率で出るサイコロを $n$ 回ふったときに
$i$ の目が出た回数を $K_i$ と表わすと, $K=(K_1,\ldots,K_6)$ は
$r=6$, $p_i=1/6$ の多項分布にしたがう.
一般の多項分布も同様に理解できる%
\footnote{確率変数の話はサイコロをふる話だと思っていると理解し易いと思う.
確率変数はプログラミングにおける「乱数」のことだと思ってもよい.
様々な分布を持つ確率変数を考えることは様々な「乱数」を考えることと
同じだと思ってよい.}.
\qed
\end{example}
確率の総和が $1$ になることは多項定理
\[
\sum_{k_1+\cdots+k_r=m} \frac{m!}{k_1!\cdots k_r!} x_1^{k_1}\cdots x_r^{k_r}
= (x_1+\cdots+x_r)^m
\]
を使えば確認できる. 多項定理は二項定理と同様の考え方で証明される.
もしくは二項定理を用いた $m$ に関する帰納法で証明される.
$K_i$ の平均は $\mu_i=np_i$ になる:
\[
\mu_i
=E[K_i]
=\sum_{k_1+\cdots+k_r=n} \frac{n!}{k_1!\cdots k_r!} p_1^{k_1}\cdots p_r^{k_r} k_i
=np_i(p_1+\cdots+p_r)^{n-1}
=np_i.
\]
3つ目の等号で多項定理を使った.
$K_i$ の分散は $\sigma_i^2=np_i(1-p_i)$ になる:
\begin{align*}
&
E[K_i(K_i-1)]
=\sum_{k_1+\cdots+k_r=n} \frac{n!}{k_1!\cdots k_r!} p_1^{k_1}\cdots p_r^{k_r} k_i(k_i-1)
\\ & \hphantom{E[K_i(K_i-1)]}
=n(n-1)p_i^2(p_1+\cdots+p_r)^{n-2}
=n(n-1)p_i^2,
\\
&
\sigma_i^2
= E[K_i^2]-\mu_i^2 = E[K_i(K_i-1)]+\mu_i-\mu_i^2
\\ & \hphantom{\sigma_i^2}
=n(n-1)p_i^2 + np_i - n^2p_i^2
=np_i(1-p_i).
\end{align*}
2つ目の等号で多項定理を使った.
$i\ne j$ のとき $K_i$ と $K_j$ の共分散は $\sigma_{ij}=\sigma_{ji}=-np_ip_j$ になる:
\begin{align*}
\sigma_{ij}
&
=E[K_i K_j]-\mu_i\mu_j
=\sum_{k_1+\cdots+k_r=n} \frac{n!}{k_1!\cdots k_r!} p_1^{k_1}\cdots p_r^{k_r} k_i k_j
-\mu_i\mu_j
\\ &
=n(n-1)p_ip_j-n^2p_ip_j
=-np_ip_j.
\end{align*}
3つ目の等号で多項定理を使った.
したがってベクトル値確率変数 $X=(X_1,\ldots,X_r)$ を
\[
X_i = \frac{K_i-np_i}{\sqrt{np_i}}
\]
と定めると, $X_i$ の平均は $0$ になり, 分散は
\[
p_{ii} = \frac{np_i(1-p_i)}{np_i} = 1-p_i = 1-\sqrt{p_i}\,\sqrt{p_i}
\]
になり, $i\ne j$ のとき $X_i$ と $X_j$ の共分散は
\[
p_{ij}=p_{ji}=\frac{-np_ip_j}{n\sqrt{p_i}\,\sqrt{p_j}}=-\sqrt{p_i}\,\sqrt{p_j}
\]
になる. すなわち $X=(X_1,\ldots,X_r)$ の分散共分散行列 $P=[p_{ij}]$ は
\[
P = E + aa^T, \qquad
a =
\begin{bmatrix}
\sqrt{p_1} \\ \vdots \\ \sqrt{p_r}
\end{bmatrix}
\]
の形になる. ここで $E$ は単位行列であり, $a^T$ は列ベクトル $a$ の転置である.
$\sum_{i=1}^r p_i=1$ より, $a$ は単位ベクトルになる.
列ベクトル $v\in\R^r$ に対して,
\[
Pv = v - \bra a,v\ket a
\]
は $a$ の直交補空間への $v$ の直交射影になる($r=3$ の場合の図を描いてみよ).
ここでEuclid内積を $\bra\ ,\ \ket$ と書いた.
$P$ が単位ベクトル $a$ の直交補空間への直交射影を表現する行列であることから,
$P^2=P$ となり, $P$ のランクが $r-1$ になることがわかる%
\footnote{この結果はPearsonのカイ2乗統計量が $n\to\infty$ で
カイ2乗分布にしたがう確率変数に(弱)収束することを示すためのキーになる.}.
\begin{definition}[Pearsonのカイ2乗統計量]
多項分布にしたがう確率変数 $K=(K_1,\ldots,K_r)$ から定まる
次の確率変数を{\bf Pearsonのカイ2乗統計量}と呼ぶ:
\[
Y=\sum_{i=1}^r X_i^2 = \sum_{i=1}^r \frac{(K_i-np_i)^2}{np_i}
\]
これは{\bf カイ2乗分布}にしたがう確率変数ではない. しかし次の定理が成立している.
\qed
\end{definition}
\begin{theorem}
Pearsonのカイ2乗統計量は $n\to\infty$ で自由度 $r-1$ のカイ2乗分布に
したがう確率変数に(弱)収束する%
\footnote{この結果はよく使われているPearsonのカイ2乗検定の基礎になっている.
このノートにこの節を追加しようと思った動機は,
入門的な統計学の教科書には
「$n$ が大きなとき, どうしてPearsonのカイ2乗統計量をカイ2乗分布で近似してよいのか」
に関する説明がないように見えたからである.}.
\end{theorem}
\begin{proof}
多次元版の中心極限定理%
\footnote{多次元版中心極限定理も1次元版中心極限定理と同様の方法で証明される.
すなわち特性函数の $n\to\infty$ が正規分布の特性函数に収束することを示せばよい.}%
より, $X=(X_1,\ldots,X_r)$ は平均 $0$, 分散共分散行列が $P$ の
多次元正規分布に(弱)収束する.
したがって, $X=(X_1,\ldots,X_r)$ が
平均 $0$, 分散共分散行列 $P$ を持つ多次元正規分布にしたがうとき,
\[
Y = \sum_{i=1}^r X_i^2
\]
が自由度 $r-1$ のカイ2乗分布にしたがうことを示せばよい.
そのことを示すためには次の一般的な補題を示せば十分である.
\qed
\end{proof}
\begin{lemma}
ベクトル値確率変数 $X=(X_1,\ldots,X_r)$ が
平均 $0$, 分散共分散行列 $P$ を持つ多次元正規分布にしたがうとき,
$P^2=P$ かつ $P$ のランクが $s$ ならば,
$Y=\sum_{i=1}^r X_i^2$ は自由度 $s$ のカイ2乗分布にしたがう.
\end{lemma}
\begin{proof}
一般に分散共分散行列 $P$ は実対称行列になる.
$P^2=P$ ならば $P$ の固有値は $0$ と $1$ になり,
固有値 $1$ の重複度と $P$ のランクは一致する.
ゆえにある直交行列 $U$ が存在して,
\[
U^T PU=U^{-1}PU=\diag(\underbrace{1,\ldots,1}_{s},0,\ldots,0).
\]
$P$, $U$ の $(i,j)$ 成分をそれぞれ $p_{ij}$, $u_{ij}$ と書き,
\[
Z_i = \sum_{j=1}^r u_{ji} X_j
\]
とおく. このとき,
$X=(X_1,\ldots,X_r)$ から $Z=(Z_1,\ldots,Z_r)$ への変換は直交変換なので
\[
Y = \sum_{i=1}^r X_i^2 = \sum_{i=1}^r Z_i^2
\]
が成立し, 直交行列 $U$ の取り方より,
\[
E[Z_i Z_l]
=
\sum_{j,k=1}^r u_{ji}E[X_j X_k]u_{kl}
=
\sum_{j,k=1}^r u_{ji}p_{jk}u_{kl}
=
\begin{cases}
1 & (1\leqq i=l\leqq s), \\
0 & (\text{その他の場合}).
\end{cases}
\tag{\&}
\]
確率変数を成分に持つ行列まで期待値汎函数 $E[\ ]$ を拡張すると以上の計算を以下の
ように書くことができる:
\begin{align*}
&
\begin{bmatrix}
Z_1 & \cdots & Z_r
\end{bmatrix}
=
\begin{bmatrix}
X_1 & \cdots & X_r
\end{bmatrix}
U,
\\ &
E\left[
\begin{bmatrix}
Z_1 \\ \vdots \\ Z_r
\end{bmatrix}
\begin{bmatrix}
Z_1 & \cdots & Z_r
\end{bmatrix}
\right]
=
U^T
E\left[
\begin{bmatrix}
X_1 \\ \vdots \\ X_r
\end{bmatrix}
\begin{bmatrix}
X_1 & \cdots & X_r
\end{bmatrix}
\right]
U
\\ & \qquad
=U^T P U
=\diag(\underbrace{1,\ldots,1}_{s},0,\ldots,0).
\end{align*}
公式($\&$)より, $Z_1,\ldots,Z_s$ は独立同分布で各々が標準正規分布にしたがい,
$Z_{s+1},\ldots,Z_r$ は $0$ に台を持つデルタ分布にしたがうこと
(確率 $1$ で $Z_{s+1}=\cdots=Z_r=0$ となること)がわかる.
ゆえに\theoremref{theorem:chi-square}より
\[
\sum_{i=1}^r Z_i^2 = Z_1^2 +\cdots+Z_s^2 \qquad\text{(almost sure)}
\]
は自由度 $s$ のカイ2乗分布にしたがう.
これで示すべきことが示された.
\qed
\end{proof}
\begin{remark}[多次元正規分布]
非負の固有値を持つ $r$ 次の実対称行列 $A$ に対して,
$\R^r$ 値の確率変数 $X=(X_1,\ldots,X_r)$ が
平均 $0$, 分散共分散行列 $A$ の多次元正規分布にしたがうとは,
その特性函数が次の形になることであると定義できる:
\[
E\left[e^{i\bra t,X\ket}\right] = \exp\left(-\frac{1}{2}\bra t, A t\ket\right)
\qquad (t\in\R^r).
\tag{$*$}
\]
ここで $\bra\ ,\ \ket$ は $\R^r$ の標準Euclid内積である.
このスタイルであれば分散共分散行列 $A$ が可逆でなくても多次元正規分布が定義される.
最も極端な場合として $A=0$ のとき $X$ は $(0,\ldots,0)$ に台を持つデルタ分布に
したがう.
$\sigma_1>0,\ldots,\sigma_s>0$,
$A=\diag(\sigma_1^2,\ldots,\sigma_s^2,0,\ldots,0)$ のとき,
$X_1,\ldots,X_r$ は独立であり,
$i=1,\ldots,s$ に対する $X_i$ は平均 $0$, 分散 $\sigma_i^2$ の正規分布にしたがい,
$i=s+1,\ldots,r$ に対する $X_i$ は $0$ に台を持つデルタ分布にしたがう.
一般の場合は直交変換によってそのような場合に帰着する.
特に任意の非負実対称行列 $A$ を分散共分散行列に持つ
多次元正規分布が存在することがわかる.
$A$ が可逆ならば, $\R^r$ 上の有界連続函数 $f(x)$ について,
\[
E[f(X)]
=
\frac{1}{\sqrt{\det(2\pi A)}}
\int_{\R^r}f(x) \exp\left(-\frac{1}{2}\bra x, A^{-1} x\ket\right)
\,dx
\]
となる. ここで $dx$ は $\R^r$ 上のLebesgue測度である.
このとき($*$)が成立することは $A$ を直交行列で対角化することによって示される.
\qed
\end{remark}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{第二種ベータ分布と $t$ 分布}
\label{sec:Beta2nd}
次の確率密度函数で定義される確率分布を
パラメーター $\alpha,\beta>0$ を持つ第二種ベータ分布
(Beta distribution of the second kind もしくは Beta prime distribution)と呼ぶ:
\[
\tf_{\alpha,\beta}(x)\,dx
=\frac{1}{B(\alpha,\beta)}\frac{x^{\alpha-1}}{(1+x)^{\alpha+\beta}}\,dx
\qquad (x>0).
\]
$\beta>1$ ならば平均は $\alpha/(\beta-1)$ になり,
$\beta>2$ ならば分散は $(\alpha(\alpha+\beta-1))/((\beta-2)(\beta-1)^2)$ になる.
第2種ベータ分布の確率密度函数に $x=t^2/\gamma$ ($\gamma>0$) を代入して,
確率分布を $-\infty0$ に対して,
$\alpha=1/2$, $\beta=n/2$, $\gamma=n$ のとき, この確率密度函数で定義される
確率分布を自由度 $n$ の $t$ 分布と呼ぶ.
すなわち, 自由度 $n$ の $t$ 分布とは次の確率密度函数で定義される確率分布のことである:
\[
\tg_n(t)\,dt = c_n\left( 1+\frac{t^2}{n} \right)^{-(n+1)/2}\,dt.
\]
ここで
\[
c_n
=\frac{1}{n^{1/2}B(1/2,n/2)}
=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\,\Gamma(n/2)}.
\]
自由度 $n$ の $t$ 分布の平均と分散をそれぞれ $\mu_n$, $\sigma_n^2$ と書くと、
\[
\mu_n = 0 \quad (n>1), \qquad
\sigma_n^2 = \frac{n}{n-2} \quad (n>2).
\]
になる. 自由度無限大の極限で $t$ 分布は標準正規分布に収束する.
自由度 $1$ の $t$ 分布は{\bf Cauchy分布}とも呼ばれており,
平均も有限の分散も持たない確率分布の典型例になっている.
自由度 $2$ の $t$ 分布は平均 $0$ を持つが, 分散は無限大になる.
\begin{theorem}[標準正規分布とカイ2乗分布から $t$ 分布が得られること]
\label{theorem:t}
$Z$, $Y$ は独立な確率変数であり,
$Z$ は標準正規分布にしたがい,
$Y$ は自由度 $n$ のカイ2乗分布にしたがうと仮定する.
このとき
\[
T = \frac{Z}{\sqrt{Y/n}}
\]
は自由度 $n$ の $t$ 分布にしたがう.
\end{theorem}
\begin{proof}
次を示せば十分である:
\[
E[f(T)]
=\text{const.}\,
\int_{-\infty}^\infty f(t)\left(1+\frac{t^2}{n}\right)^{-(n+1)/2}\,dt.
\]
これを示そう. $a_n=1/(\sqrt{2\pi}\, 2^{n/2}\Gamma(n/2))$ とおくと,
\begin{align*}
E[f(T)]
&
=E\left[f\left(\frac{Z}{\sqrt{Y/n}}\right)\right]
=a_n\int_0^\infty\left(
\int_{-\infty}^\infty f\left(\frac{z}{\sqrt{y/n}}\right) e^{-z^2/2}e^{-y/2}y^{n/2-1}\,dz
\right)\,dy
\\ &
=a_n\int_0^\infty\left(
\int_{-\infty}^\infty f\left(\frac{z}{\sqrt{y/n}}\right) e^{-(y+z^2)/2}y^{n/2-1}\,dz
\right)\,dy
\\ &
=\frac{a_n}{\sqrt{n}}\int_0^\infty\left(
\int_{-\infty}^\infty f(t) e^{-(1+t^2/n)y/2}y^{(n+1)/2-1}\,dt
\right)\,dy
\\ &
=\frac{a_n}{\sqrt{n}}\int_{-\infty}^\infty f(t)\left(
\int_0^\infty e^{-(1+t^2/n)y/2}y^{(n+1)/2-1}\,dy
\right)\,dt
\\ &
=\frac{2^{(n+1)/2}\Gamma((n+1)/2)a_n}{\sqrt{n}}
\int_{-\infty}^\infty f(t)\left(1+\frac{t^2}{n}\right)^{-(n+1)/2}\,dt.
\end{align*}
ここで, 2つめの等号は標準正規分布とカイ2乗分布の定義から得られる.
4つめの等号では $z=t\sqrt{y/n}$ とおいた($z^2=yt^2/n$, $dz=y^{1/2}dt/\sqrt{n}$).
6つめの等号で次の公式を使った:
\[
\int_0^\infty e^{-\alpha y} y^{s-1}\,dy
=\int_0^\infty e^{-x} \left(\frac{x}{\alpha}\right)^{s-1} \frac{dx}{\alpha}
=\alpha^{-s}\Gamma(s)
\qquad (\alpha,s>0).
\]
証明のためには必要な計算であるが, さらに,
\[
\frac{2^{(n+1)/2}\Gamma((n+1)/2)a_n}{\sqrt{n}}
=\frac{2^{(n+1)/2}\Gamma((n+1)/2)}{\sqrt{n}\,\sqrt{2\pi}\, 2^{n/2}\Gamma(n/2)}
=\frac{\Gamma((n+1)/2)}{\sqrt{n\pi}\,\Gamma(n/2)}
=c_n.
\]
これで確認するべきことがすべて確認された.
\qed
\end{proof}
\begin{theorem}[正規分布から $t$ 分布が得られること]
\label{theorem:normal-t}
$X_1,X_2,\ldots$ が独立同分布な確率変数列であり,
各々が平均 $\mu$, 分散 $\sigma^2$ の正規分布にしたがうとき,
\[
M_n=\frac{1}{n}\sum_{k=1}^n X_k, \qquad
U_n^2= \frac{1}{n-1}\sum_{k=1}^n(X_k-M_n)^2, \qquad
T_n = \frac{M_n-\mu}{U_n/\sqrt{n}}
\tag{$*$}
\]
とおくと, $M_n$ と $U_n$ は独立になり,
$M_n$ は平均 $\mu$, 分散 $\sigma^2/n$ の正規分布にしたがい,
$(n-1)U_n^2/\sigma^2$ は自由度 $n-1$ のカイ2乗分布にしたがい,
$T_n$ は自由度 $n-1$ の $t$ 分布にしたがう.
($U_n\geqq 0$ と仮定した.)
\qed
\end{theorem}
\begin{remark}[$T_n$ の出処]
上の定理の設定のもとで, $E[M_n]=\mu$, $E[U_n^2]=\sigma^2$ となる.
$\mu$, $\sigma^2$ は
それぞれ母集団平均(population mean), 母集団分散(population variant)と呼ばれ,
$M_n$, $U_n^2$ は
それぞれ標本平均(sample mean), 不偏分散(unbiased variant)と呼ばれている.
正規分布の再生性より, $M_n$ は平均 $\mu$, 分散 $\sigma^2/n$ の正規分布
にしたがう. ゆえに
\[
T_n = \frac{M_n-\mu}{U_n/\sqrt{n}}
\]
に類似の確率変数
\[
Z_n = \frac{M_n-\mu}{\sigma/\sqrt{n}}
\]
は標準正規分布にしたがう. 上で述べたことは,
$Z_n$ の分母の母集団標準偏差 $\sigma$ を
経験的に得られた不偏標準偏差 $U_n$ で置き換えると,
標準正規分布ではなく, 自由度 $n-1$ の $t$ 分布にしたがうようになるということである.
母集団分散 $\sigma^2$ がわかっている場合には
標準正規分布になる $Z_n$ を使えるが,
そうでない場合には $Z_n$ を使えない.
そこで母集団の分散 $\sigma^2$ の代わりに
経験的に得られた不偏分散 $U_n^2$ を代用すると,
確率分布は正規分布よりも裾野が太い $t$ 分布になってしまうのである.
\qed
\end{remark}
\begin{remark}[自由度の大きな $t$ 分布が標準正規分布で近似されること]
$n\to\infty$ で
\[
\left(1+\frac{t^2}{n}\right)^{-(n+1)/2}
=
\left(1+\frac{t^2}{n}\right)^{-1/2}
\left(1-\frac{t^2}{n}+O\left(\frac{1}{n^2}\right)\right)^{n/2}
\longrightarrow
e^{-t^2/2}
\]
となるので, 自由度無限大の極限で $t$ 分布の確率密度函数は
標準正規分布の確率密度函数に収束する.
自由度が大きな $t$ 分布は標準正規分布で近似される.
\qed
\end{remark}
\begin{proof}[\theoremref{theorem:normal-t}の証明]
必要ならば $X_k$ を $X_k-\mu$ で置き換えることによって,
$\mu=0$ であると仮定できる.
以下では $\mu=0$ の場合のみを扱う.
まず, $X_1,X_2,\ldots$ は独立同分布な確率変数列であり,
各々が平均 $0$ と有限の分散 $\sigma^2$ を持つと仮定し,
正規分布であると仮定せずにどの程度のことが言えるかを調べよう.
($*$)のように $M_n$, $U_n$ を定める.
($U_n\geqq 0$ としておく.)
$Y_n=\sqrt{n}\,M_n=(X_1+\cdots+X_n)/\sqrt{n}$ とおく.
正規直交座標系 $(X_1,\ldots,X_n)$ を
$Y_n$ を含む別の正規直交座標系 $(Y_1,\ldots,Y_n)$ に座標変換できる%
\footnote{$Y_n$ に対応する単位ベクトル $(1,1,\ldots,1)/\sqrt{n}$ を
含む正規直交系を作り, その正規直交系に対応する座標系を取ればよい.
$(Y_1,\ldots,Y_{n-1})$ は $Y_n$ に対応する単位ベクトルの直交補空間
上の正規直交座標系になる.
$Y_k$ の具体的な取り方の例については\secref{sec:Y_k}を参照せよ.}.
このとき多項式の計算として
\[
\sum_{k=1}^n X_k^2 = \sum_{k=1}^n Y_k^2
\]
が成立している%
\footnote{直交変換でノルムの2乗が保たれる.}%
ので,
\begin{align*}
\sum_{k=1}^n(X_k-M_n)^2
&
=\sum_{k=1}^n (X_k^2 - 2M_n X_k + M_n^2)
=\sum_{k=1}^n X_k^2 -2M_n\sum_{k=1}^n X_k + n M_n^2
\\ &
=\sum_{k=1}^n X_k^2 -nM_n^2
=\sum_{k=1}^n Y_k^2 - Y_n^2
=\sum_{k=1}^{n-1} Y_k^2.
\end{align*}
さらに, 座標変換の仕方より $E[Y_k^2]=\sigma^2$ となるので,
\[
E\left[\sum_{k=1}^n(X_k-M_n)^2\right]
=E\left[\sum_{k=1}^{n-1} Y_k^2\right]
=(n-1)\sigma^2
\]
となることもわかる%
\footnote{$Y_k$ を使わない直接的計算でこの結果を確認することも容易である.}.
これより $E[U_n^2]=\sigma^2$ となることもわかる.
以上の結果は $X_k$ が正規分布でなくても成立している.
以下では, $X_k$ たちが平均 $0$, 分散 $\sigma^2$ の正規分布に
したがうと仮定しよう.
このとき正規分布の確率密度函数の形より, $Y_k$ たちも独立同分布になり,
各々が平均 $0$, 分散 $\sigma^2$ の正規分布にしたがう.
ゆえに
\[
U_n^2 = \frac{1}{n-1}\sum_{k=1}^n (X_k-M_n)^2 = \frac{1}{n-1}\sum_{k=1}^{n-1} Y_k^2, \qquad
M_n = \frac{1}{n}\sum_{k=1}^n X_k = \frac{1}{\sqrt{n}} Y_n
\]
は独立になり, \theoremref{theorem:chi-square}より,
\[
\frac{n-1}{\sigma^2}U_n^2 = \frac{1}{\sigma^2}\sum_{k=1}^{n-1} Y_k^2
\]
は自由度 $n-1$ のカイ2乗分布になる.
したがって\theoremref{theorem:t}より
\[
\frac{\dfrac{M_n-\mu}{\sigma/\sqrt{n}}}{\sqrt{\dfrac{(n-1)U_n^2/\sigma^2}{n-1}}}
=\frac{M_n-\mu}{U_n/\sqrt{n}}
\]
が自由度 $n-1$ の $t$ 分布にしたがうことがわかる.
\qed
\end{proof}
\begin{theorem}[正規分布から $t$ 分布が得られること(\theoremref{theorem:normal-t})の一般化]
\label{theorem:normal-t2}
確率変数たち $X_{s,k}$ ($s=1,\ldots,r$, $k=1,\ldots,n_s$) は独立であり,
各 $s$ ごとに $X_{s,k}$ たちは
平均 $\mu_s$, 分散 $\sigma_s^2$ の正規分布にしたがっていると仮定する.
このとき
\begin{alignat*}{2}
&
M_s = \frac{1}{n_s}\sum_{k=1}^{n_s} X_{s,k},
& \qquad &
U_s^2 = \frac{1}{n_s-1}\sum_{k=1}^{n_s}(X_{s,k}-M_s)^2,
\\ &
Z=
\frac
{\dsum_{s=1}^r(M_s-\mu_s)}
{\sqrt{\dsum_{s=1}^r\frac{\sigma_s^2}{n_s}}},
& \qquad &
Y=\sum_{s=1}^r \frac{n_s-1}{\sigma_s^2}U_s^2
=\sum_{s=1}^r\frac{1}{\sigma_s^2}\sum_{k=1}^{n_s}(X_{s,k}-M_s)^2,
\\ &
n=\sum_{s=1}^r n_s,
& \qquad &
T = \frac{Z}{\sqrt{Y/(n-r)}}
\end{alignat*}
とおくと, $T$ は自由度 $n-r$ の $t$ 分布にしたがう%
\footnote{もしも $\sigma_1^2=\cdots=\sigma_r^2=\sigma^2$ ならば
$T$ の定義中の分子分母の $\sigma$ がキャンセルし,
$Z$ は母集団分散 $\sigma^2$ の情報抜きに計算できる量になることに注意せよ.}.
\end{theorem}
\begin{proof}
\theoremref{theorem:normal-t}の証明より,
$M_s$ と $U_s^2$ は独立になり,
$M_s$ は平均 $\mu_s$, 分散 $\sigma_s^2/n_s$ の正規分布にしたがい,
$(n_s-1)U_s^2/\sigma_s^2$ は自由度 $n_s-1$ のカイ2乗分布にしたがうことがわかる.
特に $Z$ と $Y$ は独立になる.
正規分布の再生性より,
$\sum_{s=1}^{n_s}(M_s-\mu_s)$ は平均 $0$,
分散 $\sum_{s=1}^r(\sigma_s^2/n_s)$ の正規分布にしたがうので,
$Z$ は標準正規分布にしたがう.
カイ2乗分布の再生性より, $Y$ は自由度 $n-r$ のカイ2乗分布にしたがう.
ゆえに, \theoremref{theorem:t}より,
$T$ は自由度 $n-r$ の $t$ 分布にしたがう.
\qed
\end{proof}
上の定理を $s=2$, $\mu_1=\mu$, $\mu_2=-\mu$, $\sigma_1=\sigma_2$ の場合に
適用することによって次の系がただちに得られる.
\begin{cor}
確率変数 $X_{s,k}$ ($s=1,2$, $k=1,\ldots,n_s$)たちは独立同分布であり,
平均 $\mu$, 分散 $\sigma$ の正規分布にしたがっているとする.
このとき
\begin{align*}
&
M_s=\frac{1}{n}\sum_{k=1}^{n_s}X_{s,k},
\qquad
Y'=\sum_{s=1}^2\sum_{k=1}^{n_s}(X_{s,k}-M_s)^2,
\\ &
T=\frac{M_1-M_2}{\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}\,\sqrt{\dfrac{Y'}{n_1+n_2-2}}}
\end{align*}
とおくと, $T$ は自由度 $n_1+n_2-2$ の $t$ 分布にしたがう%
\footnote{この結果は分散が等しい正規分布にしたがう2つのサンプルの
平均が等しいと言えるどうかの検定に使われる.}.
\qed
\end{cor}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{不偏分散の直交変換による取り扱いについて}
\label{sec:Y_k}
$X_1,X_2,\ldots$ は独立同分布な確率変数列であり,
それぞれの平均は $0$ で分散は $\sigma^2$ であると仮定する%
\footnote{平均が $\mu\ne 0$ の場合には $X_k$ を $X_k-\mu$ で置き換えて考えれば同様である.}.
このときサイズ $n$ の標本 $X_1,\ldots,X_n$ の標本平均 $\Xbar_n$ と不偏分散 $U_n^2$ が
\[
\Xbar_n = \frac{1}{n} \sum_{k=1}^n X_k, \qquad
U_n^2 = \frac{1}{n-1}\sum_{k=1}^n (X_k - \Xbar_n)^2
\]
と定義される. さらに次が成立していることに注意せよ:
\begin{align*}
\sum_{k=1}^n (X_k - \Xbar_n)^2 = \sum_{k=1}^n X_k^2 - n\Xbar_n^2.
\end{align*}
確率変数 $Y_1,\ldots,Y_n$ を次のように定義する:
\begin{align*}
&
Y_n = \frac{1}{\sqrt{n}}\sum_{k=1}^n X_k = \sqrt{n}\,\Xbar_n,
\\ &
Y_k = \frac{1}{\sqrt{k(k+1)}}\left(\sum_{j=1}^k X_j - k X_{k+1}\right)
\quad (k=1,2,\ldots,n-1).
\end{align*}
$n\times n$ 行列 $A=[a_{ij}]$ を
\[
A=
\begin{bmatrix}
1 & 1 & 1 & \cdots & 1 & 1 \\
-1 & 1 & 1 & \cdots & 1 & 1 \\
0 &-2 & 1 & \cdots & 1 & 1 \\
0 & 0 &-3 & \ddots & \vdots & \vdots \\
\vdots & \vdots & \ddots & \ddots & 1 & 1 \\
0 & 0 & \cdots & 0 & -(n-1) & 1 \\
\end{bmatrix}
\begin{bmatrix}
1/\sqrt{2} \\
& 1/\sqrt{6} \\
& & 1/\sqrt{12} \\
& & & \ddots \\
& & & & 1/\sqrt{n(n+1)} \\
& & & & & \sqrt{n} \\
\end{bmatrix}
\]
と定めると, $Y_j$ たちの定義は
\[
Y_j = \sum_{i=1}^n a_{ij} X_i
\]
と書ける. さらに行列 $A$ は直交行列であることもわかる%
\footnote{${}^t AA$ が単位行列になることを直接確認できる.
まず行列 $A$ の定義式の左側の行列の列ベクトルたちが互いに直交する
ことを確認せよ.}.
ゆえに $\sum_{i=1}^n a_{ki}a_{li}=\delta_{kl}$ が成立するので
\begin{align*}
\sum_{i=1}^n Y_i^2
= \sum_{i,k,l} a_{ki}a_{li} X_k X_l
= \sum_{k,l}\delta_{kl} X_k X_l
= \sum_{k=1}^n X_k^2.
\end{align*}
さらに, $E[X_i X_j]=\sigma^2\delta_{ij}$ も使うと,
\begin{align*}
E[Y_k Y_l]
=\sum_{j,j} a_{ki}a_{lj}E[X_i X_j]
=\sigma^2 \sum_{i,j} a_{ki}a_{li}\delta_{ij}
=\sigma^2 \sum_{i=1}^n a_{ki}a_{li}
=\sigma^2 \delta_{kl}.
\end{align*}
以上の公式を使うと,
\begin{align*}
\sum_{k=1}^n X_k^n - n\Xbar_n^2
= \sum_{k=1}^n Y_k - Y_n^2
= \sum_{k=1}^{n-1} Y_k.
\end{align*}
ゆえに
\begin{align*}
U_n^2
=\frac{1}{n-1}\left(\sum_{k=1}^n X_k^2 - n\Xbar^2\right)
=\frac{1}{n-1}\sum_{k=1}^{n-1}Y_k^2.
\end{align*}
不偏分散が $n-1$ 個の和の $n-1$ の分の1の形で書けた.
さらに
\begin{align*}
E[U_n^2] = \frac{1}{n-1}\sum_{k=1}^{n-1}E[Y_k^2]
=\frac{1}{n-1}(n-1)\sigma^2=\sigma^2.
\end{align*}
もしも $X_k$ たちが独立で平均 $0$, 分散 $\sigma^2$ の正規分布にしたがっているならば,
$Y_k$ たちも独立で平均 $0$, 分散 $\sigma^2$ の正規分布にしたがうことも
容易に確かめられる. この場合には $\Xbar_n=Y_n/\sqrt{n}$ は平均 $0$, 分散 $\sigma^2/n$ の
正規分布にしたがい, $(n-1)U_n^2/\sigma^2=\sum_{k=1}^{n-1}Y_k^2/\sigma^2$ は
自由度 $n-1$ のカイ二乗分布にしたがい, それらは独立になる.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{第一種および第二種ベータ分布と $F$ 分布}
\label{sec:Beta1st}
次の確率密度函数で定義される確率分布を
パラメーター $\alpha,\beta>0$ を持つ第一種ベータ分布
(Beta distribution of the first kind もしくは単にベータ分布)と呼ぶ:
\[
f_{\alpha,\beta}(x)\,dx
=\frac{1}{B(\alpha,\beta)} x^{\alpha-1}(1-x)^{\beta-1}\,dx
\qquad (01$ のとき最頻値は $x=(\alpha-1)/(\alpha+\beta-2)$ になる.
第一種ベータ分布の確率密度函数で $x$ に $x/(1+x)$ ($x>0$)を代入すると
\begin{align*}
f_{\alpha,\beta}\left(\frac{x}{1+x}\right)\frac{dx}{(1+x)^2}
=
\frac{1}{B(\alpha,\beta)}\,
\frac{x^{\alpha-1}}{(1+x)^{\alpha+\beta}}\,dx
\qquad (x>0)
\end{align*}
となる. これは第二種ベータ分布の確率密度函数である.
整理の途中で $1-x/(1+x)=1/(1+x)$ を使った.
さらに, $m,n>0$ とし,
第二種ベータ分布の確率密度函数の $x$ に $mx/n$ ($x>0$) を代入すると,
上と同様にして,
\begin{align*}
f_{\alpha,\beta}\left( \frac{mx/n}{1+mx/n} \right) \frac{(m/n)\,dx}{(1+mx/n)^2}
=
\frac{1}{B(\alpha,\beta)}\,
\frac{(mx/n)^\alpha}{(1+mx/n)^{\alpha+\beta}}
\,\frac{dx}{x}
\qquad (x>0)
\end{align*}
となる. これは, $\alpha=m/2$, $\beta=n/2$ のとき, 次の形になる:
\[
g_{m,n}(x)\,dx
=
\frac{1}{B(m/2,n/2)}\,
\frac{(mx/n)^{m/2}}{(1+mx/n)^{(m+n)/2}}
\,\frac{dx}{x}
\qquad (x>0).
\]
この確率密度函数で定義される確率分布をパラメーター $m,n$ の $F$ 分布と呼ぶ.
パラメーター $m,n$ の $F$ 分布の
平均と分散をそれぞれ $\mu_{m,n}$, $\sigma_{m,n}^2$ と書くと,
\[
\mu_{m,n}=\frac{n}{n-2} \quad (n>2), \qquad
\sigma_{m,n}^2 = \frac{2n^2(m+n-2)}{m(n-2)^2(n-4)} \quad (n>4)
\]
になる.
$X$ がパラメーター $m,n$ の $F$ 分布にしたがうならば,
$(mX/n)/(1+mX/n)$ はパラメーター $m/2,n/2$ の第一種ベータ分布にしたがい,
$mX/n$ はパラメーター $m/2,n/2$ の第二種ベータ分布にしたがう.
\begin{theorem}[カイ2上分布から $F$ 分布が得られること]
\label{theorem:F}
独立な確率変数 $Y$, $Z$ が
それぞれ自由度 $m$, $n$ のカイ2乗分布にしたがうとき,
\[
X = \frac{Y/m}{Z/n}
\]
はパラメーター $m,n$ の $F$ 分布にしたがう.
したがって, $Y_k$, $Z_l$ が
独立同分布な確率変数であり,
各々が標準正規分布にしたがうとき,
\[
X=
\frac
{\left(\sum_{k=1}^m Y_k^2\right)/m}
{\left(\sum_{l=1}^n Z_l^2\right)/n}
\]
はパラメーター $m,n$ の $F$ 分布にしたがう.
\end{theorem}
\begin{proof}
後半の主張は前半の主張と\theoremref{theorem:chi-square}から得られる.
前半の主張を示すためには
\[
E[f(X)]
=\text{const.}\,
\int_0^\infty
f(x)
\frac{(mx/n)^{m/2}}{(1+mx/n)^{(m+n)/2}}
\,\frac{dx}{x}
\]
を示せばよい. $a=[2^{(m+n)/2}\Gamma(m/2)\Gamma(n/2)]^{-1}$ とおくと,
\begin{align*}
E[f(X)]
&
=E\left[f\left(\frac{Y/m}{Z/n}\right)\right]
=a\int_0^\infty\left(
\int_0^\infty f\left(\frac{y/m}{z/n}\right) e^{-(y+z)/2} y^{m/2-1} z^{n/2-1}\,dy
\right)\,dz
\\ &
=a\int_0^\infty\left(
\int_0^\infty f(x) e^{-(1+mx/n)z/2}
\left(\frac{m}{n}xz\right)^{m/2-1} z^{n/2-1} \frac{m}{n}z\,dx
\right)\,dz
\\ &
=a\int_0^\infty f(x)
\left(\left(\frac{mx}{n}\right)^{m/2}
\int_0^\infty e^{-(1+mx/n)z/2} z^{(m+n)/2-1}\,dz
\right)\frac{dx}{x}
\\ &
=2^{(m+n)/2}\Gamma\left(\frac{m+n}{2}\right)a
\int_0^\infty f(x)
\left(\frac{mx}{n}\right)^{m/2} \left(1+\frac{mx}{n}\right)^{-(m+n)/2}
\frac{dx}{x}
\end{align*}
3つめの等号で $y/m=(z/n)x$ とおいた($y=(mx/n)z$, $dy=(m/n)z\,dx$).
5つめの等号で次の一般的な公式を使った:
\[
\int_0^\infty e^{-\alpha z} z^{s-1}\,dy
=\int_0^\infty e^{-t} \left(\frac{t}{\alpha}\right)^{s-1} \frac{dt}{\alpha}
=\alpha^{-s}\Gamma(s)
\qquad (\alpha,s>0).
\]
これで示すべきことは示された. さらに
\[
2^{(m+n)/2}\Gamma\left(\frac{m+n}{2}\right)a
=\frac{2^{(m+n)/2}\Gamma((m+n)/2)}{2^{(m+n)/2}\Gamma(m/2)\Gamma(n/2)}
=\frac{1}{B(m/2,n/2)}.
\]
これで確認するべきことがすべて確認された.
\qed
\end{proof}
第二種ベータ分布の確率密度函数に $x=t^2/n$, $\alpha=1/2$, $\beta=n/2$
を代入したものは自由度 $n$ の $t$ 分布の確率密度函数になるのであった.
このことから確率変数 $T$ が自由度 $n$ の $t$ 分布にしたがうとき,
$T^2$ はパラメーター $1,n$ の $F$ 分布にしたがい,
$T^{-2}$ はパラメーター $n,1$ の $F$ 分布にしたがうことがわかる.
この意味で $T$ 分布は本質的に
片方の自由度が $1$ の場合の $F$ 分布であることがわかる.
このことは以下のように直接的な計算によっても確かめられる.
$F$ 分布の確率密度函数は次のように書き直される:
\[
g_{m,n}(x)\,dx
=
\frac{(m/n)^{m/2}}{B(m/2,n/2)}
\frac{x^{m/2-1}}{(1+mx/n)^{(m+n)/2}}
\,dx.
\]
$m=1$ を代入すると,
\[
g_{1,n}(x)\,dx
=
\frac{1}{\sqrt{n}\,B(1/2,n/2)}
\frac{x^{-1/2}}{(1+x/n)^{(n+1)/2}}
\,dx.
\]
さらに $x=t^2$ を代入して,
分布を $-\infty0,\, \sum_{i=1}^m t_i<1}
t_1^{-1/2}\cdots t_m^{-1/2}
(1-t_1-\cdots-t_m)^{(n-m-2)/2}\,dt_1\cdots dt_m
\\ &
= \frac{\Gamma(1/2)^m\Gamma((n-m)/2)}{\Gamma(n/2)}.
\end{align*}
2つ目の等号で $z_i=\sqrt{t_i}$ と変数変換し,
最後の等号で次の公式を使った: $p_i>0$ に対して,
\begin{align*}
&
\frac{\Gamma(p_1)\cdots\Gamma(p_{m+1})}{\Gamma(p_1+\cdots+p_{m+1})}
%\\ &
=
\int_{t_i>0,\, \sum_{i=1}^m t_i<1}
t_1^{p_1-1}\cdots t_m^{p_m-1}
(1-t_1-\cdots-t_m)^{p_{m+1}-1}\,dt_1\cdots dt_m.
\end{align*}
証明の方法はガンマ函数とベータ函数の関係とまったく同様である.
もしくは右辺を $B(p_1,\ldots,p_{m+1})$ と書くと,
\[
B(p_1,\ldots,p_{m+1})
=B(p_1,\ldots,p_{m-1},p_m+p_{m+1})B(p_m,p_{m+1})
\tag{B}
\]
が成立することから, 帰納法で証明することもできる.
実際, $t_m=(1-t_1-\cdots-t_{m-1})u$ によって $t_m$ から $u$ に変数変換すると
\begin{align*}
&
B(p_1,\ldots,p_m,p_{m+1})
\\ & \qquad
=
\int_{t_i>0,\;\sum_{i=1}^{m-1}t_i<1}
dt_1\cdots dt_{m-1}
\int_{-1}^1 du
\\ & \qquad\qquad
t_1^{p_1-1}\cdots t_{m-1}^{p_{m-1}-1}
(1-t_1-\cdots-t_{m-1})^{p_m+p_{m+1}-1}
u^{p_m-1}(1-u)^{p_{m+1}-1}.
\end{align*}
これより上の公式(B)が成立することがわかる.
公式($*$)より, ベクトル値確率変数 $(Z^{(n)}_1,\ldots,Z^{(n)}_m)$ の
確率密度函数は
\[
g_n(z_1,\ldots,z_m)\,dz_1\cdots dz_m
=
{c^{(n)}_{m}}^{-1}(1-z_1^2-\cdots-z_m^2)^{(n-m-2)/2}\,dz_1\cdots dz_m
\]
である.
これより, $\sigma>0$ に対して, \(
(Y^{(n)}_1,\ldots,Y^{(n)}_m)
=\sqrt{n}\,\sigma\,(Z^{(n)}_1,\ldots,Z^{(n)}_m)
\) の確率密度函数は
\[
\left(1-\frac{1}{n\sigma^2}\sum_{i=1}^m y_i^2 \right)^{(n-m-2)/2}\,dy_1\cdots dy_m
\]
の定数倍になる%
\footnote{$Y^{(n)}_i$ たちは独立ではないことに注意せよ.}. そして,
\[
\lim_{n\to\infty}
\left(1-\frac{1}{n\sigma^2}\sum_{i=1}^m y_i^2 \right)^{\frac{n-m-2}{2}}
=\exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^m y_i^2 \right)
\]
なので $(Y^{(n)}_1,\ldots,Y^{(n)}_m)$ は $n\to\infty$ で
$m$ 次元の正規分布にしたがうベクトル値確率変数に収束する%
\footnote{$Y^{(n)}_i$ 達は有限な $n$ で独立ではないが,
$n\to\infty$ の極限で独立な標準正規分布に収束する.}.
すなわち,
\begin{align*}
&
\frac{1}{C_n(\sqrt{n}\,\sigma)}
\int_{\sqrt{n}\,\sigma\,S^{n-1}} g(y_1,\ldots,y_m) \,d\omega_n
\\ &
\longrightarrow
\frac{1}{(2\sigma^2)^{m/2}}
\int_{\R^m} g(y_1,\ldots,y_m)
\exp\left( -\frac{1}{2\sigma^2}\sum_{i=1}^my_i^2 \right)\,dy_1\cdots dy_m.
\end{align*}
ここで, \(
\sqrt{n}\,\sigma\,S^{n-1}
=\{\,(y_1,\ldots,y_n)\in\R^n\mid y_1^2+\cdots+y_n^2=n\sigma^2 \,\}
\) は半径 $\sqrt{n}\,\sigma$ の $n-1$ 次元球面であり,
$C_n(\sqrt{n}\,\sigma)$ はその球面の表面積であり,
$d\omega_n$ はその球面上の面積要素である.
これは物理的には{\bf Maxwell-Boltzmann則}としてよく知られており,
分散 $\sigma^2$ は絶対温度のBoltzmann定数倍 $kT$ だと解釈される.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{二項分布と第一種ベータ分布}
\label{sec:Bin-Beta}
$00$ を持つ第一種ベータ分布の確率密度函数は
\[
f_{\alpha,\beta}(p)\,dp
=(\alpha+\beta-1)\binom{\alpha+\beta-2}{\alpha-1} p^{\alpha-1}(1-p)^{\beta-1}\,dp
\qquad (0
1$ のとき最頻値は $p=(\alpha-1)/(\alpha+\beta-2)$ になるのであった.
ゆえに $\alpha+\beta-2=n$, $\alpha-1=k$ のとき,
第一種ベータ分布の確率密度函数は
\[
f_{k+1,n-k+1}(p)\,dp
=(n+1)\binom{n}{k} p^k(1-p)^{n-k}\,dp
\qquad (0
0$ のPoisson分布にしたがうとは
\[
P(N_{\lambda T}=k) = \frac{e^{-\lambda T}(\lambda T)^k}{k!}
\qquad (k=0,1,2,3,\ldots)
\]
が成立することであると定める.
平均と分散はどちらも $\lambda T$ になる.
$T$ は測定する時間の長さを,
$\lambda$ は単位時間あたりにまれな事象が起こる回数の期待値を意味している.
特性函数は $E[e^{itN_{\lambda T}}]=e^{\lambda T(e^{it}-1)}$ となる.
Poisson分布は $\lambda T$ について再生性を持つ.
ゆえに中心極限定理より, $\lambda T$ を大きくすると,
$(N_{\lambda T}-\lambda T)/\sqrt{\lambda T}$ は標準正規分布にしたがう確率変数で近似される.
Poisson分布とガンマ分布の関係は以下の通り.
次の確率密度函数で定義される確率分布を
shape $\alpha=k+1>0$, scale $\tau=1/T$ のガンマ分布と呼ぶのであった:
\[
f_{k+1,1/T}(\lambda)\,d\lambda
=\frac{e^{-\lambda T}(\lambda T)^k}{k!}\,d\lambda
\qquad (\lambda>0).
\]
平均は $\lambda=(k+1)/T$, 分散は $(k+1)/T^2$ になり,
最頻値は $\lambda=k/T$ になる%
\footnote{$k\sim\lambda T$ ($T\to\infty$, $\lambda$ は一定)
ならば $T\to\infty$ で平均と最頻値は $\lambda$
に収束し, 分散は $0$ に収束する.}.
このことから, $T$ 単位時間の観測でまれな事象が $k$ 回起こったならば,
単位時間あたりにまれな事象が起こる回数の平均値 $\lambda$ の推定値が
shape $\alpha=k+1$, scale $\tau=1/T$ のガンマ分布にしたがっていると
みなすことが十分に合理的なことがわかる.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{基本的な数学用語の大雑把な説明}
確率変数にその期待値(平均)を
対応させる汎函数 $E[\ \ ]$ は以下を満たしている%
\footnote{確率空間 $(\Omega,\mathcal{F},\mu)$ 上の可測函数 $X$ を確率変数と呼ぶ.
可積分函数 $X$ に $\int_\Omega X(x)\,\mu(dx)$ を対応させる汎函数
を期待値汎函数と呼び $E[\ \ ]$ と表わす.}:
\begin{itemize}
\item $E[\alpha X+\beta Y]=\alpha E[X]+\beta E[Y]$ (線形性).
\item $f\geqq 0$ ならば $E[f(X)]\geqq 0$ (単調性).
\item $E[1]=1$ (規格化条件).
\end{itemize}
たったこれだけの性質だけからかなりのことが言える.
確率変数 $X$ の平均値(期待値)が存在するとは $E\bigl[|X|\bigr]<\infty$ となることである.
そのとき $\mu_X=E[X]$ を $X$ の平均値もしくは期待値と呼ぶ.
$X$ の平均値 $\mu_X$ が存在するとき,
$(X-\mu_X)^2$ の平均値を $X$ の分散と呼び,
$\sigma_X^2$ と表わし, 分散の平方根 $\sigma_X$ を標準偏差と呼ぶ.
分散と標準偏差は無限大になることがありえる.
もしも $E\bigl[|X|^r\bigr]<\infty$ ならば $X$ の $r$ 次のモーメントが存在する
と言い, $E[X^r]$ を $X$ の $r$ 次のモーメントと言う.
$X$ の $1$ 次のモーメントは $X$ の平均 $\mu_X=E[X]$ であり,
$2$ 次のモーメントについて $E[X^2]=\sigma_X^2+\mu_X^2$
なので $\sigma_X^2=E[X^2]-E[X]^2$ となる.
確率変数 $X$ に対して $\varphi_X(t)=E[e^{itX}]$ を $X$ の特性函数と呼ぶ.
特性函数は $t$ について一様連続函数になる.
特性函数が等しい確率変数は確率分布を持つ%
\footnote{確率変数とは確率空間 $(\Omega,\mathcal{F},\mu)$ 上
の実数値可測函数 $X:\Omega\to\R$ のことである.
$\R$ のBorel部分集合 $A$ に対して $\mu_X(A)=\mu(X^{-1}(A))$ と定めることによって,
$\R$ 上の確率測度 $\mu_X$ が定まる. $\mu_X$ を確率変数 $X$ の確率分布と呼ぶ.
もしも $\mu_X$ がLebesgue測度の函数 $f(x)$ 倍と表示されるとき,
$f(x)$ を確率変数 $X$ の確率密度函数と呼ぶ.
$\R$ 上の可測函数 $g(x)$ に対して $X$ と $g$ の合成を $g(X)$ と書く.
$g(X)$ も確率変数になる.
$g(x)$ が有界連続関数のとき,
$g(X)$ の期待値は $E[g(X)]=\int_\R g(x)\,\mu_X(dx)$ と表わされる.
$X$ の確率密度函数 $f(x)$ が存在するならば $E[g(X)]=\int_\R g(x)f(x)\,dx$.
}.
確率変数 $X$, $Y$ が同じ確率分布を持つとき, $X\sim Y$ と書くことにする.
$X$ の $r$ 次以下のモーメントがすべて存在するとき,
特性函数 $\varphi_X(t)$ は $t=0$ で $r$ 回微分可能になり,
$\varphi_X^{(k)}(0)=E[X^k]$ ($k=0,1,\ldots,r$) となる.
$X$ と $Y$ は平均値と有限の分散を持つ確率変数であるとする.
このとき Cauchy-Schwarz の不等式より,
$E[|(X-\mu_X)(Y-\mu_Y)]\leqq\sigma_X\sigma_Y$ となるので,
$\sigma_{XY}=E[(X-\mu_X)(Y-\mu_Y)]$ がwell-definedになり,
$\bigl|E[(X-\mu_X)(Y-\mu_Y)]\bigr|\leqq\sigma_X\sigma_Y$ となる.
$\sigma_{XY}$ を $X$ と $Y$ の共分散と呼ぶ.
$\rho_{XY}=\sigma_{XY}/(\sigma_X\sigma_Y)$ を$X$ と $Y$ の相関係数と呼ぶ.
相関係数の絶対値は $1$ 以下になる.
共分散は線形代数での「ベクトルの内積」に対応し,
相関係数は「ベクトルのあいだの角度を $\theta$ と書くときの $\cos\theta$」
に対応している.
確率変数 $X$ を平均が $0$ になるように値を平行移動した $X-\mu_X$
はベクトルの類似物であり, $E(X-\mu_X)(Y-\mu_Y)]$ が内積の類似物であることを
理解できれば, 線形代数学で学んだことがすべて役に立つ.
確率変数たち $X_i$ が独立であるとは,
$i_1,\ldots,i_r$ が互いに異なるとき,
\[
E[f_1(X_{i_1})\cdots f_r(X_{i_r})]
=
E[f_1(X_{i_1})]\cdots E[f_r(X_{i_r})]
\]
が成立することである($f_k$ たちは有界な連続函数).
$X$ と $Y$ が独立ならば $X$ と $Y$ の共分散と相関係数は $0$ になるが,
逆は成立しない.
$D_\alpha$ はパラメーター $\alpha>0$ を持つ確率変数であるとし,
$X\sim D_\alpha$, $Y\sim D_\beta$ であり, $X,Y$ は独立であるとする.
このとき, もしも $X+Y\sim D_{\alpha+\beta}$ が成立するとき,
$D_\alpha$ の確率分布は再生性を持つと言う.
確率変数 $X_1,\ldots,X_r$ が独立であるとき,
$\varphi_{X_1+\cdots+X_r}=\prod_{i=k}^r\varphi_{X_k}$ が成立する.
ゆえに, $\varphi_{D_\alpha}=\phi^\alpha$ が成立することと,
$D_\alpha$ の確率分布は再生性を持つことは同値である.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: 簡単なTauber型定理とその応用}
\label{sec:Tauber}
\subsection{不定積分のTauber型定理}
\begin{theorem}
$f(t)$ は $t>0$ で定義された正値函数でかつ単調減少または単調増加%
\footnote{$x\leqq x'$ ならば $f(x)\geqq f(x')$ が成立することを「単調減少」と呼んでいる.
字義通りに解釈できるようにするためには「非増加函数」と呼ぶべきかもしれないが,
慣習に合わせてこのように呼んでいる.
「単調増加」についても不等式の無きを逆にするだけでまったく同様である.}%
していると仮定し, $\alpha,a>0$ であるとする. このとき
\[
\int_0^x f(t)\,dt \sim a x^\alpha \qquad (x\to\infty)
\]
ならば%
\footnote{$F(x)\sim G(x)$ ($x\to\infty$) は
$\lim_{x\to\infty}(F(x)/G(x))=1$ を意味する},
\[
f(x) \sim a \alpha x^{\alpha-1} \qquad (x\to\infty)
\]
が成立する. (この結論の式は前提の式の両辺を形式的に $x$ で微分した形をしている.)
\end{theorem}
\begin{proof}
まず, $f$ が単調減少である場合を扱う.
$f$ が単調減少函数であることより, 任意の $c>1$ に対して,
\[
\frac{\int_0^{cx} f(t)\,dt-\int_0^x f(t)\,dt}{cx-x}
\leqq
f(x)
\leqq
\frac{\int_0^x f(t)\,dt-\int_0^{c^{-1}x} f(t)\,dt}{x-c^{-1}x}.
\tag{1}
\]
これの全体を $ax^{\alpha-1}$ で割ると,
\[
\frac{\dfrac{\int_0^{cx} f(t)\,dt}{ax^\alpha}-\dfrac{\int_0^x f(t)\,dt}{ax^\alpha}}{c-1}
\leqq
\frac{f(x)}{ax^{\alpha-1}}
\leqq
\frac{\dfrac{\int_0^x f(t)\,dt}{ax^{\alpha}}-\dfrac{\int_0^{c^{-1}x} f(t)\,dt}{ax^\alpha}}{1-c^{-1}}.
\tag{2}
\]
ゆえに $x\to\infty$ とすることによって%
\footnote{$\int_0^{cx}f(t)\,dt\sim ac^\alpha x^\alpha$ ($x\to\infty$) を用いる.},
\[
\frac{c^\alpha-1}{c-1}
\leqq
\liminf_{x\to\infty}\frac{f(x)}{ax^{\alpha-1}}
\leqq
\limsup_{x\to\infty}\frac{f(x)}{ax^{\alpha-1}}
\leqq
\frac{1-c^{-\alpha}}{1-c^{-1}}.
\tag{3}
\]
さらに $c\searrow 1$ とすることによって
\[
\alpha
\leqq
\liminf_{x\to\infty}\frac{f(x)}{ax^{\alpha-1}}
\leqq
\limsup_{x\to\infty}\frac{f(x)}{ax^{\alpha-1}}
\leqq
\alpha.
\]
を得る. ゆえに
\[
\lim_{x\to\infty}\frac{f(x)}{ax^{\alpha-1}}=\alpha, \qquad
\text{つまり} \quad f(x)\sim a\alpha x^{\alpha-1} \quad(x\to\infty).
\]
これで $f$ が単調減少の場合に示すべきことが示された.
次に $f$ が単調増加の場合を扱おう.
$f$ が単調増加の場合には(1),(2)で不等号の向きを逆にした結果が得られる.
ゆえに, (3)で $\liminf$ と $\limsup$ を交換して,
不等号の向きを逆にした結果が得られる.
そのことに注意すれば,
$f$ が単調増加の場合に示すべき結果が同様に得られることがわかる.
\qed
\end{proof}
数列 $a_n$ に対して $f(n)=a_n$ を満たす函数 $f(t)$ を
適切に定めることによって次の結果が得られる.
\begin{cor}
$a_1,a_2,a_3,\ldots$ は正値数列で単調減少または単調増加しているとし,
$a,\alpha>0$ であるとする.
このとき
\[
\sum_{k=1}^n a_k \sim a n^\alpha \qquad (n\to\infty)
\]
ならば
\[
a_n \sim a\alpha n^{\alpha-1} \qquad (n\to\infty)
\]
が成立する.
\qed
\end{cor}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Laplace変換のTauber型定理}
\label{sec:Tauber-Laplace}
Stone-Weierstrassの多項式近似定理%
\footnote{閉区間上の任意の連続函数が多項式函数で一様近似されるという定理.}%
を用いてまず次を示そう.
\begin{lemma}
\label{lemma:SW}
$\phi(y)$ は閉区間 $[0,1]$ 上の非負値可積分函数であるとし,
$g(y)$ は閉区間 $[0,1]$ 上の函数で一点 $c\in(0,1)$ でのみ
不連続で他の点では連続であるものであるとし,
極限 $g(c\pm 0)=\lim_{\eps\searrow 0}g(c\pm\eps)$ が存在すると仮定する.
このとき, 任意の $\eps>0$ に対して, 多項式函数 $P(y)$, $Q(y)$ で
\begin{align*}
&
P(y)\leqq g(y)\leqq Q(y) \quad (0\leqq y\leqq 1),
\\ &
\int_0^1 g(y)\phi(y)\,dy-\eps
\leqq
\int_0^1 P(y)\phi(y)\,dy
\leqq
\int_0^1 g(y)\phi(y)\,dy,
\\ &
\int_0^1 g(y)\phi(y)\,dy
\leqq
\int_0^1 Q(y)\phi(y)\,dy
\leqq
\int_0^1 g(y)\phi(y)\,dy+\eps
\end{align*}
を満たすものが存在する.
\end{lemma}
\begin{proof}
条件を満たす多項式函数 $Q(y)$ の存在のみを示せばよい.
($g(y)$ の代わりに $-g(y)$ を考えれば $P(y)$ の存在も示される.)
さらに $g(c-0)\leqq g(c+0)$ と仮定してよい.
($g(c-0)\geqq g(c+0)$ ならば $g(y)$ の代わりに $g(1-y)$ を考えればよい.)
$\phi(y)$ は非負値可積分函数なので $N=\int_0^1|\phi(y)|\,dy=\int_0^1\phi(y)\,dy$
とおくと, $N<\infty$ となる.
$g(y)$ は $[0,1]$ 上有界なので, ある $M>0$ で $|g(y)|\leqq M$
($0\leqq y\leqq 1$) をみたすものが取れる.
任意に $\eps>0$ を取る.
$c$ 未満の $\delta>0$ に対して,
$g(y)$ を近似する連続函数 $g_\delta(y)$ を次のように定める:
\[
g_\delta(y)=
\begin{cases}
g(y) & (0\leqq y\leqq c-\delta), \\
\max\{a(y-c)+g(c+0), g(y) \} & (c-\delta\leqq y\leqq c), \\
g(y) & (c\leqq y\leqq 1).
\end{cases}
\]
ここで $a=(g(c+0)-g(c-\delta))/\delta$ であり,
$a(y-c)+g(c+0)=a(y-(c-\delta))+g(c-\delta)$ であることに注意せよ.
定義より
\[
-M\leqq g(y)\leqq g_\delta(y)\leqq M \qquad (0\leqq y\leqq 1)
\]
となっている.
$|g_\delta(y)\phi(y)|\leqq M|\phi(y)|$ ($0\leqq y\leqq 1$) かつ
$\lim_{\delta\searrow 0}g_\delta(y)\phi(y)=g(y)\phi(y)$ ($y\ne c$) なので
Lebesgueの収束定理より,
\[
\lim_{\delta\searrow 0}\int_0^1 g_\delta(y)\phi(y)\,dy = \int_0^1 g(y)\phi(y)\,dy.
\]
このことを使って, $\delta>0$ を十分小さくして
\[
\int_0^1 g(y)\phi(y)\,dy
\leqq
\int_0^1 g_\delta(y)\phi(y)\,dy
\leqq
\int_0^1 g(y)\phi(y)\,dy + \frac{\eps}{3}
\]
となるようにしておく.
Stone-Weierstrassの多項式近似定理より, ある多項式函数 $Q(y)$ で
\[
\left|Q(y)-g_\delta(y)-\frac{\eps}{3N}\right|\leqq\frac{\eps}{3N} \qquad (0\leqq y\leqq 1)
\]
を満たすものが存在する.
このとき $g(y)\leqq g_\delta(y)\leqq Q(y)$ ($0\leqq y\leqq 1$) が成立しており,
\begin{align*}
&
\int_0^1 Q(y)\phi(y)\,dy
\\ &
\leqq
\int_0^1 \left|Q(y)-g_\delta(y)-\frac{\eps}{3N}\right|\phi(y)\,dy
+\int_0^1g_\delta(y)\phi(y)\,dy + \int_0^1 \frac{\eps}{3N}\phi(y)\,dy
\\ &
\leqq
\frac{\eps}{3N}\int_0^1\phi(y)\,dy
+\int_0^1g(y)\phi(y)\,dy + \frac{\eps}{3}
+\frac{\eps}{3N}\int_0^1\phi(y)\,dy
\\ &
=\frac{\eps}{3N}N+\int_0^1g(y)\phi(y)\,dy+\frac{\eps}{3}+\frac{\eps}{3N}N
\\ &
=\int_0^1g(y)\phi(y)\,dy+\eps.
\end{align*}
これで示すべきことが示された.
\qed
\end{proof}
\begin{theorem}
\label{theorem:Tauber-Laplace}
$f(t)$ は $t>0$ で定義された非負値可測函数であるとし,
$a,\alpha>0$ であると仮定する. このとき
\[
\int_0^\infty e^{-xt}f(t)\,dt \sim \frac{a}{x^\alpha}
\qquad (x\searrow 0)
\]
ならば
\[
\int_0^{1/x} f(t)\,dt \sim \frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha+1)}
\qquad (x\searrow 0).
\]
が成立する. (ガンマ函数が出て来る理由は以下の証明を見ればわかる.)
\end{theorem}
\begin{proof}
$F(x)=\int_0^\infty e^{-xt}f(t)\,dt$ とおくと,
仮定 $F(x)\sim a/x^\alpha$ ($x\searrow 0$) より, $k=0,1,2,\ldots$ に対して,
\begin{align*}
F((k+1)x)&=
\int_0^\infty e^{-xt}\left(e^{-xt}\right)^k f(t)\,dt
\\ &
\sim \frac{a}{(k+1)^\alpha x^\alpha}
=\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}
\int_0^\infty e^{-t}\left(e^{-t}\right)^k t^{\alpha-1}\,dt
\qquad(x\searrow 0).
\end{align*}
ここで次の公式を使った:
\[
\frac{1}{c^\alpha} = \frac{1}{\Gamma(\alpha)}\int_0^\infty e^{-ct} t^{\alpha-1}\,dt
\qquad (c>0).
\]
したがって任意の多項式函数 $p(y)$ について
\[
\int_0^\infty e^{-xt}p(e^{-xt})f(t)\,dt
\sim
\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}\int_0^\infty e^{-t}p(e^{-t})t^{\alpha-1}\,dt
\qquad(x\searrow 0).
\]
閉区間 $[0,1]$ 上の可積分函数 $\phi(y)$ を
\[
\phi(y)=(-\log y)^{\alpha-1}\quad (00$ のとき $[0,1]$ で
可積分であることがわかる.
}, %
$y=e^{-1}$ にのみ不連続点を持つ $[0,1]$ 上の函数 $g(y)$ を
\[
g(y) =
\begin{cases}
0 & (0\leqq y0$ に対して,
ある多項式函数 $P(y),Q(y)$ で
\begin{align*}
&
P(y)\leqq g(y)\leqq Q(y) \quad (0\leqq y\leqq 1),
\\ &
\int_0^1 g(y)\phi(y)\,dy-\eps
\leqq
\int_0^1 P(y)\phi(y)\,dy
\leqq
\int_0^1 g(y)\phi(y)\,dy,
\\ &
\int_0^1 g(y)\phi(y)\,dy
\leqq
\int_0^1 Q(y)\phi(y)\,dy
\leqq
\int_0^1 g(y)\phi(y)\,dy+\eps
\end{align*}
を満たすものが存在する. このとき $y=e^{-t}$ とおくと,
\begin{align*}
&
\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dy-\eps
\leqq
\int_0^\infty e^{-t}P(e^{-t})t^{\alpha-1}\,dy
\leqq
\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dy,
\\ &
\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dy
\leqq
\int_0^\infty e^{-t}Q(e^{-t})t^{\alpha-1}\,dy
\leqq
\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dy+\eps.
\end{align*}
一方, $f(t)\geqq 0$ であることより%
\footnote{ここで $f(t)$ の非負性を使っている.},
\[
\int_0^\infty e^{-xt}P(e^{-xt})f(t)\,dt
\leqq
\int_0^\infty e^{-xt}g(e^{-xt})f(t)\,dt
\leqq
\int_0^\infty e^{-xt}Q(e^{-xt})f(t)\,dt
\]
なので, これの全体を $a/(x^\alpha\Gamma(\alpha+1))$ で割って,
$x\searrow 0$ の極限を取ると,
\begin{align*}
&
\int_0^\infty e^{-t}P(e^{-t})t^{\alpha-1}\,dt
\leqq
\liminf_{x\searrow 0}
\frac{x^\alpha\Gamma(\alpha+1)}{a}
\int_0^\infty e^{-xt}g(e^{-xt})f(t)\,dt
\\ & \qquad
\leqq
\limsup_{x\searrow 0}
\frac{x^\alpha\Gamma(\alpha+1)}{a}
\int_0^\infty e^{-xt}g(e^{-xt})f(t)\,dt
\leqq
\int_0^\infty e^{-t}Q(e^{-t})t^{\alpha-1}\,dt
\end{align*}
以上の2つの段落の結果を合わせ,
$\eps>0$ をいくらでも小さくできることに注意すれば
次が成立することがわかる:
\[
\lim_{x\searrow 0}
\frac{x^\alpha\Gamma(\alpha+1)}{a}
\int_0^\infty e^{-xt}g(e^{-xt})f(t)\,dt
=
\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dt.
\]
すなわち次が得られた%
\footnote{以上のStone-Weierstrassの多項式近似定理を
使う鮮やかな方法はJovan Karamataによる.}:
\[
\int_0^\infty e^{-xt}g(e^{-xt})f(t)\,dt
\sim
\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}\int_0^\infty e^{-t}g(e^{-t})t^{\alpha-1}\,dt
\qquad(x\searrow 0).
\]
$e^{-1} \leqq e^{-xt}$ と $t\leqq 1/x$ は同値であり,
$t\leqq 1/x$ のとき $e^{-xt}g(e^{-xt})=1$ となり,
$t>1/x$ のとき $g(e^{-xt})=0$ なので,
すぐ上の式は次のように書き直される:
\[
\int_0^{1/x} f(t)\,dt
\sim
\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}\int_0^1 t^{\alpha-1}\,dt
=\frac{a}{x^\alpha}\frac{1}{\alpha\Gamma(\alpha)}
=\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha+1)}
\qquad (x\searrow 0).
\]
これで示すべきことがすべて示された.
\qed
\end{proof}
上の定理と前節の訂正を合わせることによって次の結果が得られる.
\begin{cor}
\label{cor:Tauber-cor-Laplace-all}
$f(t)$ は $t>0$ で定義された正値函数で単調減少または単調増加しているとし,
$\alpha,a>0$ であるとする. このとき
\[
\int_0^\infty e^{-xt} f(t)\,dt \sim \frac{a}{x^\alpha} \qquad (x\searrow 0)
\]
ならば,
\[
\int_0^t f(t')\,dt' \sim \frac{at^\alpha}{\Gamma(\alpha+1)},
\qquad
f(t) \sim \frac{a t^{\alpha-1}}{\Gamma(\alpha)}
\qquad (x\to\infty)
\]
が成立する. \qed
\end{cor}
数列 $a_n$ に対して $f(n)=a_n$ を満たす函数 $f(t)$
を適切に定義することによって近似したり,
Stieltjes積分版の定理を証明し直したり,
さらに $y=e^{-x}$ と置いて $x\searrow 0$ の極限
を $y\nearrow 1$ の極限に書き直すことによって,
もしくは直接証明し直すことによって以下の結果が得られる.
($1-e^{-x}\sim x$ ($x\searrow 0$) であることに注意せよ.)
\begin{cor}
\label{cor:Tauber-cor-power-series}
$a_0,a_1,a_2,\ldots$ は非負値数列であるとし, $\alpha,a>0$ であるとする.
このとき
\[
\lim_{y\nearrow 1}(1-y)^\alpha\sum_{n=0}^\infty a_n y^n = a
\]
ならば
\[
\sum_{k=0}^n a_k \sim \frac{an^\alpha}{\Gamma(\alpha+1)}
\qquad (n\to\infty)
\]
が成立する. (ガンマ函数が出て来る理由は以下の証明を見ればわかる.)
\qed
\end{cor}
\begin{proof}
直接証明し直しておこう.
$x>0$ とし, $y=e^{-x}$ とおくと, $1-y\sim x$ ($x\searrow 0$) なので,
\[
F(x):=
\sum_{n=0}^\infty e^{-nx} a_n \sim \frac{a}{x^\alpha}
\qquad (x\searrow 0).
\]
ゆえに任意の $k=0,1,2,\ldots$ に対して,
\begin{align*}
F((k+1)x)
&=\sum_{n=0}^\infty e^{-nx}(e^{-nx})^k a_n
\\ &
\sim
\frac{a}{(k+1)^\alpha x^\alpha}
=\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}
\int_0^\infty e^{-t}\left(e^{-t}\right)^k t^{\alpha-1}\,dt
\qquad(x\searrow 0).
\end{align*}
ここで次の公式を使った:
\[
\frac{1}{c^\alpha} = \frac{1}{\Gamma(\alpha)}\int_0^\infty e^{-ct} t^{\alpha-1}\,dt
\qquad (c>0).
\]
したがって, 任意の多項式函数 $p(y)$ について
\[
\sum_{n=0}^\infty e^{-nx}p(e^{-nx})a_n
\sim
\frac{a}{x^\alpha}\frac{1}{\Gamma(\alpha)}\int_0^\infty e^{-t}p(e^{-t})t^{\alpha-1}\,dt
\qquad(x\searrow 0).
\]
多項式函数で函数
\[
g(y) =
\begin{cases}
0 & (0\leqq y0$ であるとする.
このとき
\[
\lim_{y\nearrow 1}(1-y)^\alpha\sum_{n=0}^\infty a_n y^n = a
\]
ならば
\[
\sum_{k=0}^n a_k \sim \frac{an^\alpha}{\Gamma(\alpha+1)}, \qquad
a_n \sim \frac{an^{\alpha-1}}{\Gamma(\alpha)}
\qquad (n\to\infty)
\]
が成立する. \qed
\end{cor}
\theoremref{theorem:Tauber-Laplace}のStieltjes積分版は次の通り%
\footnote{\secref{sec:Laplace-Stieltjes}, \secref{sec:Tauber-Stieltjes}で
漸近挙動に緩変動函数が含まれているより一般的の場合に関する解説を書いておいた.
そちらの解説の方が準備を十分にしているので証明も簡明になっている.}.
\begin{theorem}
$\varphi(t)$ は $\varphi(t)=0$ ($t<0$) を満たす右連続単調増加函数であるとし,
$a,\alpha>0$ であるとする. このとき
\[
F(x):=\int_{-0}^\infty e^{-xt} d\varphi(t) \sim \frac{a}{x^\alpha} \qquad (x\searrow 0)
\]
ならば
\[
\varphi(t) \sim \frac{at^\alpha}{\Gamma(\alpha+1)}
\qquad (t\to\infty)
\]
が成立する. \qed
\end{theorem}
この定理の特別な場合として,
もしくは\theoremref{theorem:Tauber-Laplace}の証明と
完全に同様の筋道をたどることによって次の結果が得られる.
\begin{cor}
$\lambda_n\geqq 0$ は単調増加数列であるとし, $a,\alpha>0$ であるとする. このとき
\[
\sum_{n=1}^\infty e^{-\lambda_n x} \sim \frac{a}{x^\alpha} \qquad (x\searrow 0)
\]
ならば
\[
\#\{\, n \mid \lambda_n\leqq t \,\} \sim \frac{at^\alpha}{\Gamma(\alpha+1)}
\qquad (t\to\infty)
\]
が成立する. さらに $t=\lambda_n$ の場合を考えることによって
\[
\lambda_n \sim \left(\frac{\Gamma(\alpha+1)}{a}\right)^{1/\alpha}n^{1/\alpha}
\qquad (n\to\infty)
\]
も得られる. \qed
\end{cor}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{Wallisの公式と逆正弦分布}
べき級数展開 $(1-y)^{-1/2}=\sum_{n=0}^\infty a_n y^n$ ($|y|<1$) で
数列 $a_n$ を定めると
\begin{align*}
a_n
&
=(-1)^n\binom{-1/2}{n}
=\frac{\frac{1}{2}(\frac{1}{2}+1)\cdots(\frac{1}{2}+n-1)}{n!}
\\ &
=\frac{1\cdot 3\cdots(2n-1)}{2^n n!}
=\frac{(2n)!}{2^{2n}(n!)^2}
=\frac{1}{2^{2n}}\binom{2n}{n}>0.
\end{align*}
4つ目の等号で分子分母に $2\cdot 4\cdots(2n)=2^n n!$ をかけた.
さらに
\[
a_{n+1}=\frac{n+1/2}{n+1}a_n0\,\}0\,\}0$ は「浮いていること」(トータルで勝っている状態)を意味し,
$\#\{\,k\mid x_1+\cdots+x_k>0\,\}$ は浮いている時間の長さを意味しており,
条件 $na<\#\{\,k\mid x_1+\cdots+x_k>0\,\}0$ となることと
函数 $F$ が点 $x$ で不連続なことは同値である.
すなわち $F(x)$ は不連続点 $x$ で $F(x)-F(x-0)>0$ の分だけ上にジャンプしている.
このことから $F(x)$ の不連続点は高々可算個であることがわかる.
$F(x)$ に関するLebesgue-Stieltjes積分は
\[
\mu_F((a,b]) = F(b)-F(a) \qquad (-\infty\leqq a0),
\qquad f(x)=0 \quad (x\leqq 0).
\]
$s(y)$ は周期 $1$ を持つ実数値奇函数でその絶対値は常に $1$ 以下であるとする.
たとえば $s(y)=a\sin(2\pi y)$ ($|a|\leqq 1$) であるとする. そして
\[
g(x)\,dx=f(x)(1+s(\log x))\,dx
\]
とおく. $s(x)$ の絶対値は常に $1$ 以下なので $g(x)\geqq 0$ となる.
この $g(x)\,dx$ が $\R$ 上の確率測度を定め,
対数標準正規分布 $f(x)\,dx$ と同じモーメントたちを持つことを示したい.
そのためには $k=0,1,2,\ldots$ に対して
\[
\int_0^\infty x^k f(x)s(\log x)\,dx
= \frac{1}{\sqrt{2\pi}}\int_0^\infty
x^k e^{-(\log x)^2/2} s(\log x)\,\frac{dx}{x}
= 0
\]
を示せば十分である. 積分変数を $x=e^{y+k}$ と置換すると,
$s(y)$ が周期 $1$ を持つことより,
\begin{align*}
\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty
e^{ky+k^2}e^{-(y+k)^2/2}s(y+k)\,dy
=
\frac{e^{k^2/2}}{\sqrt{2\pi}}
\int_{-\infty}^\infty e^{-y^2/2}s(y)\,dy
\end{align*}
$s(y)$ は奇函数だったのでこの積分は $0$ になる.
これで $g(x)\,dx$ は確率測度を定めそのモーメントたち
は対数標準正規分布 $f(x)\,dx$ のモーメントたちに等しいことがわかった.
以上の例は,
Willium Feller,
An Introduction to Probability Theory and Its Applications Vol.~2,
First Edition (1970)のVII.3のp.227の例の引き写しである.
そこには「この興味深い例は C.~C.~Heyde による」と書いてある.
さらにその下には以下のように書いてある:
\begin{enumerate}
\item[(1)] $\R$ 上の確率分布の $k$ 次のモーメントを $\mu_k$ と書くとき,
\[
\sum_{n=1}^\infty \frac{1}{\sqrt[2n]{\mu_{2n}}} = \infty
\]
ならば, モーメントたちからもとの確率分布が一意に決まる(Carlemanの定理).
\item[(2)] それより弱い結果: 偶数次のモーメントたちから得られるべき級数
\[
\sum_{n=0}^\infty \mu_{2n}\frac{z^{2n}}{(2n)!}
\]
の収束半径が $0$ より大きいならば(すなわちある $z>0$ に対して収束するならば),
モーメントたちからもとの確率分布が一意的に決定される(第6節XV.4).
\end{enumerate}
要するに高次のモーメントたちの増大度が十分小さければ
モーメントたちからもとの確率分布は一意的に決定される.
対数標準正規分布の $k$ 次のモーメント $\mu_k$
は $x=e^{y+k}$ と変数変換することによって,
\begin{align*}
\mu_k
&=
\int_0^\infty x^k \frac{e^{-(\log x)^2/2}}{\sqrt{2\pi}}\frac{dx}{x}
=
\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty e^{ky+k^2}e^{-(y+k)^2/2}\,dt
\\ &
=
\frac{e^{k^2/2}}{\sqrt{2\pi}}\int_{-\infty}^\infty e^{-y^2/2}\,dt
=
e^{k^2/2}
\end{align*}
と計算され, 次数 $k$ の2次函数の指数函数の速さで急速に増大することがわかる.
(その増大度は $k!\sim \exp(k\log k - k + (1/2)\log k + \log\sqrt{2\pi k})$ より真に大きい.)
確率変数 $X$ の $k$ 次のモーメントを $\mu_k$ の定めるべき級数
\[
\sum_{k=0}^\infty \mu_k \frac{z^k}{k!}
\tag{$\#$}
\]
の収束半径が正であることと上の(2)のべき級数の収束半径が正であることは同値である.
なぜならば $E[|X|^{2n-1}]\leqq 1+E[X^{2n}]=1+\mu_{2n}$ となるからである:
\begin{align*}
E[|X|^{2n-1}]
&
= E[1_{|X|<1}(X)|X|^{2n-1}] + E[1_{|X|\geqq 1}(X)|X|^{2n-1}]
\\ &
\leqq 1 + E[1_{|X|\geqq 1}(X)|X|^{2n-1}]
\leqq 1 + E[|X|^{2n}]
=1+\mu_{2n}.
\end{align*}
ゆえに, べき級数($\#$)の収束半径が正ならば, ある $r>0$ が存在して,
\[
E[e^{zX}] = \sum_{k=0}^\infty \mu_k \frac{z^k}{k!}
\qquad
(|z|0$ が存在して
\[
\mu_n((0,1))\leqq C \quad (n=1,2,3,\ldots),
\qquad
\mu((0,1))\leqq C
\]
となる. 仮定より, すべての多項式函数 $p(y)$ について
\[
\lim_{n\to\infty}
\int_0^1 p(y)\,\mu_n(dy)
=
\int_0^1 p(y)\,\mu(dy)
\qquad
(k=0,1,2,\ldots)
\tag{1}
\]
が成立している.
任意に $\eps>0$ を取って固定する.
$a\in(0,1)$ は $\mu(\{a\})=0$ を満たしているとし,
$0<\delta<\min\{a,1-a\}$ と仮定する.
$\mu(\{a\})=0$ より $\mu((0,a))=\mu((0,a])=F(a)$ となる.
$\R$ 上の連続函数 $g_\delta(y)$, $h_\delta(y)$ を次のように定める:
\[
g_\delta(y)=
\begin{cases}
1 & (y\leqq a-\delta), \\
(a-y)/\delta & (a-\delta\leqq y\leqq a), \\
0 & (a\leqq y),
\end{cases}
\quad
h_\delta(y)=
\begin{cases}
1 & (y\leqq a), \\
1-(y-a)/\delta & (a\leqq y\leqq a+\delta), \\
0 & (a+\delta\leqq y).
\end{cases}
\]
さらに次のように定める:
\[
g(y)=
\begin{cases}
1 & (y0$ を小さく取って,
\[
\left|\int_0^1 g_\delta(y)\,\mu(dy)-F(a) \right|\leqq\eps,
\qquad
\left|\int_0^1 h_\delta(y)\,\mu(dy)-F(a) \right|\leqq\eps
\tag{2}
\]
となるようにできる.
Stone-Weierstrassの多項式近似定理によって
次を満たす多項式函数 $P(y)$ と $Q(y)$ が存在することがわかる%
\footnote{Stone-Weierstrass の多項式近似定理より,
$|P(y)-(g_\delta(y)-\eps/2)|\leqq\eps/2$ ($y\in(0,1)$) を
満たす多項式函数 $P(y)$ が存在する. $Q(y)$ についても同様.}:
\begin{align*}
&
P(y)\leqq g_\delta(y)\leqq g(y)\leqq h(y)\leqq h_\delta(y)\leqq Q(y), \qquad
\\ &
|P(y)-g_\delta(y)|\leqq\eps, \qquad
|Q(y)-h_\delta(y)|\leqq\eps \qquad (y\in(0,1)).
\end{align*}
このとき
\begin{align*}
&
\int_0^1 P(y)\,\mu_n(dy)
\leqq
\mu_n((0,a])=F_n(a)
\leqq
\int_0^1 Q(y)\,\mu_n(dy),
\tag{3}
\\ &
\left|\int_0^1 P(y)\,\mu(dy)-\int_0^1 g_\delta(y)\,\mu(dy)\right|\leqq C\eps,
\tag{4}
\\ &
\left|\int_0^1 Q(y)\,\mu(dy)-\int_0^1 h_\delta(y)\,\mu(dy)\right|\leqq C\eps.
\tag{5}
\end{align*}
ゆえに(3)で(1)を用いると
\[
\int_0^1 P(y)\,\mu(dy)
\leqq
\liminf_{n\to\infty}F_n(a)
\leqq
\limsup_{n\to\infty}F_n(a)
\leqq
\int_0^1 Q(y)\,\mu(dy).
\]
ところが, (2),(4),(5)より $\eps>0$ を小さくすると $\int_0^1 P(y)\,\mu(dy)$ と
$\int_0^1 Q(y)\,\mu(dy)$ はいくらでも $F(a)$ に近付く. ゆえに
\[
\lim_{n\to\infty} F_n(a)=F(a)
\]
となることがわかる. これで示すべきことが示された.
\qed
\end{proof}
\begin{example}
上の補題において $F$ が連続な点 $y$ で $F_n(y)$ が $F(y)$ に収束することを
示したが, $F(y)$ が不連続な点では $F_n(y)$ が $F(y)$ に収束するとは
限らない. たとえば $a\in(0,1)$, $0<\eps<1-a$ に対して,
連続函数たち $F_\eps(y)$ と右連続函数 $F(y)$ を
\[
F_\eps(y)=
\begin{cases}
0 & (00$ において
\[
\lim_{n\to\infty}F_n(x)=F(x)
\]
となる.
\end{lemma}
\begin{proof}
$\mu_n$, $\mu$ は
$\mu_n((a,b])=F_n(b)-F_n(a)$, $\mu((a,b])=F(b)-F(a)$ ($a0$ について
$A_n=\int_0^\infty e^{-\sigma x}\,\mu_n(dx)$ たち
と $A=\int_0^\infty e^{-\sigma x}\,\mu(dx)$ は有限の値になる.
測度 $\widetilde\mu_n$, $\widetilde\mu$ を
$\widetilde\mu_n(dx)=e^{-\sigma x}\mu_n(dx)$,
$\widetilde\mu(dx)=e^{-\sigma x}\mu(dx)$
と定めると, $\widetilde\mu_n((0,\infty))=A_n$,
$\widetilde\mu((0,\infty))=A$ となる.
$\mu_n$, $\mu$ の代わりに $\widetilde\mu_n$, $\widetilde\mu$
を考えることに $\mu_n$, $\mu$ は有限測度であると仮定してよい.
そのとき, 変数変換 $y=e^{-x}$ によって,
この補題における $(0,\infty)$ 上の問題を
$(0,1)$ 上の問題に関する\lemmaref{lemma:MomentConv-DistConv}に帰着できる.
\qed
\end{proof}
\begin{definition}
函数 $L(x)$ が $x\to\infty$ に
おける{\bf 緩変動函数}(slowly varying function)であるとは,
任意の $c>0$ に対して
\[
L(cx)\sim L(x) \quad (x\to\infty),
\qquad\text{すなわち}\quad
\lim_{x\to\infty}\frac{L(cx)}{L(x)}=1
\]
が成立していることである. たとえば $(\log x)^\beta$ は緩変動函数である.
\qed
\end{definition}
\begin{theorem}
$F(x)$ は $x\geqq 0$ における右連続な単調増加(非減少)函数であり,
$F(0)=0$ を満たしているものであり,
$\alpha>0$ であるとし, $L(x)$ は $x\to\infty$ における緩変動函数であるとする.
このとき
\[
M(\lambda) := \int_0^\infty e^{-\lambda x}\,dF(x)
\sim
\lambda^{-\alpha}L(\lambda^{-1})
\qquad (\lambda\searrow 0)
\]
ならば
\[
F(x)
\sim \frac{M(x^{-1})}{\Gamma(\alpha+1)}
\sim \frac{x^\alpha L(x)}{\Gamma(\alpha+1)}
\qquad (x\to\infty)
\]
が成立する.
\end{theorem}
\begin{proof}
連続函数函数 $G(x)$ を
\[
G(x) = \frac{x^\alpha}{\Gamma(\alpha+1)} \quad (x\geqq 0), \qquad
G(x) = 0 \quad (x<0)
\]
と定めると, $c>0$ に対して
\[
\int_0^\infty e^{-cx}\,dG(x)
= \frac{\alpha}{\Gamma(\alpha+1)}
\int_0^\infty e^{-cx} x^{\alpha-1}\,dx
= \frac{c^{-\alpha}}{\Gamma(\alpha)}\int_0^\infty e^{-t}t^{\alpha-1}\,dt
= c^{-\alpha}
\]
が成立する. 2つ目の等号で $x=t/c$ とおいた.
$c>0$ のとき, $M(\lambda)$ の漸近挙動に関する仮定より,
\[
\frac{M(c\lambda)}{M(\lambda)}
\sim
\frac{c^{-\alpha}\lambda^{-\alpha}L(c^{-1}\lambda^{-1})}{\lambda^{-\alpha}L(\lambda^{-1})}
\sim
c^{-\alpha}
=\int_0^\infty e^{-cx}dG(x)
\qquad (\lambda\searrow 0).
\]
さらに $M(\lambda)$ の定義より,
\[
\frac{M(c\lambda)}{M(\lambda)}
=\frac{1}{M(\lambda)} \int_0^\infty e^{-c\lambda x}dF(x)
=\int_0^\infty e^{-cx}d\left(\frac{F(x/\lambda)}{M(\lambda)}\right).
\]
ゆえに
\[
\lim_{\lambda\searrow 0}
\int_0^\infty e^{-cx}d\left(\frac{F(x/\lambda)}{M(\lambda)}\right)
=\int_0^\infty e^{-cx}dG(x)
\qquad (c>0).
\]
したがって, \lemmaref{lemma:Laplace-Cumulative}より,
\[
\lim_{\lambda\searrow 0}\frac{F(x/\lambda)}{M(\lambda)}
=G(x)=\frac{x^\alpha}{\Gamma(\alpha+1)}
\qquad (x>0)
\]
となる. すなわち
\[
F(x/\lambda)\sim \frac{M(\lambda)x^\alpha}{\Gamma(\alpha+1)}
\qquad (\lambda\searrow 0).
\]
$x=1$ とおき, $\lambda$ を $x^{-1}$ で置き換えることによって,
\[
F(x)
\sim \frac{M(x^{-1})}{\Gamma(\alpha+1)}
\sim \frac{x^\alpha L(x)}{\Gamma(\alpha+1)}
\qquad (x\to\infty)
\]
が得られる. \qed
\end{proof}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{付録: Taylorの定理に証明の仕方}
\label{sec:Taylor}
「(函数)=(Taylor展開の途中まで)+(剰余項)」の形式の公式を{\bf Taylorの定理}と言う.
この節ではTaylorの定理の導出の方針について説明する.
この節の内容は非常に易しい.
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{積分剰余項型Taylorの定理}
積分表示された剰余項を持つTaylorの定理は
\[
f(x)=f(a)+\int_a^x f(x_1)\,dx_1
\]
を単純に繰り返し用いることによって証明可能である%
\footnote{部分積分さえ使う必要がない!}.
実際, これに
\[
f'(x_1)=f'(a)+\int_a^x f''(x_2)\,dx_2
\]
を代入すると
\[
f(x)=f(a)+f'(a) \int_a^x dx_1+\int_a^x dx_1\int_a^{x_1} f''(x_2)\,dx_2.
\]
ここで括弧の使用量を減らすために
\[
\int_a^x dx_1\int_a^{x_1} f''(x_2)\,dx_2
=\int_a^x \left(\int_a^{x_1} f''(x_2)\,dx_2 \right)\,dx_1
\]
という書き方を用いた. さらに
\[
f''(x_2)=f''(a)+\int_a^{x_2} f'''(x_3)\,dx_3
\]
を代入すると
\[
f(x)=f(a)+f'(a)\int_a^x\!\!\!dx_1+f''(a)\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2
+\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\int_a^{x_2}f'''(x_3)\,dx_3.
\]
さらに同じ操作をもう一度繰り返すと
\begin{align*}
&
f(x)=f(a)+f'(a)\int_a^x\!\!\!dx_1+f''(a)\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2
+f'''(a)\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\int_a^{x_2}\!\!\!dx_3 +R_4
\\ &
R_4 = \int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\int_a^{x_3}\!\!\!dx_3\int_a^{x_3}f^{(4)}(x_4)\,dx_4.
\end{align*}
以上の計算を続ければ帰納的に次が成立することがわかる:
\begin{align*}
&
f(x)=\sum_{k=0}^{n-1} f^{(k)}(a)\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\cdots\!\!\int_a^{x_{k-1}}\!\!\!dx_k + R_n,
\\ &
R_n=\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\cdots\int_a^{x_{n-2}}\!\!\!dx_{n-1}\int_a^{x_{n-1}}f^{(n)}(x_n)\,dx_n.
\end{align*}
$R_n$ を{\bf 剰余項}と呼ぶ.
以上の計算では積分の線形性しか使っていない.
剰余項以外の逐次積分は以下のように順番に(次々に一つ上の式を使うことによって)容易に計算される:
\begin{align*}
&
\int_a^x\!\!\!dx_1 = x-a,
\\ &
\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2
=\int_a^x (x_1-a)\,dx_1
=\frac{(x-a)^2}{2},
\\ &
\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\int_a^{x_2}\!\!\!dx_3
=\int_a^x\frac{(x_1-a)^2}{2}\,dx_1
=\frac{(x-a)^3}{3!},
\\ &
\qquad\qquad\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots\cdots
\\ &
\int_a^x\!\!\!dx_1\int_a^{x_1}\!\!\!dx_2\cdots\!\!\int_a^{x_{k-1}}\!\!\!dx_k
=\int_a^x\frac{(x_1-a)^{k-1}}{(k-1)!}\,dx_1
=\frac{(x-a)^k}{k!}.
\end{align*}
$x>a$ のとき, この計算結果は $k$ 次元立方体の体積の $k!$ 分の $1$ を意味している:
\begin{itemize}
\item $k=1$ のとき, 積分の値は
線分 $\{\, x_1 \mid a\leqq x_1\leqq x\,\}$ の長さになる.
\item $k=2$ のとき, 逐次積分の値は
頂点 $(a,a),(x,a),(x,x)$ を持つ直角二等辺三角形
\[
\{\,(x_1,x_2)\mid a\leqq x_2\leqq x_1\leqq x\,\}
\]
の面積, すなわち正方形の面積 $(x-a)^2$ の半分である.
半分になる理由は, $x_2\geqq x_1$ を満たす $(x_1,x_2)$
のみについて積分するからである. 正方形全体の面積を得るためには
$x_1\leqq x_2$ を満たす $(x_1,x_2)$ についても積分しなければいけない.
\item $k=3$ のとき, 逐次積分の値は
頂点 $(a,a,a),(x,a,a),(x,x,a),(x,x,x)$ を持つ四面体
\[
\{\,(x_1,x_2,x_3)\mid a\leqq x_3\leqq x_2\leqq x_1\leqq x\,\}
\]
の体積, すなわち立方体の体積 $(x-a)^3$ の $3!$ 分の1になる.
$3!$ 分の1になる理由は, $x_3\leqq x_2\leqq x_1$ を
満たす $(x_1,x_2,x_3)$ のみについて積分するからである.
立方体全体の体積を得るためには $x_3\leqq x_2\leqq x_1$ の以外の
順番に並んでいるすべての $a\leqq x_1,x_2,x_3\leqq x$ について
積分しなければいけない.
$x_1,x_2,x_3$ の個数は $3$ 個なのでそれらの並べ方の総数は $3!$ 通りある.
\item 一般の $k$ の場合も以上と同様である.
逐次積分の値は頂点
\[
(a,a,a,\ldots,a),(x,a,a,\ldots,a),(x,x,a,\ldots,a),\ldots,(x,x,x,\ldots,x)
\]
を持つ $k$ 次元単体%
\footnote{点, 線分, 三角形, 四面体の $k$ 次元版を $k$ 次元単体(simplex)と呼ぶ.}
\[
\{\,(x_1,x_2,\ldots,x_k)\mid a\leqq x_k\leqq\ldots\leqq x_2\leqq x_1\leqq x\,\}
\]
の体積になる.
$x_1,x_2,\ldots,x_k$ の並べ方の総数は $k!$ 通りなので
逐次積分の値は $k$ 次元立方体の体積 $(x-a)^k$ の $k!$ 分の1になる.
\end{itemize}
{\bf 以上によってTaylor展開の各項の分母に階乗が現われる理由も明瞭になった!}
すなわち, $1$ の $k$ 回の逐次積分の結果は $k$ 次元立方体の体積の $k!$ 分の1に
なるので分母に $k!$ が現われる.
以上のまとめ:
\begin{align*}
&
f(x)=\sum_{k=0}^{n-1}f^{(k)}(a)\frac{(x-a)^k}{k!} + R_n,
\\ &
R_n=\int_a^x\!\!\!dx_1\cdots\int_a^{x_{n-2}}\!\!\!dx_{n-1}\int_a^{x_{n-1}}f^{(n)}(x_n)\,dx_n.
\end{align*}
これを積分剰余項型の{\bf Taylorの定理}と呼ぶことにする.
\begin{remark*}
次のように考えてもよい.
$n$ 階の導函数 $f^{(n)}(x)$ を $n$ 回逐次積分すれば $f(x)$ が得られるはずである.
しかし, 積分定数を考慮すれば $x$ について $n-1$ 次以下の項が生じることになる.
その結果, 以下のような公式が得られる:
\[
f(x) = a_0+a_1(x-a)+a_2(x-a)^2+\cdots+a_{n-1}(x-a)^{n-1}+R_n.
\]
ここで $R_n$ は上のように定義された $f^{(n)}(x)$ を $n$ 回逐次積分したものである.
この式の両辺を $k=0,1,\ldots,n-1$ 回微分して $x=a$ とおけば $R_n$ から来る項
は $0$ になるので, $f^{(k)}(a)=k!a_k$ が得られる.
すなわち $a_k=f^{(k)}(a)/k!$ である.
以上の計算の仕方は,
形式的に $f(x)=\sum_{k=0}^\infty a_k(x-a)^k$ とおいて
両辺を繰り返し微分して $x=a$ とおくことによって $a_k$ を決定する方法と同じだが,
剰余項 $R_n$ の正体が明瞭にわかっているので
Taylor級数の収束性に関わる論理的なギャップが生じない.
このように剰余項付きのTaylorの定理は
「$n$ 階の導函数 $f^{(n)}(x)$ を $n$ 回逐次積分すればもとの $f(x)$ が得られるはずだ」
という非常にもっともな考え方から素直に得られるのである.
\qed
\end{remark*}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{剰余項の絶対値の上からの評価とTaylor展開の具体例}
剰余項 $R_n$ が $n\to\infty$ で $0$ に収束するならば
\[
f(x)=\sum_{k=0}^\infty\frac{1}{k!}f^{(k)}(x-a)^k
\]
が成立する. これを函数 $f$ の $x=a$ における{\bf Taylor展開}と呼ぶ%
\footnote{$x=0$ におけるTaylor展開をMaclaurin展開と呼ぶことがある.}.
剰余項の大きさを上から評価するためには次のようにすればよい.
まず $R>0$ を取って, $x$ の動く範囲を $|x-a|\leqq R$ に限定する.
そして, ある $M_n>0$ で $|f^{(n)}(x)|\leqq M_n$ ($|x-a|\leqq R$)を
満たすものを見付ける. そのとき
\begin{align*}
|R_n|
\leqq
M_n \left|\int_a^x\!\!\!dx_1\cdots\int_a^{x_{n-2}}\!\!\!dx_{n-1}\int_a^{x_{n-1}}\!\!\!dx_n\right|
=
\frac{M_n|x-a|^n}{n!}
\leqq
\frac{M_n R^n}{n!}
\tag{R}
\end{align*}
となるので, $M_n R^n/n!\to 0$ ならばTaylor展開が $|x-a|\leqq R$ において $f(x)$ に一様収束する.
剰余項の具体的な形そのものよりも剰余項の絶対値の上からの評価(R)の方がよく使われる.
たとえば $M_n$ 増大速度が $n$ の指数函数程度ならばTaylor展開は収束する($A^nR^n/n!\to 0$).
そのことから, $e^x$, $\cos x$, $\sin x$ のTaylor展開がどのような $a$, $x$ についても
常に収束することが容易に確かめられる:
\[
e^x = \sum_{k=0}^\infty \frac{x^n}{n!}, \qquad
\cos x = \sum_{k=0}^\infty (-1)^k \frac{x^{2k}}{(2k)!}, \qquad
\sin x = \sum_{k=0}^\infty (-1)^k \frac{x^{2k+1}}{(2k+1)}.
\]
$M_n$ の増大速度が $n!$ と同じ程度の場合にはTaylor展開は $|x-a|<1$ で $f(x)$ に収束する.
たとえば, $f(x)=(1+x)^\alpha$ のとき,
\[
f^{(n)}(x)=\alpha(\alpha-1)\cdots(\alpha-n+1)(1+x)^{\alpha-n}
\]
なので, この $f$ の $x=0$ でのTaylor展開は $|x|<1$ で収束することがわかる.
同様にして $f(x)=\log(1+x)$ の $x=0$ でのTaylor展開は $|x|<1$ で収束することがわかる.
\[
(1+x)^\alpha = \sum_{k=0}^\infty\binom{\alpha}{k}x^k \quad (|x|<1), \qquad
\log(1+x) = \sum_{k=1}^\infty(-1)^{k-1}\frac{x^k}{k} \quad (|x|<1).
\]
次のTaylor展開もよく使われる:
\[
-\log(1-x) = \sum_{k=1}^\infty \frac{x^k}{k} \quad (|x|<1).
\]
これを拡張した公式
\[
\Li_r(x)=\sum_{k=1}^\infty\frac{x^k}{k^r} \qquad (|x|<1,\ r=1,2,3,\ldots)
\]
で定義される函数 $\Li_r(x)$ は
$r$ 次の多重対数函数(polylogarithm, 通称ポリログ)と呼ばれている.
特に $\Li_2(x)$ は dilogarithm (通称ダイログ)と,
$\Li_3(x)$ の場合には trilogarithm (通称トリログ)と呼ばれている.
このとき
\[
\frac{d\Li_r(x)}{dx}=\frac{\Li_{r-1}(x)}{x} \quad (r\geqq 2), \qquad
\Li_1(x)=-\log(1-x)=\int_0^x \frac{dx_1}{1-x_1}
\]
なので, 多重対数函数は
\[
\operatorname{Li}_r(x)
=\int_0^x\frac{dx_r}{x_r}\cdots\int_0^{x_3}\frac{dx_2}{x_2}
\int_0^{x_2}\frac{dx_1}{1-x_1}
=\mathop{\int\cdots\int}\limits_{0