F-дивергенция

f-дивергенцией (f-расхождением) называется класс функционалов ${\displaystyle D_{f}(P\parallel Q)}$, определяющих в общем случае несимметричную меру расхождения между двумя распределениями вероятностей ${\displaystyle P}$ и ${\displaystyle Q}$. Обычно применяется в теории информации и теории вероятностей. Функционал однозначно определяется (порождается) функцией ${\displaystyle f(t)}$, удовлетворяющей определённым условиям.

Данный класс дивергенций был введён и изучался независимо друг от друга учёными Чисара^[1], Моримото^[2], а также Али и Силви^[3]. Поэтому иногда можно встретить названия f-дивергенция Чисара, дивергенция Чисара—Моримото или расстояние Али—Силви.

Пусть ${\displaystyle P}$ и ${\displaystyle Q}$ — распределения вероятностей, заданные на множестве ${\displaystyle \Omega }$, такие что ${\displaystyle P}$ абсолютно непрерывно по отношению к ${\displaystyle Q}$. Пусть функция ${\displaystyle f(t)}$ выпукла при ${\displaystyle t\geq 0}$ и ${\displaystyle f(1)=0}$. Тогда функция ${\displaystyle f}$ задаёт f-дивергенцию ${\displaystyle P}$ относительно ${\displaystyle Q}$ следующим образом:

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {dP}{dQ}}\right)dQ=\operatorname {E} _{Q}f\left({\frac {dP}{dQ}}\right).}$

Если ${\displaystyle \mu }$ — любая мера на ${\displaystyle \Omega }$, и оба распределения ${\displaystyle P}$ и ${\displaystyle Q}$ непрерывны относительно ${\displaystyle \mu }$, т.е. существуют функции ${\displaystyle p={\frac {dP}{d\mu }}}$ и ${\displaystyle q={\frac {dQ}{d\mu }}}$, тогда f-дивергенция может быть записана как

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p}{q}}\right)q\,d\mu .}$

В случае лебеговой меры ${\displaystyle \mu =x}$ распределения имеют плотности ${\displaystyle p(x)}$ и ${\displaystyle q(x)}$, тогда f-дивергенция принимает вид

${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {p(x)}{q(x)}}\right)q(x)\,dx.}$

Для дискретных распределений ${\displaystyle P=\{p_{i}\}}$ и ${\displaystyle Q=\{q_{i}\}}$, где ${\displaystyle i=1,...,N}$,

${\displaystyle D_{f}(P\parallel Q)=\sum _{i=1}^{N}f\left({\frac {p_{i}}{q_{i}}}\right)q_{i}.}$

Функция ${\displaystyle f(t)}$ определена с точностью до слагаемого ${\displaystyle c(t-1)}$, где ${\displaystyle c}$ — произвольная константа. Действительно, вид f-дивергенции не зависит от выбора ${\displaystyle c}$, поскольку слагаемое ${\displaystyle c(t-1)}$ функции ${\displaystyle f(t)}$ даёт нулевой вклад в значение интеграла. Кроме того, функция ${\displaystyle f(t)}$ может содержать положительную мультипликативную константу ${\displaystyle k}$, которая определяет единицу измерения дивергенции. В связи с этим некоторые авторы (например, Бассевиль^[4]) указывают дополнительные ограничения, налагаемые на функцию ${\displaystyle f(t)}$:

${\displaystyle f'(1)=0,}$

${\displaystyle f''(1)=1.}$

Первое из этих ограничений фиксирует константу ${\displaystyle c}$, второе — константу ${\displaystyle k}$. Условие ${\displaystyle f'(1)=0}$ может быть полезно тем, что в этом случае ${\displaystyle f(t)\geq 0}$ с минимумом в точке ${\displaystyle t=1}$ (см. Лизе и Вайда^[5]), и выражение для f-дивергенции интуитивно проще воспринимается. Однако такой способ конкретизировать функцию ${\displaystyle f(t)}$ не всегда удобен: например, для существования непрерывной версии f-энтропии, связанной с данной f-дивергенцией, может потребоваться другое значение константы ${\displaystyle c}$.

f-дивергенция может быть разложена в ряд Тейлора и записана в виде взвешенной суммы расстояний χ-типа (см. Нильсен и Нок^[6]).

Многие известные дивергенции, такие как дивергенция Кульбака—Лейблера, квадрат расстояния Хеллингера, расстояние хи-квадрат и ряд других, являются частными случаями f-дивергенции, которым соответствует определённый выбор функции ${\displaystyle f(t)}$. В следующей таблице приведены некоторые распространённые виды дивергенций между распределениями вероятностей и соответствующая им функция ${\displaystyle f(t)}$ (см. Лизе и Вайда^[5]).

Дивергенция	Порождающая функция ${\displaystyle f(t)}$
Дивергенция Кульбака—Лейблера	${\displaystyle t\ln t}$
Обратная Дивергенция Кульбака—Лейблера	${\displaystyle -\ln t}$
Квадрат расстояния Хеллингера	${\displaystyle {\frac {1}{2}}({\sqrt {t}}-1)^{2},\,1-{\sqrt {t}},\,t-{\sqrt {t}}}$
Расстояние полной вариации	${\displaystyle {\frac {1}{2}}|t-1|\,}$
Расстояние ${\displaystyle \chi ^{2}}$ Пирсона	${\displaystyle (t-1)^{2},\,t^{2}-1,\,t^{2}-t}$
Расстояние ${\displaystyle \chi ^{2}}$ Неймана	${\displaystyle {\frac {1}{t}}-1,\,{\frac {1}{t}}-t}$
Альфа-дивергенция	${\displaystyle {\begin{cases}{\frac {4}{1-\alpha ^{2}}}{\big (}t-t^{(1+\alpha )/2}{\big )},&{\text{если}}\ \alpha \neq \pm 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =-1\end{cases}}}$
Альфа-дивергенция (другие обозначения)	${\displaystyle {\begin{cases}{\frac {t^{\alpha }-t}{\alpha (\alpha -1)}},&{\text{если}}\ \alpha \neq 0,\,\alpha \neq 1,\\t\ln t,&{\text{если}}\ \alpha =1,\\-\ln t,&{\text{если}}\ \alpha =0\end{cases}}}$

С учётом последнего свойства класс f-дивергенций можно было бы эквивалентным образом определить как ${\displaystyle {D^{*}}_{f}(P\parallel Q)=\operatorname {E} _{P}f\left({\frac {dQ}{dP}}\right)}$. Подобное определение встречается, например, у Чжана^[7]. Таким образом, интерпретация распределения ${\displaystyle Q}$ как истинного, которая следует из определения f-дивергенции, не является её фундаментальным свойством, а является лишь следствием соглашения о порядке следования аргументов в определении. Иными словами, аргументы ${\displaystyle P}$ и ${\displaystyle Q}$ концептуально равноправны.

f-дивергенция является безразмерной величиной независимо от размерности множества ${\displaystyle \Omega }$.

Кроме f-дивергенции, И. Чисар определил связанное с ней понятие f-энтропии (Чисар^[8]).

• Csiszár, I. Eine informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von Markoffschen Ketten (нем.) // Magyar. Tud. Akad. Mat. Kutato Int. Kozl : magazin. — 1963. — Bd. 8. — S. 85—108.
• Morimoto, T. Markov processes and the H-theorem (англ.) // J. Phys. Soc. Jpn. : journal. — 1963. — Vol. 18, no. 3. — P. 328—331. — doi:10.1143/JPSJ.18.328. — .
• Ali, S. M.; Silvey, S. D. A general class of coefficients of divergence of one distribution from another (англ.) // Journal of the Royal Statistical Society, Series B : journal. — 1966. — Vol. 28, no. 1. — P. 131—142. — .
• Liese, F.; Vajda, I. On divergences and informations in statistics and information theory (англ.) // IEEE Transactions on Information Theory : journal. — 2006. — Vol. 52, no. 10. — P. 4394—4412. — doi:10.1109/TIT.2006.881731.
• Nielsen, F.; Nock, R. On the Chi square and higher-order Chi distances for approximating f-divergences (англ.) // IEEE Signal Processing Letters : journal. — 2013. — Vol. 21. — P. 10—13. — doi:10.1109/LSP.2013.2288355. — . — arXiv:1309.3029.
• Basseville, M. Divergence measures for statistical data processing (англ.) // Publications Internes de l’IRISA : journal. — 2010. — Vol. 11. — P. 1—23.
• Zhang, J. Divergence Function, Duality, and Convex Analysis (англ.) // Neural Computation. — 2004. — Vol. 16. — P. 159—195.
• Csiszár, I. A class of measures of informativity of observation channels (англ.) // Periodica Math. Hungar : journal. — 1972. — Vol. 2. — P. 191—213.