|
O bayesovském učení
Článek je možné stáhnout ve formátu pdf zde
Klíčová slova pro fultextové vyhledávání
Model systému,
apriorní hustota pravděpodobnosti,
aposteriorní hustota pravděpodobnosti,
věrohodnostní funkce,
bodové odhady parametrů,
předpověď budoucích dat.
Petr Nedoma (nedoma@utia.cas.cz), Miroslav Kárný (school@utia.cas.cz),
Lenka Pavelková pavelkov@utia.cas.cz),
Ústav teorie informace a automatizace AV ČR
Pavel Ettler (ettler@compureg.cz),
Compureg Plzeň
Lektoroval: Prof. Ing. Vladimír Mařík, DrSc.,
katedra kybernetiky FEL ČVUT Praha
(marik@labe.felk.cvut.cz)
Thomas Bayes – geniální outsider
Z četných matematiků a všestranných vědců, kteří v 18. a 19. století vytvořili základní práce v oblasti teorie pravděpodobnosti a statistiky, jsou nejčastěji uváděni bratři Bernoulliové, Euler, Laplace, de Moivre, Gauss a další. Členem této vybrané společnosti světem uznávaných vědců se stal i anglický duchovní, „geniální outsider“ – Thomas Bayes.
Pocházel z rodiny duchovního, který patřil ke skupině prvních šesti veřejně vysvěcených nonkonformistických duchovních v Anglii. (Pozn. red.: Nonkonformisté se v sedmnáctém století odštěpili od státní anglikánské církve. Požadovali nezávislost anglikánské církve na státu, mj. to, aby jmenování duchovních nepodléhalo souhlasu státních orgánů a aby anglický panovník nestál automaticky v čele církve. Odmítali i některé církevní ceremoniály.) Stejně jako otec, byl i Thomas vysvěcen nonkonformistickým duchovním a zpočátku působil jako otcův pomocník ve staršovstvu presbyteriánské církve v Holbornu. V roce 1720 se stal duchovním v presbyteriánské kapli v Tunbridge Wells, 60 kilometrů jižně od Londýna. Tuto funkci vykonával až do roku 1752, kdy odešel do penze, ale ve svém dosavadním působišti žil nadále. Stal se zámožným starým mládencem, a přestože žil v provinciálních podmínkách, udržoval kontakty s mnoha vzdělanými přáteli.
Bayes byl roku 1742 zvolen členem Royal Society, navzdory tomu, že v oblasti matematiky publikoval za svého života pouze jednu práci, a to navíc anonymně. Šlo o Introduction to the Doctrine of Fluxions (1736 – Úvod do nauky o infinitesimálním počtu; na vysvětlenou uveďme, že termínem „fluxional calculus“ I. Newton označoval infinitesimální počet). Bayes touto svou prací ostře nesouhlasně reagoval na spis The Analyst (1736), ve kterém irský teolog a filozof, biskup George Berkeley (1685 – 1753), napadl logické základy Newtonova infinitesimálního počtu. Druhým Bayesovým spisem, jenž vyšel za jeho života, byl Divine Benevolence (1731 – Božská dobrotivost).
Bayesova teorie pravděpodobnosti byla uvedena v jeho práci Essay towards solving a problem in the doctrine of chances (Esej směrovaná k řešení problému ve vědě o náhodě), publikované ve Philosophical Transactions of the Royal Society of London (Filozofická pojednání londýnské Královské společnosti) v roce 1746 – tedy již po Bayesově smrti. Bayesovu práci zaslal do Royal Society jeho přítel Richard Price, který ji našel v písemnostech pozůstalosti.
Bayes se touto svou prací stal jedním ze zakladatelů induktivní statistiky (statistická analýza opírající se o vzorky tvořící malé podíly základního statistického souboru). V době, kdy počet pravděpodobnosti byl víceméně ve svých počátcích, Bayes se již zabýval problémem, jak by bylo možné uvádět pozdější zkušenosti do souladu s apriorními předpoklady, resp. jak takové zkušenosti změní následné hodnocení situace proti apriorním předpokladům. Šlo tedy do jisté míry o dynamické ověřování hypotéz, včetně korektury těchto hypotéz.
Klasická matematická statistika Bayesovu teorii – Bayesova věta říká, jak změnit apriorní pravděpodobnost dodatečnou informací – odmítá. Bezpochyby k tomu přispěl i zmatek v tom, co Bayes skutečně řekl, co myslel a co bylo pozdějším výkladem do jeho úvah vloženo.
Přestože klasická matematická statistika uvrhla Bayesovu větu do klatby, objevili se její důslední obhájci. Patří mezi ně např. i jeden z nejvýznamnějších statistiků moderní doby Leonard Savage. Bayesova teorie tak právě v posledních letech prožívá své znovuzrození.
(Josef Heřmann)
Leonard J. Savage – znovuobjevitel bayesovského učení
Leonard Jimmie Savage se narodil 20. listopadu 1917 v Detroitu (USA). Vystudoval matematiku na Michiganské univerzitě. Habilitoval prací na téma metrika a diferenciální geometrie. Léta 1941–1942 strávil v Princetonu v Institute for Advanced Study. Zde se setkal s významným matematikem von Neumannem a pod jeho vlivem se v roce 1944 stal členem Statistical Research Group na Kolumbijské univerzitě (USA).
V roce 1954 vydal knihu The Foundations of Statistic (Základy statistiky). To je jeho zřejmě nejvýznamnější dílo. V knize jsou popsány principy subjektivní statistiky a účelových funkcí. Speciální případy těchto funkcí byly objeveny von Neumannem a Morgensternem v jejich pracích o teorii her.
Další Savegeho prací je How to gamble if you must: Inequalities for stochastic processes (1965), napsaná společně s L. Dubinsem.
Další Savageho publikace a články se týkají statistické dedukce. Uvedl v nich mj. testy baysovských hypotéz a postup pro bayesovské odhady. Jeho bayesovský přístup je v rozporu s klasickou statistikou, reprezentovanou v moderní době především matematikem Fisherem.
Ne nevýznamné jsou i Savageho práce o filozofických základech statistiky.
(Bk)
|