Edward

by Tanichu ??

----------------------------

Mail from Tanichu @ 11 Dec. 2017

コロンビア大のDavid Blei (LDAの)のグループが作っている．

http://edwardlib.org/getting-started

http://dustintran.com/

Bleiゆえに変分ベイズ中心で，

面白いのは「自動微分」が必要になるので，Tensorflowの上で組んでいる

というところです．

ポスターの写真を添付しますがGPU利用でタスクに寄ってはPyMC3の

100倍近く速くなるという話でした． （MAXだとは思いますが）

初日のVariational Inference のtutorialでBleiが変分ベイズをするための

ソフトウェアの紹介をしていて，そこに，Tensorflowとかがでていて

何のことかとおもいましたが「そういうことか」となりました．

MCMCではなくて，勾配などを使いながら事後分布を推論するという

考え方ならDeep learningと近いツールが使えるのかもしれません．

Edwardは完全に Tensoflowとシームレスに使えるのがミソです．

これは，Python上で「普通に書ける」ことを表しており，

我々にとって最も敷居が低いということになるかもしれません．

ただし，まだまだ実績や情報が少ないのでどうなのかは難しいトコロ．

ちなみに，主開発者の

Dustin TranにHMMとHSMMについて聞いたトコロ，

やっぱりforward backward のようなmessage passingはまだやっていない模様．straight forwardには

「ちょっとむずかしい」というような感じでした．

でも結局は「自分で書けば」いけるという感じでした．

一般論としての

Variational inference についてもいろいろ展開があるみたいで，

Black Box Variational Inference

(BBVI)というのが流行ってきているみたいで，任意のモデルに対してinference手法を選んで，データをツッコメば

推論してくれるという考え方が進んでいるようでした．

また，まだ終えていないのですが変分推論の中で用いる近似にdeep learningを使うなどというような考え方がでてきていたようでした．

Edwardも触ってみようと思います．

頭が，どちらかというとMCMCが軸になっていましたが，

自分の手書き導出をパス出来て，簡単にできるPPLの枠組みがあるのであれば，変分推論もいいかもしれません．