- Адаптивная отожженная выборка по значимости с прогрессом с постоянной скоростью (arXiv)
Автор: Ширин Гоштасбпур, Виктор Коэн, Фернандо Перес-Крус.
Аннотация: Отожженная выборка по важности (AIS) синтезирует взвешенные выборки из трудноразрешимого распределения с учетом его ненормализованной функции плотности. Этот алгоритм основан на последовательности интерполирующих распределений, соединяющих цель с исходным управляемым распределением, таким как хорошо известный средний геометрический путь ненормализованных распределений, который в целом считается субоптимальным. В этой статье мы доказываем, что геометрический отжиг соответствует пути распределения, который минимизирует расхождение KL между текущим распределением частиц и желаемой целью, когда допустимое изменение в распределении частиц ограничено. Следуя этому наблюдению, мы получаем график дискретизации с постоянной скоростью для этой последовательности отжига, который корректирует график с учетом сложности перемещения образцов между исходным и целевым распределениями. Мы далее распространяем наши результаты на f-дивергенции и представляем соответствующую динамику последовательностей отжига, на основе которой мы предлагаем алгоритм AIS с постоянной скоростью (CR-AIS) и его эффективную реализацию для α-дивергенций. Мы эмпирически показываем, что CR-AIS хорошо работает на нескольких тестовых дистрибутивах, избегая при этом дорогостоящего цикла настройки в существующих адаптивных AIS.
2.Оптимизация гиперпараметров отожженной выборки по значимости (arXiv)
Автор: Ширин Гоштасбпур, Фернандо Перес-Крус
Аннотация: Отожженная выборка по важности (AIS) — популярный алгоритм, используемый для оценки трудноразрешимой предельной вероятности глубоких генеративных моделей. Хотя AIS гарантированно обеспечивает несмещенную оценку для любого набора гиперпараметров, общие реализации полагаются на простые эвристики, такие как средние геометрические мостовые распределения между начальным и целевым распределением, которые влияют на производительность оценки, когда бюджет вычислений ограничен. Чтобы уменьшить количество итераций выборки, мы представляем параметрический процесс AIS с гибкими промежуточными распределениями, определяемыми остаточной плотностью относительно среднего геометрического пути. Наш метод позволяет совместно использовать параметры между распределениями отжига, использовать фиксированный линейный график для дискретизации и амортизации выбора гиперпараметров в моделях со скрытыми переменными. Мы оцениваем производительность AIS с оптимизированным путем для оценки предельного правдоподобия глубоких генеративных моделей и сравниваем ее с более вычислительно интенсивными AIS.
