• LinkReview
• Code
• Paper
• Slides

Исследование поведения функции потерь возле минимума является важной задачей для работы нейросетей и для поиска оптимального размера обучающей выборки.
Распределенный подход к оценке сходимости поверхности функции потерь использует Monte Carlo сэмплирование из гауссовского распределения в окрестности минимума.
Предыдущие исследования показали, что оценка сильно зависит от дисперсии сэмплирования.
Целью исследования является разработка адаптивных методов выбора параметров распределения сэмплирования на основе свойств кривизны оптимизационной поверхности и провести сравнительный анализ различных стратегий выбора.
В данной работе предлагается метод, использующий свойства матрицы Гессе для более точной оценки сходимости поверхности функции потерь.
Различные стратегии выбора сравниваются на задаче классификации изображений.
Развитие исследований в этом направлении позволит сделать распределенный подход более практичным и устойчивым.
Результаты могут быть полезны для анализа оптимальной обучающей выборки в задаче обучения нейросетей.

If you find our work helpful, please cite us.

@article{citekey,
    title={Title},
    author={Enikeev Arnold, Nikita Kiselev (consultant), Andrey Grabovoy (advisor)},
    year={2025}
}

Our project is MIT licensed. See LICENSE for details.