1
В процессе обучения нейронных сетей получаются красивые фракталы
Всё началось, когда пятилетняя дочь автора заявила, что математика — тупая штука. В попытках её переубедить семья открыла для себя фракталы. А самого автора, специалиста по ИИ, это навело на неожиданную параллель.
Оказалось, что генерация множества Мандельброта и обучение нейросетей — процессы поразительно схожие. И там, и там функция итеративно применяется к своему выводу, а результат (сойдётся или улетит в бесконечность) зависит от гиперпараметров. Автор решил проверить, а что, если поискать фракталы в ландшафте обучения? И нашёл.
Посмотрим, где именно в нейросетях прячутся эти роскошные узоры.