/ai/ - Искусственный интеллект

Главный прорыв десятилетия! Аноним 05/05/24 Вск 00:00:16 № 726541 Ответ

photo2024-05-01[...].jpg 129Кб, 1280x808

Пару дней назад учёные из MIT представили революционную архитектуру глубокого обучения KAN, которая произвела фурор среди исследователей, став настоящей сенсацией. Говорят, что возможно это самый грандиозный прорыв в ИИ за последние 50 лет. Многие его окрестили, как Deep Learning 2.0

В основе всех архитектур, к которым мы привыкли, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.

А что, если мы переместим функции активации на веса и сделаем из обучаемыми? Звучит как бред, но yes, we KAN.

KAN (Kolmogorov-Arnold Networks) - новая парадигма, в которой исследователи реализовали перемещение активаций на «ребра» сети. Кажется, что решение взято из ниоткуда, но на самом деле тут зашита глубокая связь с математикой: в частности, с теоремами универсальной аппроксимации и аппроксимации Колмогорова-Арнольда.

KAN работает намного точнее, чем MLP гораздо большего размера, и к тому же лучше интерпретируется.
Авторы KAN доказали, что ему требуется во много раз меньше нейронов, чтобы достичь точности MLP. Также KAN гораздо лучше генерализует данные и лучше справляется с аппроксимацией сложных математических функций (мы увидели это на примерах), у него, можно сказать, "технический склад ума". В статье исследователи также показали, как KAN помогает решать дифференциальные уравнения и (пере)открывает законы физики и математики.

Единственный минус: из-за обучаемых активаций тренится все это дело в разы дольше, чем MLP. Но это не точно, так как исследователи пока даже не пытались провести оптимизацию скорости обучения.

Возможно сегодня мы наблюдаем рождение Deep Learning 2.0. Ведь такой подход меняет вообще все, от LSTM до трансформеров. Эпоха AGI теперь становится куда ближе.

Тут подробнее простыми словами: https://datasecrets.ru/articles/9
Ссылка на препринт: https://arxiv.org/abs/2404.19756
Код тут: https://github.com/KindXiaoming/pykan

Пропущено 4 постов
4 с картинками.