Адаптивная резонансная теория

Сети адаптивного резонанса — разновидность искусственных нейронных сетей, основанная на теории адаптивного резонанса Стивена Гроссберга и Гейл Карпентер. Включает в себя модели обучения с учителем и без учителя, которые используются при решении задач распознавания образов и предсказания.

Общее описание

Основная идея заключается в том, что распознавание образов является результатом нисходящих ожиданий и восходящей сенсорной информации. Причем нисходящие ожидания принимают форму припоминаемых прототипов или образцов, которые затем сравниваются с реально наблюдаемыми свойствами объекта. Это сравнение лежит в основании меры категориальной принадлежности. Когда разница между ожиданием и наблюдаемым не превышает определенный порог («бдительность») наблюдаемый объект считается принадлежащим к определенной категории. Таким образом система предлагает решение проблемы пластичности/стабильности, то есть проблемы приобретения нового знания без нарушения уже существующего.

Обучение

Стандартная АР система представляет собой модель обучения без учителя. Как правило она состоит из составленных из нейронов поля сравнения и поля распознавания, а также параметра бдительности и модуля сброса. На вход поля сравнения подается вектор чисел, для которого определяется соответствующий нейрон в поле распознавания, то есть тот, чьи веса больше всего похожи на входной вектор. Каждый нейрон поля распознавания тормозит другие нейроны из этого поля (сила воздействия пропорциональна степени соответствия).

После классификации входа модуль сброса сравнивает степень соответствия при распознании с параметром бдительности. В случае если порог преодолен, происходит обучение: веса победившего нейрона подгоняются к значениям входного вектора. Если же порог не был преодолен, то победивший нейрон подавляется и запускается процедура поиска. В ходе этой процедуры распознающие нейроны отключаются один за другим с помощью функции сброса пока порог бдительности не будет преодолен. На каждом цикле поиска выбирается наиболее активный распознающий нейрон, и отключается, в случае если активация не достигает порога бдительности. Параметр бдительности имеет значительное влияние на систему: высокие значения создают высоко детализированную память (множество мелких категорий), тогда как небольшие значения создают более общие образы (меньшее количество более крупных категорий).

Разновидности

ART1^[1]^[2] — простейшая разновидность, принимающая на вход только бинарные значения.

ART2^[3] — обеспечивает поддержку непрерывных значений.

ART2-A

ART3^[4] — физиологически более реалистичная версия ART2. Моделирует медиаторную регуляцию синаптической активности.

Fuzzy ART^[5] — вариант модели с применением принципов нечеткой логики.

ARTMAP (Predictive ART)

Fuzzy ARTMAP

Distributed ARTMAP

ARTMAP-IC

Default ARTMAP

Критика

Было замечено, что в ART1 и Fuzzy ART результаты сильно зависят от порядка предъявления обучающей выборки. Эффект может быть уменьшен понижением коэффициента скорости обучения, однако проявляется независимо от размера обучающей выборки. Поэтому результаты ART1 и Fuzzy ART моделей не являются состоятельными оценками с точки зрения математической статистики.

Примечания

↑ Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Архивная копия от 19 мая 2006 на Wayback Machine, In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
↑ Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance Архивная копия от 7 сентября 2006 на Wayback Machine, Cognitive Science (Publication), 11, 23-63
↑ Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns Архивная копия от 4 сентября 2006 на Wayback Machine, Applied Optics, 26(23), 4919-4930
↑ Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures Архивная копия от 6 сентября 2006 на Wayback Machine, Neural Networks (Publication), 3, 129—152
↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system Архивная копия от 19 мая 2006 на Wayback Machine, Neural Networks (Publication), 4, 759—771

Ссылки

Stephen Grossberg's website.
ART’s implementation for unsupervised learning (ART 1, ART 2A, ART 2A-C and ART distance) can be found at https://web.archive.org/web/20120109162743/http://users.visualserver.org/xhudik/art
[1] Summary of the ART algorithm

[ART_1-1] Carpenter, G.A. & Grossberg, S. (2003), Adaptive Resonance Theory Архивная копия от 19 мая 2006 на Wayback Machine, In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press

[AR-2] Grossberg, S. (1987), Competitive learning: From interactive activation to adaptive resonance Архивная копия от 7 сентября 2006 на Wayback Machine, Cognitive Science (Publication), 11, 23-63

[ART_2-3] Carpenter, G.A. & Grossberg, S. (1987), ART 2: Self-organization of stable category recognition codes for analog input patterns Архивная копия от 4 сентября 2006 на Wayback Machine, Applied Optics, 26(23), 4919-4930

[ART_3-4] Carpenter, G.A. & Grossberg, S. (1990), ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures Архивная копия от 6 сентября 2006 на Wayback Machine, Neural Networks (Publication), 3, 129—152

[Fuzzy_ART-5] Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system Архивная копия от 19 мая 2006 на Wayback Machine, Neural Networks (Publication), 4, 759—771

[1]

[2]

[3]

[4]

[5]

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамблевое обучение Бэггинг Бустинг Метод случайного леса Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Размерность Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG

Адаптивная резонансная теория

Общее описание

Обучение

Разновидности

Критика

Примечания

Ссылки

Премиум членство

€4.95

Создать Премиум Аккаунт быстро и легко

Сохраните ваши любимые страницы

Слушайте любую страницу в аудио

Цветной ночной режим