Страницы:Кликните, чтобы указать произвольную страницу123456232425далее
Alex7683: Модель нейрона и ИНС без синаптических множителей
Alex7683
Member
Автор темы
714/1563 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 06 мая 2021 23:34
Сейчас считается обязательным при построении ИНС использовать классические структуры, обязательным элементом которых являются перемножители.
Огромное количество перемножителей.
Якобы, в ЕНС им можно противопоставить некоторый физический аналог, в своей совокупности являющийся некоторой сущностью вида (X×Y), подаваемой в виде некоторой абстрактной величины на сумматор (на сому в биологическом нейроне)...
Для обоснования этого дается формула взвешенной суммы и заявляется, что она, является достаточным условием минимизации ошибки при принятии решения нейросетью. Скорее всего, это действительно так...

Но давайте заглянем в мозг элементарного муравья и попробуем найти в его нейронах эти самые перемножители...
А ... нет их там.

В лучшем случае, можно сказать:
Вот этот конкретный нейрон, в такой-то момент времени, получил единичные раздражители по синапсам N3, 4, 5, в результате чего, уже ранее сформированный у сомы мембранный потенциал дополнительно просуммировался с вновь образованными от синапсов N3, 4, 5. Дальше сома сформировала потенциал действия и отправила его на потребители. Ну и где здесь место перемножителям? Суммацию сигналов вижу (на соме), перемножителей на каждом синапсе - нет. А Вы?

Сейчас уже дошло до того, что для того, чтобы упростить физическую реализацию ИНС, до предела уменьшают разрядность этих перемножителей..., делая их 5-ти разрядными. И сразу же поднимают планку вычислительных возможностей имеющейся или разрабатываемой аппаратуры, которая теперь за такт может выполнять в разы больше операций перемножения, фактически, на пустом месте. Похвально, тем более, заявляется, что на точность распознавания это практически не влияет.

Но почему разработчики не идут глубже, вовсе не отказываясь от синаптических перемножителей?
Что плохого в том, что в ЕНС их нет вовсе, а имеет место лишь наличие факта синаптического раздражения (информация, равная 1 биту) и последствия этого раздражения, опосредованно через силу этого синапса, тоесть, в конечном счете, до сомы от данного синапса, без учета затухания доходит информация вида 1×S, где S-сила синапса.
Тогда, очевидно, потребуется всего лишь один сумматор в эквивалентной модели нейрона. А если делать ее более точно - всего лишь один перемножитель, который будет учитывать затухание ВСЕХ синаптических потенциалов при "продвижении" к соме.
И этот перемножитель уж точно можно сделать низкоразрядным, да, хотя бы из двух-трех значащих разрядов (после запятой), отличных от нуля, ибо уже множитель 0.11 будет численно соответствовать затуханию сигнала в 0.75 за такт, к тому же, этот множитель совершенно не обязательно применять каждый такт, тогда количество столь простых операций перемножения станет возможным еще сократить, кратно...

Таким образом, вырисовывается следующая практическая реализации нейрона:
1. Огромный массив памяти для хранения весов синапсов, с разрядностью...8 бит. Тоесть, от 1 до 10 кбайт данных.
2. Сумматор. В принципе, его можно строить параллельным, или, пирамидальным, пытаясь выполнить суммирование за минимальное число тактов, или, даже, за один... Но зачем? Можно ведь не спеша проделать ту же работу на последовательном сумматоре, складывая за раз всего два числа, ну хорошо, уговорили.... 4-8. Всё равно ведь времени на обработку вагон и маленькая тележка! Зато освободившиеся транзисторные ресурсы можно будет направить на что-то более полезное, например - массив памяти для весовых коэффициентов, где сэкономить не получится.
3. Один единственный перемножитель для обеспечения естественного затухания сигнала после сумматора. Он позволит запустить всю махину обработки информационных потоков в правильном направлении. Но ведь это всего лишь один перемножитель, а не тысячи и миллиарды? Терпимо, с точки зрения транзисторного бюджета.
4. Остальной транзисторный бюджет направляем в систему постобработки (реализация функции преобразования), и управляющий аппарат всем этим незамысловатым хозяйством.
5. Всё.

Что в сухом остатке:
1. Становится возможным реализация ИНС с минимальными аппаратными затратами, скажем... 500 вентителей на нейрон (навскидку, без учета памяти), основной же вклад будет вносить аппаратная реализация памяти нейрона.
2. Как следствие - минимизация потребления мощности, статической (что немаловажно, как никак, полная реализация в железе модели человеческого мозга должна содержать не менее 85млд. нейронов), и динамической, и здесь всё тоже очень радужно - ведь удалось избавиться пусть и от простеньких, но все же 850000 МИЛЛИАРДОВ физических перемножителей (исходя из расчета - 10000 перемножителей на нейрон). Воистине, - титаническая работа!
3. До предела упрощена сама структура нейрона
Которую теперь, очень надеюсь, аппаратно удастся целиком поместить на кончике булавки. Очень, очень большой булавки... Но мы ведь уже научились изготавливать 96-слойные пироги Flesh-памяти? А значит, возможность реализации этого очень и очень высока

Исправлено: Alex7683, 07.05.2021 06:08

Джамаль
Member
5973/77562 ответов, #3 в рейтинге
24 года на iXBT, с июня 2000
Чаще пишет в "Общий" (21%)
Россия, Самара
Инфо Ответить
Д
Джамаль Member
4 года назад / 07 мая 2021 06:19
Alex7683
попробуем найти в его нейронах эти самые перемножители...
А ... нет их там.


Конечно нету. Потому что это модель. Модель хим. процессов, происходящих в синапсе. С эмпирически подобранными коэффициентами.

Что же до идеи взять всё да и сложить - попробуйте проделать то же самое с функцией ax + by + cz, где коэффициенты a, b и с нелинейные. То есть, сами являются функциями с кучей переменных.
Alex7683
Member
Автор темы
715/1564 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 07 мая 2021 06:29
Джамаль
На самом деле, они есть, но для существа дела это не имеет никакого отношения.
Они есть для нас, с субъективной точки зрения, так как мы можем поместить нейрон под микроскоп, обвешать его кучей щупов и убедиться, что на вход любого нейрона в живой биологической системе, на конкретный синапс, частенько приходит пачка импульсов, которой, с физической точки зрения, можно противопоставить некоторую величину, отличную от информативности в 1 бит.
Но этой информацией владеем только мы, а не нейрон.

Для него все просто:
Вот сейчас, на синапс N3 пришел спайк... Я его должен обработать. Что там будет через 5 микросекунд, нейрону неведомо, да и не нужно ему знать об этом, от этого он работать хуже не будет.
Джамаль
Member
5974/77572 ответов, #3 в рейтинге
24 года на iXBT, с июня 2000
Чаще пишет в "Общий" (21%)
Россия, Самара
Инфо Ответить
Д
Джамаль Member
4 года назад / 07 мая 2021 07:50
Alex7683

Ради миниатюризации, я бы подумал над аналоговым перемножение, а не двоичным. Аналоговый перемножитель - это два транзистора. Всё.
Alex7683
Member
Автор темы
716/1565 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 07 мая 2021 08:10
Джамаль
Как бы они не были просты, их количество будет кратно количеству синапсов в нейроне, к тому же, аналог потребляет сильно больше.
Вот уже сейчас вовсю развивается подпороговая логика, даже выпускаются сверхмалопотребляющие микроконтроллеры, работающие от 0.4В. И это не предел. Заявляется, что рано или поздно можно будет говорить о питании в 0.2В.
Но это цифра, где разброс токов может достигать (и достигает) сотен процентов.
Допустимо ли это для аналогового устройства, перемножителя с питанием 0.2 - 0.4В? Без всяких ОУ с обратными связями и "бесконечным" входным сопротивлением. Думаю, нет.

В любом случае, предлагается совершенно избавиться от синаптических перемножителей, тем самым упрощая как обработку, так и кардинальным образом сокращая аппаратные затраты и многократно снижая энергопотребление ИНС в целом.

Исправлено: Alex7683, 07.05.2021 09:00

Alex7683
Member
Автор темы
717/1566 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 10 мая 2021 08:30
Конкурентный классификатор

Каким образом можно производить настройку весовых коэффициентов в нейросети прямой коррекции весовых коэффициентов?
Скорее всего, так же, как и в нейросетях ЕНС...

Предлагается следующая задача:

Найти способ практической реализации, используя однослойную ИНС, максимально приближенную по своей структуре к ЕНС для автоматической классификации трех "образов", предлагаемых ИНС в случайной последовательности.
При этом:
1. В единственном слое нейросети 5 нейронов, а "образов" для настройки всего 3;
2. ИНС не должна обладать синаптическими "перемножителями". Тоесть, вес синапса должен определяется исключительно количеством "принятых" спайков по данному синапсу, в "образе опознавания", на который настроен данный нейрон.
3. До процесса опознавания нейроны абсолютно не настроены, либо изначально настроены наиболее худшим образом, не дающим какого-то преимущества одному нейрону перед другим. Тоесть - никаких начальных случайных настроек весовых коэффициентов. Для определенности - веса всех синапсов всех нейронов до обучения равны нулю.
4. В процессе обучения, все пять нейронов должны автоматически "классифицироваться", тоесть:
3 нейрона из 5 всегда должны выдавать спайк на свой целевой образ, а оставшиеся два нейрона никогда не должны выдавать спайк опознавания;
5 При этом, если к нейросети, обученной на три образа, добавить еще 4-ый образ, один из двух "неактивных" нейронов должен гарантированно автоматически настроиться на этот образ, а 5-ый нейрон так и должен остаться "молчащим";
6 ИНС использует спайковую модель, разделение образов, предлагаемой нейросети временное (небольшая пауза);
7. Количество синапсов нейронов, например, ... 5 (равно количеству нейронов в слое), но может быть и иным;
8. Естественно, никакого обучения "с учителем".

Как это можно реализовать практически?


Как устроена ЕНС, например, зрительной коры головного мозга?
Известно, что кора головного мозга образует неокортекс, состоящий из кортикальных модулей, или, гиперколонок.
"В пределах одной миниколонки нейроны имеют одинаковое предназначение, тогда как гиперколонка «означает всё множество значений для любого множества параметров, данного рецепторами»"

Получается, каждый слой гиперколонки обеспечивает выполнение однотипных операций классификации, все более возрастающей абстракции, на каждом уровне своей. Например, один из верхних слоев, может служить классификатором отрезков разной направленности. При этом становится очевидным, что настройку весов в нейронах данного слоя совершенно не обязательно программировать генетически, в ДНК, достаточно лишь построить автоматический классификатор, который, оперируя потоком входных хаотических сигналов, а то и "внутренних шумов нейронов", подаваемых без всякой систематизации, автоматически правильно настроит веса нейронов для обеспечения выполнения этой функции.
Следующий слой гиперколонки будет настраивать веса точно также, параллельно настраивая весовые коэффициенты.
Иначе, чем можно объяснить то, что младенец, впервые открыв глаза, уже, пусть и размыто, возможно, перевернуто, видит окружающий мир? Ведь единственный опыт, который у него был для настройки нейронов коры головного мозга - это внутренние шумы самой нейросети, да в очень (возможно) незначительной степени - информация, заложенная генетически, которую реализовать очень непросто для данной задачи.

Исправлено: Alex7683, 10.05.2021 21:37

KPAH
advocatus diaboli
6557/25065 ответов, #10 в рейтинге
23 года на iXBT, с декабря 2001
232 фото на iXBT.photo
Чаще пишет в "Общий" (37%)
Россия, Москва
Инфо Ответить
KPAH advocatus diaboli
4 года назад / 10 мая 2021 22:37
Alex7683
По слухам до IBM таки дошло и у них есть нейропроцессоры, которые работают более похоже на естественную нервную систему.
Alex7683
Member
Автор темы
720/1569 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 12 мая 2021 13:17
Совсем без умножителей обойтись не получится...
Они необходимы для коррекции весов при переполнении регистров, а так же - для реализации временной деградации весовых коэффициентов. Тоесть, необходимы умножители на коэффициент, меньший 1.
С точки зрения необходимой точности, в модель идеально вписывается эквивалентная замена умножителя на единственную операцию вычитания.
Это возможно, если множитель представлен, например, числом вида 0.1110(1), тоесть, всего один "0" в представлении после запятой.

Исправлено: Alex7683, 12.05.2021 18:24

Полный П. И.
Member
221/3678 ответов
8 лет на iXBT, с декабря 2016
Чаще пишет в "Политика" (51%)
Россия, Столица РФ
Инфо Ответить
П
Полный П. И. Member
4 года назад / 13 мая 2021 00:13
Alex7683
Сейчас считается обязательным при построении ИНС использовать классические структуры, обязательным элементом которых являются перемножители.
Огромное количество перемножителей.

Но давайте заглянем в мозг элементарного муравья и попробуем найти в его нейронах эти самые перемножители...
А ... нет их там.

Потребуем переименовать ИНС во что-то другое?
Никакие они конечно не нейронные. Нет даже намека на ассоциации. Тупо сравнение и сортировка.
Partisan
Member
75/33331 ответов
25 лет на iXBT, с декабря 1999
Чаще пишет в "Политика" (54%)
Россия
Инфо Ответить
P
Partisan Member
4 года назад / 13 мая 2021 01:36
Кажется, тут некоторые пытаются изобрести велосипед, но неудачно. Читать противно. Есть ведь книги и статьи, где современные нейронные сети объясняются на самом элементарном уровне. Почему бы не ознакомиться прежде, чем изобретать.
Практически применяющиеся нейронные сети давно уже не имитируют нейроны и синапсы.
Но если моделирование нужно для изучения естественного мышления, то постановка задачи слишком примитивная.
Alex7683
Member
Автор темы
721/1570 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 13 мая 2021 11:17
[...]

Полный П. И.
"Тупо сравнение и сортировка"

А мозг делает что-то еще другое?
Тему можно переименовать или переместить, на усмотрение модератора.

Исправлено: D-Mod, 13.05.2021 11:26

Полный П. И.
Member
222/3680 ответов
8 лет на iXBT, с декабря 2016
Чаще пишет в "Политика" (51%)
Россия, Столица РФ
Инфо Ответить
П
Полный П. И. Member
4 года назад / 13 мая 2021 11:47
Alex7683
А мозг делает что-то еще другое?
Да. Что-то намного более высокого уровня.
Как минимум, когда человек видит предмет, он оценивает не только форму размер и цвет, но и его твердость, вес, и вкус(если пробовал раньше). То есть обрабатывается информация которая не поступает в данный момент от предмета. Это ассоциации - неотъемлемое свойство нейронной системы.
ИНС не заслуживают такого громкого названия, поскольку примитивны. По сравнению с настоящей нейронной системой они как механический арифмометр по сравнению с компьютером. ИНС на самом деле это оптимизированные системы сравнения и сортировки - ОССС, использующие алгоритмы распараллеливания предназначенные для мультипроцессорных/мультиядерных систем.
Alex7683
Member
Автор темы
722/1571 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 13 мая 2021 12:41
Полный П. И.
Наибольшая трудность построения в железе спайковых ИНС, приближенных по своим функциям к ЕНС заключается в трудности их физической модификации под действием "опыта".
Я не имею ввиду изменение веса синапсов.
Почему-то мне кажется, что в ЕНС какой-либо нейрон может запросто, совершенно случайно, получить физическую связь с другим нейроном, до этого отсутствующую.
Для этого, возможно, придется использовать адресные шины для передачи спайков с динамическими адресами, а в модели нейронов резервировать некоторые входы для приема исключительно "адресных" спайков.

Исправлено: Alex7683, 13.05.2021 16:18

Полный П. И.
Member
223/3681 ответов
8 лет на iXBT, с декабря 2016
Чаще пишет в "Политика" (51%)
Россия, Столица РФ
Инфо Ответить
П
Полный П. И. Member
4 года назад / 13 мая 2021 13:41
Alex7683
Наибольшая трудность построения в железе спайковых ИНС, приближенных по своим функциям к ЕНС заключается в трудности их физической модификации под действием "опыта".
Я не имею ввиду изменение веса синапсов.
Почему-то мне кажется, что в ЕНС какой-либо нейрон может запросто, совершенно случайно, получить физическую связь с другим нейроном, до этого отсутствующую.

ИМХО, для нынешней архитектуры ИНС, такое перестроение бесполезно. Алгоритмы все еще основаны на переборе, и вся "нейронность" сводится с эффективному распараллеливанию задачи. Процессоры заточены под команды для конкретных алгоритмов. А накопленные данные хранятся в памяти с последовательным доступом, и подгружаются частями в область ОЗУ. Поэтому аппаратная перестройка связей повлияет только на скорость, но не на опыт и самообучаемость. Программная перестройка медленнее, но намного дешевле.
ИНС должны начинаться с накопителей на основе "многопортовой памяти с широкой параллельной шиной данных". Организованы они должны быть скорее как "система памяти со встроенными процессорами", а не мультипроцессорная система с памятью.
Alex7683
Member
Автор темы
723/1572 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 14 мая 2021 08:23
При всех недостатках, спайковые ИНС обладают неоспоримыми преимуществами:
1. Сверхэнергоэффективностью, как следствие отсутствия перемножителей, простотой архитектуры и малой величиной переключений вентилей, обуславливающих низкое динамическое потребление;
2. Малой длительностью обработки (весь цикл обработки всего 3-4 такта);
3. Высокая скорость обработки поступающей информации. Определяется сложностью пирамидального сумматора (для количества синапсов 10000, количество слоев сумматора всего 14, что соизмеримо со сложностью перемножителя 14×14, с точки зрения временных затрат на обработку.
Как итог: не самая последняя ПЛИС при частоте работы в 500МГц единственным ядром, реализующим работу одного нейрона, способна обрабатывать в реальном времени: 125000 нейронов (при скорости обработки 1000раз/с). При должной организации памяти и возможности размещения сотен, тысяч и болен ядер на одном кристалле.

Скорее всего, удастся реализовать обработку всего за 1 такт.

Исправлено: Alex7683, 14.05.2021 18:51

Alex7683
Member
Автор темы
725/1576 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 19 мая 2021 09:24
Предположим, есть три сосуда, в каждый из который капает вода, по капле.
Все сосуды одинаковы и размер капель также одинаков. Но в каждый сосуд капли воды падают со своей индивидуальной, но одинаковой вероятностью во времени (не с фиксированной частотой).

Поэтому, если изначально сосуды были пусты, спустя определенное время один из них окажется заполнен под завязку и следущая вероятностная капля его должна переполнить.

Но предположим, что сосуды "логарифмические" и капля тоже "логарифмическая" (тоесть, имеет разный вес, в зависимости от заполненности сосуда).
Тогда, если в момент падения этой "логарифмической" капли не прибавить ее к объему сосуда, заставив его переполниться, а отнять по капле от каждого из "логарифмических" сосудов, мы получим, что пропорциональное заполнение водой логарифмических сосудов не изменится (в логарифмическом масштабе).

Но если процесс продолжить, следущая "вероятностная капля" упадет в каждый из сосудов, не вызвав переполнение ни одного из них в этой итерации, зато в следующей опять может возникнуть переполнение, но поскольку отнимание по капле из каждого из логарифмических сосудов не вызовет нарушение пропорциональных соотношений в заполненности, выраженных в логарифмической величине, то эта операция является абсолютно точной, с нулевой погрешностью. Тоесть, отнимание по капле из каждого из сосудов эквивалентно одновременному уменьшению их объемов воды в величину основания логарифма, например, в 1.12 раз.

Значит ли это, что если процесс выполнять бесконечно, сосуды всегда окажутся заполнены в соотношении, однозначно определенном вероятностями падения капель в каждый из сосудов, по крайнем мере, если провести операцию усреднения в некотором интервале отсчетов (и по крайней мере один из сосудов через какое-то время будет половину времени полон, а половину времени - полон за вычетом одной капли)?

С другой стороны, что изменится, если мы "забудем" что и сосуд, и капли логарифмические? Если процедуру оставить неизменной, ведь и в этом случае результат будет тот же? Что фактически, означает, что "логарифмическая" капля является одновременно каплей по любому основанию. Равно как и то, что сама система сосудов и операций по данной методике наполнения, если на ее вход подавать "обычные" капли, будет производить логарифмическую обработку над потоком их поступления.

Тоесть, неважно какие сосуды и какие капли, всегда в заполнении сосудов сохраняется фиксированная дельта в количестве капель, когда один из сосудов доходит до стадии переполнения, однозначно определяемая соотношением вероятностей падения капель в сосуды (по крайней мере, после операции усреднения).

Тогда можно составить аналогию об эквивалентности процессов сохранения и изменения весовых коэффициентов синапсов в биологическом нейроне.
Известно, что вес синапса коррелирует с аксонным спайком в зависимости от собственной активности.
Поэтому, если принять во внимание, что переполнению одного из сосудов будет соответствовать операция переполнения при операции суммации на соме, уменьшающей тонический потенциал на фиксированную дельту, то это означает, что настройка весов в биологическом нейроне происходит "корректно, автоматически и с абсолютной точностью" без каких-то хитрых механизмов внутринейронных "обратных" связей от сомы к синапсам.
Выявленная закономерность позволит бороться с ошибкой при коррекции весовых коэффициентов, сводя погрешности расчетов к нулю.
Тоесть, биологический нейрон по факту выполняет логарифмические операции.

Исправлено: Alex7683, 19.05.2021 10:40

Полный П. И.
Member
224/3726 ответов
8 лет на iXBT, с декабря 2016
Чаще пишет в "Политика" (51%)
Россия, Столица РФ
Инфо Ответить
П
Полный П. И. Member
4 года назад / 19 мая 2021 10:53
Alex7683
Тогда, если в момент падения этой "логарифмической" капли не прибавить ее к объему сосуда, заставив его переполниться, а отнять по капле от каждого из "логарифмических" сосудов, мы получим, что пропорциональное заполнение водой логарифмических сосудов не изменится (в логарифмическом масштабе).
Емкость сосудов 100 капель. В одном 100, в другом 1. Соотношение 100/1. Следующая капля падает в сосуд где 100 капель. Как отнять по одной капле сохранив соотношение?
Alex7683
Member
Автор темы
726/1577 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 19 мая 2021 12:04
Полный П. И.
Итерации:

1. 100 --- 1
2. 99 --- 0
3. 100 --- 0
4. 99 --- -1 => 99 0 (постобработка), но лучше, конечно, на этой итерации ничего не менять, оставив 100 --- 0
5. 100 --- 0
...
89. 100 --- 0
100 .100 --- 1 (наконец-то, по теории вероятности и на этой улице случается праздник)

Исправлено: Alex7683, 19.05.2021 12:15

Полный П. И.
Member
225/3731 ответов
8 лет на iXBT, с декабря 2016
Чаще пишет в "Политика" (51%)
Россия, Столица РФ
Инфо Ответить
П
Полный П. И. Member
4 года назад / 19 мая 2021 12:10
Alex7683
В таком случае возникает несколько состояний неопределенности, и временная потеря точности. А что если именно в один из этих моментов нужно получить результат, который повлияет на дальнейшую работу алгоритма?
Или спонтанность это хорошо?
Alex7683
Member
Автор темы
727/1578 ответов, #19 в рейтинге
9 лет на iXBT, с октября 2015
Чаще пишет в "Наука" (31%)
Россия, Москва
Инфо Ответить
A
Alex7683 MemberАвтор темы
4 года назад / 19 мая 2021 13:59
Полный П. И.
Я предполагаю, что синаптический множитель должен состоять из двух частей, хотя это всего одно число.
Значащих разрядов как минимум 5, это минимальное число, которое я видел для описания размеров естественных синапсов.
Но разрядов должно быть больше, если пытаться реализовать подобие спайкового нейрона, отталкиваясь от биологического аналога.
В биологическом нейроне имеет место деградация веса синапса, от времени, что обуславливает возможность "забывания" неактуальной информации и перезаписывания на ее место новой. Потому как нельзя, под действием стимулов просто так настроить синапс в сторону уменьшения веса. Увеличить - можно, зафиксировать достигнутый вес - тоже, чтобы перепрограммировать кардинально, уменьшив вес некоторых синапсов придется подождать, пока ВСЕ синаптические веса нейрона не деградируют до некоторого порога, с которого и можно начать обучение, увеличив до необходимого уровня одни из них.

Таким образом, я предполагаю, нейрон может находиться в 5 режимах:
1. Режим интенсивного обучения, когда процесс стирания информации идет достаточно быстро, но это можно компенсировать интенсивным обучением. Принцип: "Учу до посинения, час помню, через два - пустота".
2. Обычный режим. "Помню все хорошо, но только один день, через день, дай Бог, если вспомню половину".
3. Режим долговременного хранения. "Помню все целый месяц! Я - Гений. Но через два - только половина".
4.Вечность. "Помню все и всегда, как 2х2=5",
5. Режим необязательный, и вряд ли ему есть аналог в биологическом нейроне. Наверняка о нем могут сказать только военные или некоторые медработники. Режим мгновенного стирания. "Ничего не задерживается, хотя нет, секунду помню".

Сам процесс деградации веса синапсов - циклический, с постепенным уменьшением веса синапсов на 1 за цикл. Количество циклов "до полного обнуления" соответствует разрядности веса синапса, но при этом коэффициенты пропорциональности синаптических весов должны сохраняться некоторое количество циклов. Предполагаю, что разумным минимумом будет 16 (4 значащих разряда) циклов "безопасного стирания с несущественной потерей информации".
Таким образом, разрядность синапса должна быть равна 5+4 = 9 минимум. В этом случае можно быть уверенным, что веса синапсов пропорционально деградируют, но не настолько, чтобы потерять соотношения весовых коэффициентов между собой.

Сответственно, эти циклы забывания, в зависимости от режима, должны быть равномерно распределены, соответственно, в 1 с, 1ч, 1сут, 30дн. В режиме "вечность" циклы зыбывания должны отсутствовать.

Таким образом, веса синапсов 100 --- 1 должны встречаться только на начальной стадии обучения, а на последней будет что-то 10000 --- 100. Где в 100 значащая единица никогда не потеряется в циклах стирания, за исключением режима "Решето" (режим 5)
Ваш ответ:

Нет значка Нет значка Вот тут! Лампочка Восклицание Вопрос Класс! Улыбка Злость Огорчение Поговорим? Краснею Подмигивание Ругаю ОдобряюBIUdelSxsupxsuboffsp spoilerqurlimgvideo• list1. list1 codeprecenter-hr-rusQWE→ЙЦУ
файлыочистить
Ваше имя: Авторизуйтесь Предпросмотр В полную форму
вставить выделенную цитату в окно ответа
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Если Вы считаете это сообщение ценным для дискуссии (не обязательно с ним соглашаться), Вы можете поблагодарить его автора, а также перечислить ему на счет некоторую сумму со своего баланса (при отзыве благодарности перечисленная сумма не будет вам возвращена).
Также вы можете оценить сообщение как неудачное.
В течение суток можно 20 раз оценить сообщения разных участников (купите Premium-аккаунт, либо оплачивайте оценки сверх лимита).
Страницы:Кликните, чтобы указать произвольную страницу123456232425далее
Последние обсуждения в Конференции
04:30Проблемы совместной работы ИБП и блоков питания с APFC (Обязательно читать FAQ на стр.1) Корпуса, БП
04:25Железнодорожный транспорт Общий
04:253D-флудилка Видеосистема
04:22Обсуждение внешнего модуля Zalman ZM-VE400 Накопители
04:20Цензура ИИ: Даёшь свободу интеллекту! ИИ
04:18Украина после Евромайдана. Взгляд из России. Вход для лиц с русофобскими взглядами закрыт Политика
04:15x86 против ARM и других RISC-процессоров Процессоры
04:11Обработка в AviSynth видео, полученного после оцифровки с VHS и других аналоговых кассет Видеозахват
04:10Агрессивный маркетинг AMD и как он влияет на неокрепшие умы Тесты CPU
04:05От Windows к Linux Unix
03:48Отзывы о PrivalSystems (аналог skype) Интернет
03:43Intel Atom и "все все все" Тех. поддержка
03:39Выбор кондиционера для дома и офиса Бытовая техника
03:34Программный аудиоплеер "Foobar 2000". Плагины, советы и т.д. Цифр.звук
03:33В чем носить лопату 6,5" Моб. телефоны
03:31AMS1117 вырубается от радиосигнала Эл. устройства
03:25Перепрошивка Навигатора. Авто
03:18PC и консоли, и вновь продолжается бой Игры
03:07Проводной интернет от Билайн (Beeline) Рынок
02:49Что такое красота? Юмор
23:57вчераСамый дорогой броневик Mercedes в России: Mercedes-Maybach S 680 4Matic от ателье Carat Duchatelet оценили в 225 млн рублей — спецсигналы в комплекте
23:46вчераLada Niva Sport получит два мотора — на 122 и на 144 л.с.
23:33вчераВ России нашли новые Renault Logan отечественной сборки, цены — от 1,57 млн рублей
23:14вчераКроссовер Hyundai с классическим «автоматом» — от 2,38 млн рублей. В Россию привезли новые Hyundai Bayon
22:56вчераНе хуже дизеля: Toyota анонсировала новое поколение водородомобилей
22:42вчераВ России за 20 млн рублей продают редчайший Bentley S1 — это почти точная копия Rolls-Royce Silver Cloud
22:29вчераSeagate нацелилась на покупку производителя оборудования Intevac: $119 млн за ключевые технологии HAMR-дисков
22:29вчераLada Aura в Белоруссии будет на 15-20% дешевле, чем в России
22:15вчераГАЗель с «сердцем» от Chrysler: умельцы в Казахстане установили под капот ГАЗели 5,7-литровый Hemi в сочетании с «автоматом»
22:01вчераУчёные создали реактор, превращающий CO2 из воздуха в топливо с помощью солнца