Сейчас считается обязательным при построении ИНС использовать классические структуры, обязательным элементом которых являются перемножители.
Огромное количество перемножителей.
Якобы, в ЕНС им можно противопоставить некоторый физический аналог, в своей совокупности являющийся некоторой сущностью вида (X×Y), подаваемой в виде некоторой абстрактной величины на сумматор (на сому в биологическом нейроне)...
Для обоснования этого дается формула взвешенной суммы и заявляется, что она, является достаточным условием минимизации ошибки при принятии решения нейросетью. Скорее всего, это действительно так...
Но давайте заглянем в мозг элементарного муравья и попробуем найти в его нейронах эти самые перемножители...
А ... нет их там.
В лучшем случае, можно сказать:
Вот этот конкретный нейрон, в такой-то момент времени, получил единичные раздражители по синапсам N3, 4, 5, в результате чего, уже ранее сформированный у сомы мембранный потенциал дополнительно просуммировался с вновь образованными от синапсов N3, 4, 5. Дальше сома сформировала потенциал действия и отправила его на потребители. Ну и где здесь место перемножителям? Суммацию сигналов вижу (на соме), перемножителей на каждом синапсе - нет. А Вы?
Сейчас уже дошло до того, что для того, чтобы упростить физическую реализацию ИНС, до предела уменьшают разрядность этих перемножителей..., делая их 5-ти разрядными. И сразу же поднимают планку вычислительных возможностей имеющейся или разрабатываемой аппаратуры, которая теперь за такт может выполнять в разы больше операций перемножения, фактически, на пустом месте. Похвально, тем более, заявляется, что на точность распознавания это практически не влияет.
Но почему разработчики не идут глубже, вовсе не отказываясь от синаптических перемножителей?
Что плохого в том, что в ЕНС их нет вовсе, а имеет место лишь наличие факта синаптического раздражения (информация, равная 1 биту) и последствия этого раздражения, опосредованно через силу этого синапса, тоесть, в конечном счете, до сомы от данного синапса, без учета затухания доходит информация вида 1×S, где S-сила синапса.
Тогда, очевидно, потребуется всего лишь один сумматор в эквивалентной модели нейрона. А если делать ее более точно - всего лишь один перемножитель, который будет учитывать затухание ВСЕХ синаптических потенциалов при "продвижении" к соме.
И этот перемножитель уж точно можно сделать низкоразрядным, да, хотя бы из двух-трех значащих разрядов (после запятой), отличных от нуля, ибо уже множитель 0.11 будет численно соответствовать затуханию сигнала в 0.75 за такт, к тому же, этот множитель совершенно не обязательно применять каждый такт, тогда количество столь простых операций перемножения станет возможным еще сократить, кратно...
Таким образом, вырисовывается следующая практическая реализации нейрона:
1. Огромный массив памяти для хранения весов синапсов, с разрядностью...8 бит. Тоесть, от 1 до 10 кбайт данных.
2. Сумматор. В принципе, его можно строить параллельным, или, пирамидальным, пытаясь выполнить суммирование за минимальное число тактов, или, даже, за один... Но зачем? Можно ведь не спеша проделать ту же работу на последовательном сумматоре, складывая за раз всего два числа, ну хорошо, уговорили.... 4-8. Всё равно ведь времени на обработку вагон и маленькая тележка! Зато освободившиеся транзисторные ресурсы можно будет направить на что-то более полезное, например - массив памяти для весовых коэффициентов, где сэкономить не получится.
3. Один единственный перемножитель для обеспечения естественного затухания сигнала после сумматора. Он позволит запустить всю махину обработки информационных потоков в правильном направлении. Но ведь это всего лишь один перемножитель, а не тысячи и миллиарды? Терпимо, с точки зрения транзисторного бюджета.
4. Остальной транзисторный бюджет направляем в систему постобработки (реализация функции преобразования), и управляющий аппарат всем этим незамысловатым хозяйством.
5. Всё.
Что в сухом остатке:
1. Становится возможным реализация ИНС с минимальными аппаратными затратами, скажем... 500 вентителей на нейрон (навскидку, без учета памяти), основной же вклад будет вносить аппаратная реализация памяти нейрона.
2. Как следствие - минимизация потребления мощности, статической (что немаловажно, как никак, полная реализация в железе модели человеческого мозга должна содержать не менее 85млд. нейронов), и динамической, и здесь всё тоже очень радужно - ведь удалось избавиться пусть и от простеньких, но все же 850000 МИЛЛИАРДОВ физических перемножителей (исходя из расчета - 10000 перемножителей на нейрон). Воистине, - титаническая работа!
3. До предела упрощена сама структура нейрона
Которую теперь, очень надеюсь, аппаратно удастся целиком поместить на кончике булавки. Очень, очень большой булавки... Но мы ведь уже научились изготавливать 96-слойные пироги Flesh-памяти? А значит, возможность реализации этого очень и очень высока![](/smile.svg)
Огромное количество перемножителей.
Якобы, в ЕНС им можно противопоставить некоторый физический аналог, в своей совокупности являющийся некоторой сущностью вида (X×Y), подаваемой в виде некоторой абстрактной величины на сумматор (на сому в биологическом нейроне)...
Для обоснования этого дается формула взвешенной суммы и заявляется, что она, является достаточным условием минимизации ошибки при принятии решения нейросетью. Скорее всего, это действительно так...
Но давайте заглянем в мозг элементарного муравья и попробуем найти в его нейронах эти самые перемножители...
А ... нет их там.
В лучшем случае, можно сказать:
Вот этот конкретный нейрон, в такой-то момент времени, получил единичные раздражители по синапсам N3, 4, 5, в результате чего, уже ранее сформированный у сомы мембранный потенциал дополнительно просуммировался с вновь образованными от синапсов N3, 4, 5. Дальше сома сформировала потенциал действия и отправила его на потребители. Ну и где здесь место перемножителям? Суммацию сигналов вижу (на соме), перемножителей на каждом синапсе - нет. А Вы?
Сейчас уже дошло до того, что для того, чтобы упростить физическую реализацию ИНС, до предела уменьшают разрядность этих перемножителей..., делая их 5-ти разрядными. И сразу же поднимают планку вычислительных возможностей имеющейся или разрабатываемой аппаратуры, которая теперь за такт может выполнять в разы больше операций перемножения, фактически, на пустом месте. Похвально, тем более, заявляется, что на точность распознавания это практически не влияет.
Но почему разработчики не идут глубже, вовсе не отказываясь от синаптических перемножителей?
Что плохого в том, что в ЕНС их нет вовсе, а имеет место лишь наличие факта синаптического раздражения (информация, равная 1 биту) и последствия этого раздражения, опосредованно через силу этого синапса, тоесть, в конечном счете, до сомы от данного синапса, без учета затухания доходит информация вида 1×S, где S-сила синапса.
Тогда, очевидно, потребуется всего лишь один сумматор в эквивалентной модели нейрона. А если делать ее более точно - всего лишь один перемножитель, который будет учитывать затухание ВСЕХ синаптических потенциалов при "продвижении" к соме.
И этот перемножитель уж точно можно сделать низкоразрядным, да, хотя бы из двух-трех значащих разрядов (после запятой), отличных от нуля, ибо уже множитель 0.11 будет численно соответствовать затуханию сигнала в 0.75 за такт, к тому же, этот множитель совершенно не обязательно применять каждый такт, тогда количество столь простых операций перемножения станет возможным еще сократить, кратно...
Таким образом, вырисовывается следующая практическая реализации нейрона:
1. Огромный массив памяти для хранения весов синапсов, с разрядностью...8 бит. Тоесть, от 1 до 10 кбайт данных.
2. Сумматор. В принципе, его можно строить параллельным, или, пирамидальным, пытаясь выполнить суммирование за минимальное число тактов, или, даже, за один... Но зачем? Можно ведь не спеша проделать ту же работу на последовательном сумматоре, складывая за раз всего два числа, ну хорошо, уговорили.... 4-8. Всё равно ведь времени на обработку вагон и маленькая тележка! Зато освободившиеся транзисторные ресурсы можно будет направить на что-то более полезное, например - массив памяти для весовых коэффициентов, где сэкономить не получится.
3. Один единственный перемножитель для обеспечения естественного затухания сигнала после сумматора. Он позволит запустить всю махину обработки информационных потоков в правильном направлении. Но ведь это всего лишь один перемножитель, а не тысячи и миллиарды? Терпимо, с точки зрения транзисторного бюджета.
4. Остальной транзисторный бюджет направляем в систему постобработки (реализация функции преобразования), и управляющий аппарат всем этим незамысловатым хозяйством.
5. Всё.
Что в сухом остатке:
1. Становится возможным реализация ИНС с минимальными аппаратными затратами, скажем... 500 вентителей на нейрон (навскидку, без учета памяти), основной же вклад будет вносить аппаратная реализация памяти нейрона.
2. Как следствие - минимизация потребления мощности, статической (что немаловажно, как никак, полная реализация в железе модели человеческого мозга должна содержать не менее 85млд. нейронов), и динамической, и здесь всё тоже очень радужно - ведь удалось избавиться пусть и от простеньких, но все же 850000 МИЛЛИАРДОВ физических перемножителей (исходя из расчета - 10000 перемножителей на нейрон). Воистине, - титаническая работа!
3. До предела упрощена сама структура нейрона
Которую теперь, очень надеюсь, аппаратно удастся целиком поместить на кончике булавки. Очень, очень большой булавки... Но мы ведь уже научились изготавливать 96-слойные пироги Flesh-памяти? А значит, возможность реализации этого очень и очень высока
Исправлено: Alex7683, 07.05.2021 06:08