Как обсчитывать нейросети ?

From: Muravjov Artem ( muravjoff@mtu-net.ru ) Date: 2000-03-06 04:02

Сначала хотел бы ответить Владимиру.
Я как только начал читать про связь сознания с антисемитизмом, то сразу
улыбнулся и решил scrollнуть страницу вверх и посмотреть на фамилию автора
:)
Владимир, мне кажется, что тема коференции и анти-семитизм очень мало
связаны, и просто у Вас небольшой и стандартный комплекс. Но тут люди все
образованные и не злые.

У меня вот какая идея или скорее вопрос к компетентным в этой области
участникам конференции. Я все больше по части н. сетей и там, как известно,
точность расчетов не нужна большая, зато нужно количество связей побольше и
"понелокальнее". Что это значит ? Это значит, что стандартный процессор
будет запрашивать маленькие объемы данных из разных отдаленных кусков
памяти, а это, в свою очередь, обозначает, что кэш(дорогая, как собака), не
будет работать. Второе соображение: для моделирования усложненного нейрона в
реальном времени нужно хранить несколько переменных, описывающих его
внутреннее состояние и все время обсчитывать эти параметры. Большая
точность не нужна. Из двух видов памяти: на транзисторах и на конденсаторах
вторая имеет "недостаток" - ее надо постоянно регенерировать, и
достоинство - большая плотность упаковки. Отличный недостаток! Чувствуете, я
к чему ?
Делали полностью аппаратную реализацию нейрона(в Калифорнийской техноложке),
но 1) много места занимает, гад и 2) нужны нейроны с принципиально разными
параметрами и много их, разных.
То есть оптимальный вариант - специализированные нейрочипы, но не те, что
есть сейчас - по своим параметрам они мало пригодны. Максимум несколько
тысяч нейронов - свободно соединяемых, или на порядки больше,но зато только
слоями и т.п. Всего этого не достаточно, чтобы даже начальную обработку
образа осуществить, не говоря о высших функциях.

То есть то, что поймет юмор, должно "жить" на распределенной системе,
скорее всего с кластерной архитектурой. Вопрос следующий : вот в 32-битном
компе слово движется в виде П-образного сигнала одновременно по 32 проводам,
а нельзя ли сделать аналоговый процессор, что бы в одном импульсе (с разной
продолжительностью и амплитудой) сразу, по одному проводу передавалось float
число, с поганой точностью, конечно. Можно ли реализовать аналоговые
базовые опереации + несколько необходимых функций СО СКОРОСТЬЮ, сравнимой
или превосходящей те же операции в совр. процах над 2-ными числами?
Следующий вопрос: нельзя ли эти операции ускорить за счет аналоговости ? И
нельзя ли за счет этого кардинально повысить частоту ?
Потом, думаю, все же не обойтись без нормальных(разрядных) чисел. К примеру,
для адресации. Кстати, трудоемкая ли операция аналогово-цифровое
преобразование? И почему не использовать не 2-ые числа, т.е. по одному
проводу за раз, а потом более точно оценивать амплитуду и переводить в
какие угодно ? Насчет транспьютеров - медленная коммуникация через линки и
малое их кол-во не оставляет надежд на обсчет сильносвязанных сетей, а ведь
чем сильна нейросеть ? - готовым и параллельным перебором за счет ~N^2
связей.

Сайт создан в системе uCoz