НЕЙРОСЕТЬ ТРЕДАнон, давай поговорим о нейросетях. О настоящих, в человеческом мозгу, об искуственных, моделируемых человеком, цифровых и аналоговых, старых и новых.Недавно залип в эту тему, и хочется вкатится в это, пока не понимаю с какого бока подступится, чтобы не тратить впустую время на то, что другие уже годы назад прожевали и выплюнули.Может ты знаешь какие то интересные факты? Пытался вкатится или успешный разраб уже? Дискасс короче, буду бампать интересными фактами, которые я взял на поверхности поиска
>>217301315 (OP)О, годный тренд, раз за стопиццот лет.Бумп и с нетерпением жду информации.За нейросетями будущее.
>>217301315 (OP)Открываешь книжку какую-нибудь тупую уровня "грокаем машинное обучение", она короткая и написана понятным языком. Ближе к концу поймёшь, в какую сторону дальше двигаться. Ну питон покури, ибо машинное обучение - это часто именно питон/керас. А вообще не лезь в это болото. Оно только на словах прикольно, а в итоге будешь сидеть охуевать.
Если я правильно понимаю - единица нейросети это нейрон, который имеет n входов, по которым к нему попадает РАЗНАЯ информация, и n выходов, по которым он отдает ОДИНАКОВУЮ, ОДНУ И ТУ ЖЕ информацию другим присоединенным нейронам. Так?
Кора головного мозга человека содержит около 80 миллиардов нейронов.Между одним нейроном и остальными может быть до 10 тысяч связей. ДО 10 ТЫСЯЧ КАРЛ.Ты анон представляешь что в твоей голове, в той, куда ты ешь и порой суешь не предназначенные предметы???
Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента — линейной комбинации всех входных сигналов. Полученный результат посылается на единственный выход.Линейная комбинация — выражение, построенное на множестве элементов путём умножения каждого элемента на коэффициенты с последующим сложением результатов (например, линейной комбинацией x и y будет выражение вида ax + by, где a и b — коэффициенты)А как дела обстоят с нероном биологическим?Там тоже "линейная комбинация" входящих сигналов??
Нейрон биологический:Электрически возбудимая клетка, которая предназначена для приема извне, обработки, хранения, передачи и вывода вовне информации с помощью электрических и химических сигналов.То есть по факту штука аналоговая, узел устройства под названием мозг.Нейрон искуственный в составе нейросети компьютерной:Узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона.
То бишь по факту то, что сейчас принято называть "нейросетью" есть упрощенная жалкая модельЭто получается все равно что иметь секс с самкой человека или лежа в темноте без хуя и без рук представлять как ты дрочишь на плохо нарисованную картинку самки человека.
Говоря об искусственных нейронах, разные ученые могут иметь в виду самые разные вещи. Например, когда математики и программисты говорят о нейросетях, они называют нейронами определенные объекты в архитектуре обработки данных, которые, в общем, не слишком отличаются от простых переменных в очень большом уравнении. На настоящие нейроны они похожи разве что тем, что соединены с другими подобными объектами в сеть, по которой течет информация.
Инженеры под искусственными нейронами могут иметь в виду нечто другое — например, сети мемристоров. Это устройства, которые также придуманы для вычислений и обработки данных, но свою биологическую, распределенную архитектуру они реализуют непосредственно в физическом виде — прямо на микросхеме. Этим они сильно отличаются от тех самых «нейросетей», которые обрабатывают изображения и существуют в виде софта для компьютеров вполне классической, не-нейроморфной архитектуры.
>>217303170Да, но даже эта упрощенная жалкая модель уже дает охуительные результаты. Все эти распознователи, генераторы, переводчики, это ж ебнуться можно.
>>217303446Для этого не надо создавать нейросетьДостаточно взять уже имеющуюся, под названием Василий Зумеров, нитакой как фсе творческий видеохудожник, накурить его значительно изменив сигналы между нейронами, и получишь на выходи подобное. Недорого и быстро
>>217303495Ну типа да, результат есть, но ничего по сути такого, с чем бы не справился специалист-человек
>>217301315 (OP)Нейроны обобщают информацию.У аксона есть коллатерали по которым сигнал дублируется без изменений, следовательно нейрон имеет 40к входов и 15к выходов максимум.Нейроны как транзисторы, выбирают пропустить стгнал или нет, у транзистора для этого используется база, у нейрона рецепторы нейромедиаторов. Тоесть нейромедиация чувства голода пресекает активацию неправильных нейронов и поощряет активацию правильных. Эта химия так же регулируется опытом - аксоаксональными связями, звездчатыми нейронами и т.д.В простейшем случае, мозг получает совокупность сигналов, нейроны сравнивают их посредством связей с дендритами, каждый нейрон имеет внутри запомненную картинку сигналов, затем если совпадает, в зависимости от нейромедиационного и гормонального фона выстреливает спайк по аксону либо замолкает и спайк подавляется. Спайк разветвляется по коллатералям и активирует высокоуровневые моторные функции спинного мозга, который в свою очередь активирует мотонейроны сокращающие мышцы.Сон это открытие ионных каналов нейронов, потенциал действия которых был подавлен, но заряд не израсходван. В целях безопасности при этом моторные функции отключаются серотонином и ты не дергаешься в судорогах а видишь сны, что есть каскад хаотично высвобождающихся ионов, по этому может привидиться во сне любая хуйня и комбинации известных зрительных/слуховых и иных образов.В ИНС каждый последующий слой обобщает сингалы от предыдущего, тем самым сводя несколько выборов например горячее/холодное+кружка/тарелка к результатам суп/компот. Ну или при решенит примера первый слой видит( 2+2)2 следующий слой видит 42, следующий видит 8 и выдает результат на 8й эффекторный нейрон. Как то так.
>>217303829Специалист-человек сможет обрабатывать большие данные? Сколько таких специалистов-человеков ты сможешь найти и купить?Простой пример, ты кидаешь текст в гугл транслейт и можешь уловить хотя бы суть мгновенно на данный момент не всегда, но это пока. Поиск и работа переводчика с рандомного языка займет гораздо больше времени и средств (а потом окажется что он тебя наебал).
>>217304124Так прога-переводчик имеет мало отношения к нейросетям, это просто программа работающая по заданным алгоритмам
>>217304373>Так прога-переводчик имеет мало отношения к нейросетям, это просто программа работающая по заданным алгоритмамЛол нет. Там всё давным давно на нейронках
>>217304124Человек обрабатывает невербальную информацию, сначала научи переводчик распознавать рукописный текст, затем подкреплять смысл образами зрительными, обонятельными, осязательными в корректном хронологическом порядке и уже тогда выдать артикуляционный а не стнтетический перевод напрямуб регулируя работу артикуляционного аппарата. Переводчик гугл использует готовые переводы фраз и предложений, составленных символами бинарной кодировки, а не переводит текст.
>>217303829>ничего по сути такого, с чем бы не справился специалист-человекДохуя примеров. Нейронка может "прочитать" столько данных, сколько ни один специалист за всю жизнь не успеет
>>217304303Я бы хотел вкатится, даНо не в модели нейронок, а в нечто реальное, ближе к харду чем к софтуНапример читая про Оптические нейронные сети я испытываю куда больше интереса, чем про компьютерные модели этих сетей
>>217304664В хайкине про математику и биологию искуственных нейронок.>Но не в модели нейронок, а в нечто реальноеТо есть ты собрался мозг выращивать? Оптические нейронки это тоже модель, и если ты хочешь в них разобраться, тебе нужно знать математические основы.
>>217304803Согласен, без математических основ никудаНо почему выращивать мозг?Хардварная модель оптического нейрона - вполне себе устройство
>>217304957>Но не в модели нейронок, а в нечто реальное>Хардварная модель оптического нейрона - вполне себе устройство
>>217304523Даже миллион if/then сработает не хуже. Инс это алгоритм автоматизированной расстановки этих if/then, чтобы не пришлось их расставлять вручную. При этом жертвуется охуевшая доля производительности алгоритма на лишние вычисления связей весов и функций.
>>217305113Уже в списке, thxЧто может быть входящим сигналом искуственных нейронов?Для компьютерной модели ИН - это только информация в виде 0 и 1 очевидно. Или не только?А для физической модели? Электричество, свет, хим.реакция, что еще?
>>217304803Для применения пороговой функции ему даже алгебра будет ненужна. Хуле, это же и есть фукция типа if("Вася")then(return "лох"), чистой воды импликация.
>>217304957И еще. Посмотри на связи на картинке. Их добавление и удаление это очень сложная задача, в идеале каждый нейрон должен иметь связи со всеми остальными нейронами, а на реализацию такой хуйни тебе максимум мозг нематоды удастся на паре терабайт дисковового пространства разместить.
>>217305205>Даже миллион if/then сработает не хужеНу попробуй написать их все теперь>Инс это алгоритм автоматизированной расстановки этих if/thenТы не поверишь нахуй, но любой алгоритм можно изобразить в виде дохуя иф\зен, но алгоритмы и придумали, чтобы такой ебатой не страдать>на лишние вычисления Лишние для кого? У меня вот без этих вычеслений нейронка не заработает, а писать миллион ифов желания нет.>Что может быть входящим сигналом искуственных нейронов?Смотря как ты их моделируешь. Но желательно чтобы это были объекты из одного векторного пространства хотя бы.>только информация в виде 0 и 1Ну если ты про то, что в компьютере всё в виде битов, то да...>Электричество, свет, хим.реакция, что еще?Хуй знает что ты имеешь в виду, но скорее всего у тебя это всё будет просто физическим выражением некоторой скалярной величины.>Для применения пороговой функции ему даже алгебра будет ненужнаЛол, ну если сигма-функции любой школьник сейчас поймет, то ок
>>217303957>модель из одного миллиарда нейронов>Между ядрами несколько способов передачи информации, но основной — пакетами по 5–9 килобайт.По сути запараллелили кучу процов
>>217305565>в идеале каждый нейрон должен иметь связи со всеми остальными нейронамиНахуя?>на реализацию такой хуйни тебе максимум мозг нематоды удастся на паре терабайт дисковового пространства разместить.И?
>>217305708И это прекрасно. Все работают одновременно. Получается нейросетка в реальном режиме времени.
А что кстати с новыми нейронами, и новыми связями нового нейрона со старыми?Есть ли механизмы репродукции нейронов, в биологии, или в комп.моделях? Или пока ручками не воткнешь новый узел и не проведешь все связи - не заработает?
>>217304457А вот еще приколюха. Помнишь картинки усредненного лица генерированные нейронкой на основе сотен лиц нормальных? Грубо говоря если полупрозрачные фотки расположить в ряд то получишь тоже самое среднее лицо, но суть не в его получении, а в том, что картинка это сенсорная матрица, ее представляют собой обычно связи от сенсорных нейронов, тоесть отдельная картинка это отдельный нейрон, просто взяли и входящие связи сложили в среднне арифметическое и расположили как есть. Еще у нейронов есть такая немного запутанная функция, они содержат не картинку целиком, а ее кусочки, тоесть одна инс может распознавая оьраз собирать его из отдельных нейронов, один будет содержать глаза, другой нос, третий овал лица, четвертый брови и т.д., в общем 1 нейрон собирает некоторую совокупность сенсорной информации, которая периодически повторяется. Ее может содержать нейронный модуль, поле область или иная совокупность нейронов.И вспомнил тут. Сенсоры сетчатки и связи нейронов в затылочной области, куда приходит зрительный нерв, располодены точка в точку. Тоесть как на выходе так и на входе они расположены одинаково. Изображение идет в мозг 1 к 1 через вечь зрительный нерв, что дант основание предположить - в коре изображения (зрительной памяти) тоже расположены точка в точку, как на кинопленке. Физически, а не виртуально.
>>217305762>НахуяГораздо проще и быстрее будет работать, просто в разы.>ИПредставь мозг бога, который знает все, но не знает что правильно, а что нет, пока связи в равновесии.
Бампну тред. Жаль что этот тред появился под ночь. А то моя нейросеть уже вяло соображает и хочет спать. Так бы подискутировал.
>>217306422>Гораздо проще и быстрее будет работать, просто в разы.Если добавить лишних связей? Ты ебанутый? >>217306446>Тогда нахуй иди.Сам
>>217306277>Ее может содержать нейронный модуль, поле область или иная совокупность нейронов.То есть нейрон может хранить информацию где попало?
>>217306512Вот ты и спалился, я думал в чате два долбоёба, а нет, оказывается ты один. А про связи ты не заливай, статическая инс всегда будет быстрее динамической.
>>217306549Нейрон информацию не хранит. Представим что нейрон имеет на дендритах связи с аксонами других нейронов, своими весами кодирующие слово "вася", если посмотреть на эту ситуацию иначе, как если бы нейрон не связи имел на дендритах, а просто некую дендритную кодировку слова "вася", то можно сказать что он содержит эту информацию. Просто информация кодируется не только спайками, но еще и тем, куда именно прицепился аксон, к какому нейрону, к дендриту, соме или аксону. Так что нейрон содержит информацию тогда, когда есть с его дендритами связь других нейронов.
>>217307086Да я понял уже что тут полный тред самоучек с хабра которые наверное нахуй думают что вектор это стрелочка из начала координат, зря только распинался
>>217307212Ну и хули ты тут забыл? Уёбывай в свою песочницу, гусь ебаный! Нехуй тебе с нами неучами водиться. Пшел!
>>217307529Не поражайся, воображай. Есть бачек, в него идет 3 трубки с кранами, если бачек полный спабатывает слив. Трубки дают воду в бачек каждая по своей причине, а краны регулируют напор какая из причин важнее. Так если ты пописол то бачек набирается медленно из 1 трубки, если покакол то быстро из второй, если нарыгал то средне из третьей. Пришел ты пописол покакол хуяк полный бак и слив сработал автоматически. Информация это не вода в бачке, а причина по которой из трубы течет вода, просто совокупность взаимодействий.
>>217307714Интеллект мера количественная. Чем больше нейронов, чем больше у них связей, тем четче ты помнишь всё. Ты можешь попытаться возразить мол навык нужно развивать, чтобы что то понимать, это все хуйня, поскольку навык это и есть твоя память, понимание сути вещей в первую очередь зависит от того как много о этой вещи ты помнишь(знаешь).
>>217308044>понимание сути вещей в первую очередь зависит от того как много о этой вещи ты помнишь(знаешь).А как же интуиция?Просто способность быстро переносить на незнакомый объект свойства присущие ранее изученному?
>>217308098Дендритное дерево что-то хранит, но это частное и относится больше к конкретной связи. Опять же в ... Сука слово забыл. В нейрощели короче всего пара видов ионов (натрий с калием) прыгает, но она передаёт только заряд. Ион подходит, слаёт электрон и уходит. В данном случе дендритное древо как губка просто впитывает, ему позуй что впитать, один хуй это только электроны. Возможно одни рецепторы тормозят другие возбуждают но я так глубоко не копал. В любом случае, в нейроне ничего "особого" не колируется кроме интенсивности потенциала действия.
>>217308185Таже самая хуйня. Память не книга, интуиция не инструкция. Есть нейроны с сильными связями, есть со слабыми. Когда нейромедиатор не дает нейрону сделать спайк по сильной связи он может сработать по слабой. У маргиналов такая функция атрофируется - мало нейронов, мало связей, меньше сомнений, хуже интуиция. Та же хуйня у стариков, с той разницей, что у стариков больше устойчивых мощных связей между нейронами чем у маргиналов, это их опыт, это объясняет труднообучаемость дедов с бабками.
>>217307048синаптическая щель называется, и она не передает заряд, а твоя хуйня про губку просто неверна, у тебя есть граф - вся нейросетка, и его подграфы - деревья, связанные с отдельными нейронами, и, по-моему очевидно, конфигурация подграфов хранит инфу наравне с проводимостью синапсов
>>217308939И тебя не смущает абсолютная однонаправленность работы нейрона? Граф тут неуместен, он моделирует одно из возможных применений нейросети, упрощенно. Нейрон работает как воронка, собирает электроны через дендриты и выпускает их по аксону при достижении порога(не абсолютного, экспотенциального, но порога). Даже если рецепторы кодируют пару бит информации он спайке на входе, далеко не факт что это сильно влияет на спайк на выходе.
>>217309191пчел, ты хуйню несешь, открой какой-нибудь учебник по нейрофизиологии что ли хотя б, а еще глянь, что такое граф
>>217308939Не, понятно, что конфигурация графа кодирует информаци, если ты подразумеваешь направление связей, то именно конфигурация кодирует большую ее часть, я бы даже назвал конфигурацию объективной частью описывающей объект например перед глазами, а потенциал субъективной, описывающей свойства этого объекта аля нужно/ненужно.
>>217309303В учебнике по нейрофизиологии нет теории графов. Теория графов есть в учебнике по терии графов и это кибернетика, а не нейрофизиология. Пшел нахуй!
>>217309437>потенциал субъективнойПотенциал - электрическое свойство сети, не более того, его частота кодирует только интенсивность сигнала.>>217309511тебя не смутила конъюнкция "а еще", дурачок?
>>217309742Мне похую, я хочу и ухожу спать, а ты не сопротивляйся и топай нахуй. Возвращайся, когда перестанешь кукарекать шаблонными фразочками типа "открой учебник", без объяснения причины пренебежения результатом моих изысканий.
>>217309960>пренебежения результатом моих изысканий.лол, изыскания ебаного аутиста с двача, звучит неплохо, и каким результатом, ты ни одного результата не высрал, дауненок
У меня начинает складыватся впечатление, что годы исследований и построения моделей ИНС прошли для человечества практически впустую, как говорится - что русскому хорошо то немцу харам. Зачем пытатся строить по архитектуре биоНС модели, когда эта архитектура заточена кем бы то ни было на применение в БИО хардваре. А если у нас в руках есть процессоры с чуждой этому развитию архитектурой, то и модели НС должны быть построены иначе, не в попытке приближения к био-аналогам, а как то иначе, хз
>>217310078>ЛолМаркер долбоёба. Видишь человека употребившего сочетание трех букв "лол" знай, перед тобой долбоёб. Ему уже ни что не поможет стать полноценным человеком. Всё, что ты можеш для него сделать это пристрелить его из жалости.
>>217310173Потому что эта система больно эффективна. Вот и пытаются подражать, чтобы добиться подобного Ну это я так думаю
>>217310355Нужно срочно, прямо сейчас и прямо в этом треде придумать новую модель узла нейрона для компьютерного имитатора нейронной сети. Придумайте плиз, я пока чай налью схожу
>>217301315 (OP)Любопытно мнение анона на счет связи нейросетей и сознания.Только что родилась теория, исходя из следующих гипотез (вероятно некоторые из них лишь моя выдумка, которая кажется мне более-менее правильной):1) Человеческий организм имеет множество нервных окончаний, которые передают сигналы на определеныне нейроны;2) В результате работы нейронной сети головного мозга сигналами, поступающими в БОЛЬШОМ количестве от нейронов формируется обратная связь - движение мышц и т.д.;3) Движения мышц, тактильные ощущения и т.д. в свою очередь генерируют новые сигналы цикл продолжается, думаю все представляют, как это работает;4) На более низких уровнях нервной системы (в первую очередь рептильный мозг, мб что-то еще есть ниже) генетически зашиты некие АЛГОРИТМЫ, которым нейросеть мозга обучать не надо, они передались нам генетически: чувствуешь голод - скоро умрешь - плачь, суй в рот всё подряд, перемещайся, испытываешь страх - беги;5) Человеский младенец рождается с уже готовой аппаратной частью в виде мозга с миллиардом нейронов и телом, содержащим сколько-то "двусторонних" нервных окончаний (для отправки сигналов, и для выполнения исходящих от мозга команд);6) Руководствуясь базовыми алгоритмами из п.4 младенец начинает познавать мир, теребя ручками, зыркая глазами, слушая ушами, пробуя языком все подряд, обучает свою нейросеть, и в результате, потихоньку, нейросеть накапливает информацию, что оболочка, в которой она находится отделена от всего остального мира, и только этой оболочкой она напрямую руководит. Примерно в этот момент возникает (гипотетически) самосознание.ВНИМАНИЕ ВОПРОС: как думаете, может ли самосознание возникнуть в искуственной реализации подобных тезисов?Берем робота из бостон дайнамикс, облепляем всю его поверхность датчиками, к конечностям так же присоединям провода. Эти "нервные окончания" все направляем в нейросеть состоящую минимум из двух уровней - на более низком уровне закладываем базовые алгоритмы нейросети, необходимые дял выживания и размножения особи: ищи розетку, ученого или любые другие гипозеты, которые придут в голову. Более высокий уровень (лимбический + неокортекс) оставляем плюс минус чистыми. Саму нейросеть реализуем или аппаратно, или программно (видимо в распределенной системе типа FOLD или SETI или майнинг крипты).Может ли в такой системе, если мы сможем ее смоделировать достаточно правдоподобно, КОЛИЧЕСТВО (нейронов, связей и сигналов) перейти в КАЧЕСТВО (сознание)?
>>217312601>Саму нейросеть реализуем или аппаратно, или программноДаже мне, нафане, ясно что программно нихуя не выйдетЕсли ты смог програмно смоделировать подобную сеть, то смоделировать внешнее окружение и имитацию сигналов от датчиков не проблема будетА если аппаратно, то пока что, видимо, надо грузить это все не в робота бостон динамикс, а в карьерный самосвал, как минимум
>>217301315 (OP)м а т е м а т и к аЛинейная алгебраАнализДалее python 3 (синтаксис/ооп)Далее numpyДалее структура нейросетей(функции активации/ методы обучения/ функции ошибок)Далее pytorch/keras/tensorflowДалее пишешь модели, кайфуешь
>>217312764Свойства объекта зависят от вида взаимодействия объекта и субъекта, например: если на яблоко смотреть — оно имеет цвет и форму; если его откусить — имеет твёрдость и вкус; если его взвешивать — имеет вес; если оценивать его габариты — имеет размеры, если трогать — имеет шероховатость. Объект является своими свойствами не только субъекту, но и другим объектам, то есть свойства могут проявляться и в ходе взаимодействия объектов друг с другом.Мне нужно свойства взаимодействия объектов друг с другом. Как ты это узловое свойство обеспечишь в самой сети?
>>217313229>Свойства объекта зависят от вида взаимодействия объекта и субъектаКакой, нахуй, субъект, наркоман? Все, тобою написанное, можно задать в самой сети.>Мне нужно свойства взаимодействия объектов друг с другомПричем здесь узлы и сеть вообще? Сука, иди нахуй, еблан.
>>217312846Если завтра тред будет жив или перекачен попробую порассуждать на эту тему а заодно и говнорасчеты какие-нибудь произвести.
