Развиваем психофизиологию

Автор talash, июня 07, 2019, 19:02:38

« назад - далее »

talash

Цитата: talash от октября 17, 2019, 19:12:05
Введём условные обозначения:

ПБР - подкрепляющий безусловный рефлекс.

Теперь самое интересное, что выяснил. Я задумался, как может работать отрицательный ПБР? С положительным в общем понятно, сработал ПБР, выделился гормон, и следы раздражений, то есть последнее поведение организма, записались из оперативной в кратковременную память. Но в случае срабатывания отрицательного ПБР, записывается поведение, которое производится после, а не до. Как это может работать?

Я работаю программистом и с точки зрения моей профессии в этой задаче нет ничего сложного. Однако, как я множество раз убеждался, Природа - не программист, она всегда находит самые простые решения.

И я кажется его нашёл. Отрицательный ПБР срабатывает обычно на болевое раздражение. И здесь, как и при положительном ПБР, выделяются точно такие же гормоны, но они не работают пока существует болевое раздражение! Но как только болевое раздражение уходит, они начинают работать и в кратковременную память записывается поведение, которое привело к избеганию боли.

Отсюда становятся понятны многие наблюдения за поведением людей. Например, почему они любят аттракционы, где кратковременный сильный страх, сменяется удовольствием от выделившихся гормонов. И другое.

Что у нас получается.

Подкрепляющий безусловный рефлекс (ПБР) или подкрепление - это реакция организма, сопровождающаяся выделением специальных химических веществ, под действием которых, следы раздражений, содержащиеся в оперативной памяти, сохраняются в кратковременную память.

Предсказательная сила модели. Как видно из цитаты, идея, что срабатывание отрицательного ПБР (например, вследствие болевого раздражения) должно приводить к выделению той же химии, что и при положительном ПБР (например, вследствие приёма еды), родилась из логического принципа Оккама - не плодить лишние сущности. А теперь заглянем в вики:

ЦитироватьВыработка эндорфинов увеличивается в ответ на стресс, — как защитная реакция, с целью обеспечения физиологического выхода из стресса, то есть без срыва адаптации и без формирования постстрессорных нарушений и заболеваний[3]. В 1988 году впервые была сформулирована подтвердившаяся впоследствии гипотеза о так называемых стресс-лимитирующих системах организма, которые задействуются при активации внешних и внутренних стресс-факторов. Ключевой стресс-лимитирующей системой является опиоидная система[4]. Также увеличение выработки эндорфинов приводит к снижению болевых ощущений.

Было установлено, что эндорфины выделяются у лабораторных животных, подвергающихся периодическим электрическим ударам в металлической клетке, иммобилизационному или холодовому стрессу.

И убедимся, что механизм выработки эндорфинов при отрицательном ПБР есть известный факт. Таким образом, несмотря на то, что факт уже известен, мы предсказали его теоретически из модели, что свидетельствует в пользу её истинности. Более того, мы пришли к другому пониманию этого явления, что эндорфины выделяются не для "лимитации стресса", а для запоминания поведения, которое устранит боль. Это понимание, если оно верно, при развитии модели, приведёт к дальнейшим точным практическим предсказаниям.

Alexeyy

Предполагаю, что павловская концепция рефлексов совсем не исключает объяснение работы и нейронных сетей и мышления как ответ на внешний раздражитель, если под раздражителем понимать, вообще говоря, не такого примитивного уровня раздражители типа звон колокольчика (на который выделяется желудочный сок собаки), а более комплексные раздражители концептного уровня. Например, «добро», «справедливость», «счастье», «агрессия» и т. д. и т. п. до «бесконечности». Например, если человеку будут все окружающие гадить, но каждый раз по своему, то не будет однотипным действием типа звонка колокольчика: события каждый раз могут быть очень разные в этом плане. Но на более концептуальном уровни их можно рассматривать как одинаковые.  И у человека выработается тот же условный рефлекс – настороженность/недоверие ко всем людям.
  Но, думаю, что в такой терминологии (рефлексов) описать процесс конкретного проявления мышления, в большинстве случаев, сейчас, практически, не реально из-за огромной его сейчас для нас сложности. И удаётся понять лишь в каких-то примитивных случаях типа приведённого примера с колокольчиком. Думаю, поэтому, так (в терминологии рефлексов) особо никто и не описывает процесс мышление, а не потому, что павловская концепция не верна.
  Точно так же как никто не берёт уравнение Шредингера и не начинает вычислять, с помощью него, поведение миллиардов миллиардов частиц сплошной среды для предсказания её движения. Не потому, что уравнение Шредингера не верно, а потому, что это была бы не реально сложная задача. Но по мере развития математики и вычислительной техники число частиц, описываемых этим уравнением, увеличивается.
  Так и, думаю, с павловскими рефлексами: они ещё будут находить своё применение для объяснения процесса мышления по мере улучшения понимания соответствующих процессов. Хотя, далёк от того, чтобы сводить весь процесс мышления только к рефлексам: природа всегда сложнее и разнообразнее любой объяснительной концепции какой бы прекрасной она не была.

talash

Цитата: talash от октября 17, 2019, 19:12:05
Введём условные обозначения:

ПБР - подкрепляющий безусловный рефлекс.

Теперь самое интересное, что выяснил. Я задумался, как может работать отрицательный ПБР? С положительным в общем понятно, сработал ПБР, выделился гормон, и следы раздражений, то есть последнее поведение организма, записались из оперативной в кратковременную память. Но в случае срабатывания отрицательного ПБР, записывается поведение, которое производится после, а не до. Как это может работать?

Я работаю программистом и с точки зрения моей профессии в этой задаче нет ничего сложного. Однако, как я множество раз убеждался, Природа - не программист, она всегда находит самые простые решения.

И я кажется его нашёл. Отрицательный ПБР срабатывает обычно на болевое раздражение. И здесь, как и при положительном ПБР, выделяются точно такие же гормоны, но они не работают пока существует болевое раздражение! Но как только болевое раздражение уходит, они начинают работать и в кратковременную память записывается поведение, которое привело к избеганию боли.

Отсюда становятся понятны многие наблюдения за поведением людей. Например, почему они любят аттракционы, где кратковременный сильный страх, сменяется удовольствием от выделившихся гормонов. И другое.

Прогоняю гипотезу через множество примеров из жизни и не вполне доволен результатами.

Предложу также альтернативную гипотезу. Она тоже несложная, но почему-то сразу в голову не пришла.

При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения приведшего к устранению боли.

Ещё нужно уточнить схему образования условных рефлексов под действием отрицательных ПБР. Простая аналогия как при действии положительных ПБР тут не работает. Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.

В результате мы получим модель, разработанную достаточно, чтобы перейти к компьютерному моделированию нервной деятельности.

talash

Цитата: talash от октября 29, 2019, 19:25:55Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.

Пытался придумать простую схему наследования ПБР. Простую, но в тоже время достаточно подробную для начала разработки компьютерной модели. Думал, думал, что-то придумал, но пока это меня не устраивает.

Однако, эту задачу можно отложить. На первом этапе обойдёмся без наследования рефлексов. Наш компьютерный организм разможаться не будет, главное, у него должно работать обучение.

Остановимся пока на этой гипотезе работы отрицательного ПБР:
Цитата: talash от октября 29, 2019, 19:25:55
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения, приведшего к устранению боли.

Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Alexeyy

Да, может быть, Вы (одновременно) находитесь и на пути усовершенствования искусственного интеллекта?

talash

Цитата: ArefievPV от октября 29, 2019, 19:48:18
Цитата: kostik от октября 25, 2019, 15:32:29
Им бы следовало на постоянной основе  читать ваши сообщения и конспектировать.
Вот не удержался - опять, получается, что Вы правы оказались... ???
Не на постоянной основе и не конспектировать, но читать-то, возможно, стоило бы... ::)

Человек пишет:
Цитата: talash от октября 29, 2019, 19:25:55
Предложу также альтернативную гипотезу. Она тоже несложная, но почему-то сразу в голову не пришла.

При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения приведшего к устранению боли.

Ещё нужно уточнить схему образования условных рефлексов под действием отрицательных ПБР. Простая аналогия как при действии положительных ПБР тут не работает. Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.
А ведь я совсем недавно размещал лекцию Дубынина (небольшой навигатор к лекции ещё сделал в дополнение) - и там полный расклад в популярной форме про боль:
https://paleoforum.ru/index.php/topic,8969.msg233847.html#msg233847
Цитата: ArefievPV от октября 03, 2019, 15:01:10
Мозг, боль, анальгетики
https://elementy.ru/video/539/Mozg_bol_analgetiki

Спасибо за наводку. Посмотрел.

Судя по стилистике, Арефьев не понимает, что психофизиология изучает более высокий иерархический уровень организации нервной системы. И как бы хорошо я не знал нейрофизиологию, автоматическое понимание психофизиологии это не даст.

Там не было ничего про:
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов.

Значит ли это, что такого нет? Нет конечно, не значит. Как тогда работает отрицательное подкрепление на нейрофизиологическом уровне? Этот вопрос пока не прояснён, вот когда его изучат, тогда и посмотрим. А я эту гипотезу придумал исключительно из своей психофизиологической модели. И это есть одно из многих предсказаний, которые могут быть проверены практически. А у Арефьева таковых вовсе нет.

talash

Цитата: ArefievPV от октября 03, 2019, 15:01:10
Мозг, боль, анальгетики
https://elementy.ru/video/539/Mozg_bol_analgetiki

В ролике говорится, что эндорфины блокируют передачу болевых сигналов в мозг. Спрашивается, а зачем? Там не объясняется. Моя гипотеза:

Цитата: talash от октября 13, 2019, 13:46:42
3. Механизм действия.

Срабатывание положительного (или отрицательного upd 10.11.2019)  безусловного подкрепляющего рефлекса означает выделение неких веществ (возможно эндогенных опиатов), под действием которых происходит запоминание следов текущих раздражений, находящихся в оперативной памяти, в кратковременную память. Это есть механизм образования условных рефлексов.

И вот, чтобы не мешать процессу запоминания, текущие болевые раздражения ослабляются, а при сильном БПР и вовсе блокируются.

talash

Уточняем задачу. Начало:

Цитата: talash от ноября 03, 2019, 19:31:17
Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Определения:

Подкрепляющий безусловный рефлекс (ПБР) или подкрепление - это реакция организма, сопровождающаяся выделением специальных химических веществ, под действием которых, следы раздражений, содержащиеся в оперативной памяти, сохраняются в кратковременную память, то есть образуется условный рефлекс.

Определение короткое, но задача по моделированию условных рефлексов на клеточном уровне - непростая. При отсутствии подкрепления, начинает работать другой нервный процесс - торможение.  Вот примерное описание, как при помощи раздражений и торможений получаются условные рефлексы:
https://paleoforum.ru/index.php/topic,10942.msg228422.html#msg228422
https://paleoforum.ru/index.php/topic,10942.msg231300.html#msg231300

Срабатывание положительного ПБР означает возбуждение соответсвующей нервной клетки, ответственной за выделение эндорфинов. Далее под действием последних происходит процесс запоминания (образование условного рефлекса)

Отрицательный ПБР работает так:
Цитата: talash от октября 29, 2019, 19:25:55
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения, приведшего к устранению боли.

Нам конечно же не нужно моделировать движение эндорфинов на клеточном уровне. Моделируем только нейроны, а эндорфины будут влиять на некоторые их параметры.

talash

Цитата: talash от ноября 03, 2019, 19:31:17
Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Написал письмо Андрею Белкину, автору вышеупомянутого проекта. Я с ним ранее уже списывался, личную переписку конечно не буду выкладывать, но своё письмо хочу опубликовать, может ещё кто-то захочет присоединиться к теме:

ЦитироватьЗдравствуйте, Андрей! Не выходит Ваших статей на хабре. Не хотите ли вернуться к моделированию нервной системы? Жалко будет потерять такую уникальную и перспективную разработку. Я изучил тему, никто даже не пытается заниматься «психофизиологическим уровнем».

Я долго не писал, во-первых работа, во-вторых некоторыми другими темами занимался. Теперь хочу в свободное от работы время заниматься темой моделирования нервной системы. К тому же скопил денег и если работа в очередной раз закончится, то возьму отпуск и посвящу его этой интереснейшей задаче.

Так что предлагаю Вам сотрудничество. Я специалист по С++, в том числе серверные разработки. Немного владею Unreal Engine 4. Мозгом интересуюсь очень давно, но в основном люблю почитать и подумать, моделировать не пробовал.

Меня интересует развитие Вашей модели, чтобы она поддерживала обучение, то есть создание условных рефлексов. Что думаете об этом? В каком направлении хотите двигаться?

ЗЫ вот его головастик:

https://www.youtube.com/watch?v=MDsP-KNN5AE

talash

#84
ЦитироватьРефлексы свободы по И.П. Павлову

Термины введёны в научной школе  И.П. Павлова. «...рефлекс свободы есть общее свойство, общая реакция животных, один из важнейших прирождённых рефлексов. Не будь его, всякое малейшее препятствие, которое встречало бы животное на своем пути, совершенно прерывало бы течение его жизни.

Источник: https://vikent.ru/enc/471/

Это текст из доклада 1917 года. Как известно, после опытов Студенцова 1922-года и реакции на них околонаучной общественности, Павлов прекратил разработку своей модели в области безусловных рефлексов.

Мы же продолжаем. "Рефлекс свободы" на мой взгляд не очень удачное название для феномена, слишком художественное, но пока оставим его. Переведём художественное описание в научное:

Рефлекс свободы - болевое раздражение при прерывании динамического стереотипа. При этом, в случае возобновления стереотипа, болевое раздражение исчезает.

Так работает отрицательное подкрепление на поддержание стереотипа. Если из-за внешних причин стереотип прерывается, но животное своей активностью возобновляет стереотип, то эта активность запоминается и динамический стереотип расширяется.

ЦитироватьВ заключение мы ещё раз настаиваем на необходимости описания и перечня элементарных прирожденных рефлексов, для того чтобы постепенно разобраться во всем поведении животного. Без этого, оставаясь в области общеупотребительных, но мало поучительных понятий и слов: «животное привыкло, отвыкло, вспомнило, позабыло» и т. д., мы никогда не подвинемся в научном изучении сложной деятельности животного. Нет никакого сомнения, что систематическое изучение фонда прирожденных реакций животного чрезвычайно будет способствовать пониманию нас самих и развитию в нас способности к личному самоуправлению.

Источник: https://vikent.ru/enc/471/

Ну и где эта классификация прирожденных рефлексов? Риторический вопрос к господину Павлову.

василий андреевич

Цитата: talash от ноября 28, 2019, 18:14:16Рефлекс свободы - болевое раздражение при прерывании динамического стереотипа. При этом, в случае возобновления стереотипа, болевое раздражение исчезает.
На мой взгляд, правильный подход.
  Но я бы попробовал наряду с "болевым раздражением", как причинности, поставить "эмоциональное раздражение", как следствие прерывания стереотипа. Тогда при повторном прерывании выработается "инстинктивная" реакция избавления.

talash

Цитата: василий андреевич от ноября 29, 2019, 17:19:30
  На мой взгляд, правильный подход.
  Но я бы попробовал наряду с "болевым раздражением", как причинности, поставить "эмоциональное раздражение", как следствие прерывания стереотипа. Тогда при повторном прерывании выработается "инстинктивная" реакция избавления.

Не знаю, что такое "эмоциональное раздражение" с научной точки зрения. Я речь веду про ноцицепцию.

talash

Несколько дней проверял свою гипотезу отрицательного подкрепления, пытаясь объяснить через неё различные явления. Кое-что объяснить не удалось и пришлось её усовершенствовать.

Итак. В нервной системе существует два вида болевых нейронов. Оба вида возбуждаются при болевом раздражении и копят "потенциал удовольствия". При этом, простой болевой нейрон разряжается (высвобождает накопленный потенциал удовольствия) при снятии болевого раздражения. Другой вид болевых нейронов разряжается при поступлении специального сигнала. Назовём эти клетки болевые нейроны с условной разрядкой.

Теперь, "рефлекс свободы" работает следующим образом. Например, собака бежит есть мясо, первый этап динамического стереотипа - подбежать, второй - съесть. Между первым и вторым этапом возникло препятствие. Прерывание динамического стереотипа означает, что возбуждение группы нейронов, ответственных за первый этап стереотипа не передаётся дальше на нейроны следующего этапа. Вместо этого, это возбуждение идёт в болевые нейроны и там копится потенциал удовольствия. В случае, если преграда не может быть преодолена и животное через какое-то время меняет поведение (переходит к другому стереотипу, например, отдыху), то болевое раздражение проходит, но болевые нейроны не разряжаются. То есть, в этом механизме участвуют болевые нейроны с условной разрядкой. Она происходит только в случае если снова запустить прерванный этап стереотипа и удачно перейти на следующий этап.

Максет

Цитата: talash от декабря 04, 2019, 01:18:48
Теперь, "рефлекс свободы" работает следующим образом. Например, собака бежит есть мясо, первый этап динамического стереотипа - подбежать, второй - съесть. Между первым и вторым этапом возникло препятствие. Прерывание динамического стереотипа означает, что возбуждение группы нейронов, ответственных за первый этап стереотипа не передаётся дальше на нейроны следующего этапа. Вместо этого, это возбуждение идёт в болевые нейроны и там копится потенциал удовольствия. В случае, если преграда не может быть преодолена и животное через какое-то время меняет поведение (переходит к другому стереотипу, например, отдыху), то болевое раздражение проходит, но болевые нейроны не разряжаются. То есть, в этом механизме участвуют болевые нейроны с условной разрядкой. Она происходит только в случае если снова запустить прерванный этап стереотипа и удачно перейти на следующий этап.
По-моему, хромает логика.
Вы утверждаете, что поскольку второй этап не наступает, то возбуждение от нейронов первого этапа не передается к нейронам второго этапа для разрядки, а передается к болевым нейронам, где копится ожидая разрядки.
А разрядка возбуждения наступит, если собаке все же удастся преодолеть препятствие и съесть мясо.
То есть, по-Вашему выходит, что второй этап – съесть мясо, есть следствие первого этапа – подбежать. Это видно от прослеживания последовательности пути возбуждения нейронов от первого этапа ко второму этапу.

На самом деле все обстоит ровно наоборот:
Сначала возбуждаются нейроны второго этапа – съесть мясо, потому что собака почувствовала запах мяса, и только потом запускаются нейроны первого этапа – подбежать, чтобы съесть это мясо.
Если возникнет препятствие, то возбуждение предается и к другим нейронам, ответственным за преодоление препятствия – например, перепрыгнуть.
Если же преграда окажется непреодолимой, то собака после безуспешных попыток преодоления, уйдет в поисках другого мяса.

василий андреевич

Цитата: talash от декабря 04, 2019, 00:48:59Я речь веду про ноцицепцию.
Она обязательно сопровождается поведенческим действием, или, по-иному, "эмоциональным раздражением".