Автор Тема: Развиваем психофизиологию  (Прочитано 9092 раз)

0 Пользователей и 3 Гостей просматривают эту тему.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #75 : Октябрь 27, 2019, 14:00:32 »
Введём условные обозначения:

ПБР - подкрепляющий безусловный рефлекс.

Теперь самое интересное, что выяснил. Я задумался, как может работать отрицательный ПБР? С положительным в общем понятно, сработал ПБР, выделился гормон, и следы раздражений, то есть последнее поведение организма, записались из оперативной в кратковременную память. Но в случае срабатывания отрицательного ПБР, записывается поведение, которое производится после, а не до. Как это может работать?

Я работаю программистом и с точки зрения моей профессии в этой задаче нет ничего сложного. Однако, как я множество раз убеждался, Природа - не программист, она всегда находит самые простые решения.

И я кажется его нашёл. Отрицательный ПБР срабатывает обычно на болевое раздражение. И здесь, как и при положительном ПБР, выделяются точно такие же гормоны, но они не работают пока существует болевое раздражение! Но как только болевое раздражение уходит, они начинают работать и в кратковременную память записывается поведение, которое привело к избеганию боли.

Отсюда становятся понятны многие наблюдения за поведением людей. Например, почему они любят аттракционы, где кратковременный сильный страх, сменяется удовольствием от выделившихся гормонов. И другое.

Что у нас получается.

Подкрепляющий безусловный рефлекс (ПБР) или подкрепление - это реакция организма, сопровождающаяся выделением специальных химических веществ, под действием которых, следы раздражений, содержащиеся в оперативной памяти, сохраняются в кратковременную память.

Предсказательная сила модели. Как видно из цитаты, идея, что срабатывание отрицательного ПБР (например, вследствие болевого раздражения) должно приводить к выделению той же химии, что и при положительном ПБР (например, вследствие приёма еды), родилась из логического принципа Оккама - не плодить лишние сущности. А теперь заглянем в вики:

Цитировать
Выработка эндорфинов увеличивается в ответ на стресс, — как защитная реакция, с целью обеспечения физиологического выхода из стресса, то есть без срыва адаптации и без формирования постстрессорных нарушений и заболеваний[3]. В 1988 году впервые была сформулирована подтвердившаяся впоследствии гипотеза о так называемых стресс-лимитирующих системах организма, которые задействуются при активации внешних и внутренних стресс-факторов. Ключевой стресс-лимитирующей системой является опиоидная система[4]. Также увеличение выработки эндорфинов приводит к снижению болевых ощущений.

Было установлено, что эндорфины выделяются у лабораторных животных, подвергающихся периодическим электрическим ударам в металлической клетке, иммобилизационному или холодовому стрессу.

И убедимся, что механизм выработки эндорфинов при отрицательном ПБР есть известный факт. Таким образом, несмотря на то, что факт уже известен, мы предсказали его теоретически из модели, что свидетельствует в пользу её истинности. Более того, мы пришли к другому пониманию этого явления, что эндорфины выделяются не для "лимитации стресса", а для запоминания поведения, которое устранит боль. Это понимание, если оно верно, при развитии модели, приведёт к дальнейшим точным практическим предсказаниям.

Оффлайн Alexeyy

  • Участник форума
  • Сообщений: 2095
    • Просмотр профиля
Re: Развиваем психофизиологию
« Ответ #76 : Октябрь 27, 2019, 15:47:22 »
Предполагаю, что павловская концепция рефлексов совсем не исключает объяснение работы и нейронных сетей и мышления как ответ на внешний раздражитель, если под раздражителем понимать, вообще говоря, не такого примитивного уровня раздражители типа звон колокольчика (на который выделяется желудочный сок собаки), а более комплексные раздражители концептного уровня. Например, «добро», «справедливость», «счастье», «агрессия» и т. д. и т. п. до «бесконечности». Например, если человеку будут все окружающие гадить, но каждый раз по своему, то не будет однотипным действием типа звонка колокольчика: события каждый раз могут быть очень разные в этом плане. Но на более концептуальном уровни их можно рассматривать как одинаковые.  И у человека выработается тот же условный рефлекс – настороженность/недоверие ко всем людям.
  Но, думаю, что в такой терминологии (рефлексов) описать процесс конкретного проявления мышления, в большинстве случаев, сейчас, практически, не реально из-за огромной его сейчас для нас сложности. И удаётся понять лишь в каких-то примитивных случаях типа приведённого примера с колокольчиком. Думаю, поэтому, так (в терминологии рефлексов) особо никто и не описывает процесс мышление, а не потому, что павловская концепция не верна.
  Точно так же как никто не берёт уравнение Шредингера и не начинает вычислять, с помощью него, поведение миллиардов миллиардов частиц сплошной среды для предсказания её движения. Не потому, что уравнение Шредингера не верно, а потому, что это была бы не реально сложная задача. Но по мере развития математики и вычислительной техники число частиц, описываемых этим уравнением, увеличивается.
  Так и, думаю, с павловскими рефлексами: они ещё будут находить своё применение для объяснения процесса мышления по мере улучшения понимания соответствующих процессов. Хотя, далёк от того, чтобы сводить весь процесс мышления только к рефлексам: природа всегда сложнее и разнообразнее любой объяснительной концепции какой бы прекрасной она не была.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #77 : Октябрь 29, 2019, 19:25:55 »
Введём условные обозначения:

ПБР - подкрепляющий безусловный рефлекс.

Теперь самое интересное, что выяснил. Я задумался, как может работать отрицательный ПБР? С положительным в общем понятно, сработал ПБР, выделился гормон, и следы раздражений, то есть последнее поведение организма, записались из оперативной в кратковременную память. Но в случае срабатывания отрицательного ПБР, записывается поведение, которое производится после, а не до. Как это может работать?

Я работаю программистом и с точки зрения моей профессии в этой задаче нет ничего сложного. Однако, как я множество раз убеждался, Природа - не программист, она всегда находит самые простые решения.

И я кажется его нашёл. Отрицательный ПБР срабатывает обычно на болевое раздражение. И здесь, как и при положительном ПБР, выделяются точно такие же гормоны, но они не работают пока существует болевое раздражение! Но как только болевое раздражение уходит, они начинают работать и в кратковременную память записывается поведение, которое привело к избеганию боли.

Отсюда становятся понятны многие наблюдения за поведением людей. Например, почему они любят аттракционы, где кратковременный сильный страх, сменяется удовольствием от выделившихся гормонов. И другое.

Прогоняю гипотезу через множество примеров из жизни и не вполне доволен результатами.

Предложу также альтернативную гипотезу. Она тоже несложная, но почему-то сразу в голову не пришла.

При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения приведшего к устранению боли.

Ещё нужно уточнить схему образования условных рефлексов под действием отрицательных ПБР. Простая аналогия как при действии положительных ПБР тут не работает. Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.

В результате мы получим модель, разработанную достаточно, чтобы перейти к компьютерному моделированию нервной деятельности.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #78 : Ноябрь 03, 2019, 19:31:17 »
Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.

Пытался придумать простую схему наследования ПБР. Простую, но в тоже время достаточно подробную для начала разработки компьютерной модели. Думал, думал, что-то придумал, но пока это меня не устраивает.

Однако, эту задачу можно отложить. На первом этапе обойдёмся без наследования рефлексов. Наш компьютерный организм разможаться не будет, главное, у него должно работать обучение.

Остановимся пока на этой гипотезе работы отрицательного ПБР:
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения, приведшего к устранению боли.

Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Оффлайн Alexeyy

  • Участник форума
  • Сообщений: 2095
    • Просмотр профиля
Re: Развиваем психофизиологию
« Ответ #79 : Ноябрь 04, 2019, 08:09:04 »
Да, может быть, Вы (одновременно) находитесь и на пути усовершенствования искусственного интеллекта?

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #80 : Ноябрь 10, 2019, 11:21:20 »
Им бы следовало на постоянной основе  читать ваши сообщения и конспектировать.
Вот не удержался - опять, получается, что Вы правы оказались... ???
Не на постоянной основе и не конспектировать, но читать-то, возможно, стоило бы... ::)

Человек пишет:
Предложу также альтернативную гипотезу. Она тоже несложная, но почему-то сразу в голову не пришла.

При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения приведшего к устранению боли.

Ещё нужно уточнить схему образования условных рефлексов под действием отрицательных ПБР. Простая аналогия как при действии положительных ПБР тут не работает. Далее также нужно уточнить как образуются новые отрицательные ПБР и как они передаются по наследству.
А ведь я совсем недавно размещал лекцию Дубынина (небольшой навигатор к лекции ещё сделал в дополнение) - и там полный расклад в популярной форме про боль:
https://paleoforum.ru/index.php/topic,8969.msg233847.html#msg233847
Мозг, боль, анальгетики
https://elementy.ru/video/539/Mozg_bol_analgetiki

Спасибо за наводку. Посмотрел.

Судя по стилистике, Арефьев не понимает, что психофизиология изучает более высокий иерархический уровень организации нервной системы. И как бы хорошо я не знал нейрофизиологию, автоматическое понимание психофизиологии это не даст.

Там не было ничего про:
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов.

Значит ли это, что такого нет? Нет конечно, не значит. Как тогда работает отрицательное подкрепление на нейрофизиологическом уровне? Этот вопрос пока не прояснён, вот когда его изучат, тогда и посмотрим. А я эту гипотезу придумал исключительно из своей психофизиологической модели. И это есть одно из многих предсказаний, которые могут быть проверены практически. А у Арефьева таковых вовсе нет.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #81 : Ноябрь 10, 2019, 15:08:19 »
Мозг, боль, анальгетики
https://elementy.ru/video/539/Mozg_bol_analgetiki

В ролике говорится, что эндорфины блокируют передачу болевых сигналов в мозг. Спрашивается, а зачем? Там не объясняется. Моя гипотеза:

3. Механизм действия.

Срабатывание положительного (или отрицательного upd 10.11.2019)  безусловного подкрепляющего рефлекса означает выделение неких веществ (возможно эндогенных опиатов), под действием которых происходит запоминание следов текущих раздражений, находящихся в оперативной памяти, в кратковременную память. Это есть механизм образования условных рефлексов.

И вот, чтобы не мешать процессу запоминания, текущие болевые раздражения ослабляются, а при сильном БПР и вовсе блокируются.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #82 : Ноябрь 15, 2019, 19:39:35 »
Уточняем задачу. Начало:

Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Определения:

Подкрепляющий безусловный рефлекс (ПБР) или подкрепление - это реакция организма, сопровождающаяся выделением специальных химических веществ, под действием которых, следы раздражений, содержащиеся в оперативной памяти, сохраняются в кратковременную память, то есть образуется условный рефлекс.

Определение короткое, но задача по моделированию условных рефлексов на клеточном уровне - непростая. При отсутствии подкрепления, начинает работать другой нервный процесс - торможение.  Вот примерное описание, как при помощи раздражений и торможений получаются условные рефлексы:
https://paleoforum.ru/index.php/topic,10942.msg228422.html#msg228422
https://paleoforum.ru/index.php/topic,10942.msg231300.html#msg231300

Срабатывание положительного ПБР означает возбуждение соответсвующей нервной клетки, ответственной за выделение эндорфинов. Далее под действием последних происходит процесс запоминания (образование условного рефлекса)

Отрицательный ПБР работает так:
При болевом раздражении в нервной клетке копится некий потенциал и когда боль исчезает, то происходит генерация соответствующего количества эндорфинов. Далее под их действием происходит запоминание поведения, приведшего к устранению боли.

Нам конечно же не нужно моделировать движение эндорфинов на клеточном уровне. Моделируем только нейроны, а эндорфины будут влиять на некоторые их параметры.

Оффлайн talash

  • Участник форума
  • Сообщений: 1583
    • Просмотр профиля
    • неленивый сайт
Re: Развиваем психофизиологию
« Ответ #83 : Сегодня в 00:36:12 »
Будем пользоваться любительскими наработками вот отсюда
Там открытый код и есть видимые успехи в моделировании. Однако, там у организма, головастика, нету обучения. Наша задача усовершенствовать модель, добавить в неё подкрепляющие безусловные рефлексы (ПБР), чтобы организм мог обучаться.

Написал письмо Андрею Белкину, автору вышеупомянутого проекта. Я с ним ранее уже списывался, личную переписку конечно не буду выкладывать, но своё письмо хочу опубликовать, может ещё кто-то захочет присоединиться к теме:

Цитировать
Здравствуйте, Андрей! Не выходит Ваших статей на хабре. Не хотите ли вернуться к моделированию нервной системы? Жалко будет потерять такую уникальную и перспективную разработку. Я изучил тему, никто даже не пытается заниматься «психофизиологическим уровнем».
 
Я долго не писал, во-первых работа, во-вторых некоторыми другими темами занимался. Теперь хочу в свободное от работы время заниматься темой моделирования нервной системы. К тому же скопил денег и если работа в очередной раз закончится, то возьму отпуск и посвящу его этой интереснейшей задаче.
 
Так что предлагаю Вам сотрудничество. Я специалист по С++, в том числе серверные разработки. Немного владею Unreal Engine 4. Мозгом интересуюсь очень давно, но в основном люблю почитать и подумать, моделировать не пробовал.
 
Меня интересует развитие Вашей модели, чтобы она поддерживала обучение, то есть создание условных рефлексов. Что думаете об этом? В каком направлении хотите двигаться?

ЗЫ вот его головастик: