Естественный отбор “плохой науки"

[Злата]

Попалась интересная статья:
Естественный отбор “плохой науки”
http://brights-russia.org/article/the-natural-selection-of-bad-science.html
Объясняется,  почему так много "английских ученых" и не воспроизводящихся результатов.

исследовательские методы всё-таки меняются. Изменчивость влечёт за собой определённые последствия: методы, которые чаще приводят к публикации, приобретают конкурентное преимущество над остальными. При этом можно сказать, что «мутации» в методике частично наследуются, так как студенты перенимают устоявшуюся практику и статистические методы у своих преподавателей и однокурсников. Учёные также могут перенимать успешные модели исследований у коллег в своей области, даже если не знают их лично. Таким образом, поощрение только за опубликованные работы ведёт к естественному отбору тех исследовательских методов, которые с большей вероятностью приведут к публикации. К сожалению, подобные критерии отбора могут напрямую препятствовать научному прогрессу.
---
 Постоянные ошибки в методике проведения научного исследования рождаются не из простого непонимания, а, скорее, из-за определённых стимулов. Исправить эти ошибки можно только после того, как были устранены все факторы, побуждающие исследователей прибегать к низкопробным методам — руководства в этом отношении бессильны. Как сказал Ричард Хортон, редактор журнала The Lancet, «часть проблемы заключается в том, что никого не поощряют за то, что он прав» [12].

Вот сейчас идет дискуссия вокруг научпопа.
Но в чем виноват автор научпопа, собирающий информацию в оригинальных статьях, если сами статьи пишутся "для количества", а индекс цитирования - запросто "накручивается" ?

Я не защищаю "журноламеров", но...

Для примера:
Вот читаю  "Тайны пола" Бутовской.
Наткнулась на интересное исследование длины 2-го и 4-го пальца у гомосексуалистов Ливерпуля.   

Недавние исследования по соотношению длин второго и четвертого пальцев на левой руке, проведенные Дж. Меннингом с коллегами на обширном материале, позволяют немного прояснить этот вопрос. На первом этапе было проведено сравнение 88 мужчин, заявивших о своей гомосексуальной ориентации, и контрольной группы из одной и той же английской популяции (жители Ливерпуля). Для выборки гомосексуалистов среднее соотношение 2D:4D на правой руке составило 0,97±0,03, а для левой руки 0,96 ±0,03. Соотношение же пальцев на обеих руках у мужчин с гетеросексуальной ориентацией равнялось 0,98±0,04. Таким образом, достоверные различия были получены при сравнении данного соотношения на левой руке у гомосексуалистов и мужчин с традиционной ориентацией (рис. 12.1). Оно оказалось достоверно ниже у гомосексуалистов.

Не вижу "достоверности" (как и в описанном дальше в этой главе).
С какой вообще точностью можно измерить длину пальца ?
Выборка всего 88 человек. Разница по среднему - в 2-3 раза меньше сигмы.

Интересно, "измеряльщик пальцев" - знал цели исследования ?
Или ему просто прислали группу людей, не сообщая, кто из них - гей, и попросили измерить пальцы ?
И почему выбраны именно 2-й и 4-й палец ?
Одна из "множественных гипотез" ? Остальные пальцы не дали результата ?

Повторяю: ничего дурного не хочу сказать про профессора Бутовскую и ее книгу.
Она не "журноламер", точно.
Но некоторые примеры производят впечатление "явной лажи".

[talash]

Арефьев, обратите внимание, что подобных взглядов, что научное сообщество деградирует, всё больше

[василий андреевич]

  Это не деградация, а вполне своеобычное развитие. Если в науке появляется много кормных "ниш", то к ним идет рассредоточение "братии". Потом многие направления естественно вымрут.

[catty]

Ну, как по мне, все это связано со многими проблемами в обществе.
Первая и главная обозначена - индекс цитирования это почти синоним денег. Когда у нас в институте проводили широкомаштабные сокращения то просто считали индекс Хирша всего отдела и согласно его выводили процент сокращения.  Это, естественно, приводит к тому, что люди власть имущие накручивают свой индекс - заставляют подчиненных сотрудников цитировать их работы. Или я знаю коопиративы - я процитировал вас, а вы, соответственно, процитируйте меня. Если в коопиративе 20-40 человек, то все в полном шоколаде. Еще момент - вы вынужденны писать какие-то статьи, ибо если не будет никаких то вас просто уволят.
Ну и главная, за науку и образование никто не платит, хорошие мозги ушли в бизнес и банки, а плохие часто занимаюся псевдонаукой.

[василий андреевич]

Первая и главная обозначена - индекс цитирования это почти синоним денег.

Это не наука, а бизнес. Железными дорогами управляют не "машинисты", а бизнесмены-менеджеры. И такая мода везде, да и всегда. Выживает (оставляет потомство) не герой на поле брани, а кладовщик, распределяющий тушенку. Так же выживает не изобретатель, а тот кто умеет внедрить изобретение.
  Оттого и вымерших видов многократно больше сохранившихся. Оттого и вымерших идей многократно больше...
  А были бы "вечные идеи", когда бы их не окружали бесконечные идеи некчемные?

[talash]

Ну, как по мне, все это связано со многими проблемами в обществе.
Первая и главная обозначена - индекс цитирования это почти синоним денег. Когда у нас в институте проводили широкомаштабные сокращения то просто считали индекс Хирша всего отдела и согласно его выводили процент сокращения.  Это, естественно, приводит к тому, что люди власть имущие накручивают свой индекс - заставляют подчиненных сотрудников цитировать их работы. Или я знаю коопиративы - я процитировал вас, а вы, соответственно, процитируйте меня. Если в коопиративе 20-40 человек, то все в полном шоколаде. Еще момент - вы вынужденны писать какие-то статьи, ибо если не будет никаких то вас просто уволят.
Ну и главная, за науку и образование никто не платит, хорошие мозги ушли в бизнес и банки, а плохие часто занимаюся псевдонаукой.

Перельману платили, но не помогло. ИМХО главная проблема в людской психологии. Все сильные исследователи - одиночки. Они не могут сами создать сообщество, а могут только присоединиться к готовому. А те кто специализируется на борьбе за власть, те не могут адекватно оценивать силу учёных, своих подчинённых.

[kostik]

Как по мне, тема, поднятая в стартопике, упирается в проблему перевода качественного признака в количественный. Например, чтобы сказать что данный научный сотрудник является эффективным  или ученик способным необходимо качественные признаки эффективности и способности градуировать, т.е. фактически перевести в один или несколько количественных признаков. Тогда нам легче  двух сотрудников или двух учеников сравнить между собой. Но к сожалению нет универсального подхода перевода качественного признака в количественный, а потому все попытки имеют свои огрехи. К тому же эффективность научного сотрудника внутри лаборатории и за ее пределами оценивается по разным параметрам.

Что касается цитирования Бутовской работ Дж. Меннинга, то хочу напомнить, что книга вышла из печати в 2004 году, а это значит сбор и обработка информации Меннингом и его коллегами была проведена и того раньше, где-то 20 лет тому назад. Но 20 лет тому назад о гомосексуализме говорили шепотом и о нетрадиционной ориентации того или иного человека могли только догадываться. Я уж не говорю о том, что абсолютно не было известно  по каким признакам отличаются гомосексуалы от гетеросексуалов кроме своих половых пристрастий.
Буквально вчера прочитал новость https://lenta.ru/news/2017/11/12/strapony/ , которая лишний раз напомнила, что среди нас живут не только гомосексуалы, но и зоофилы. Автору стартопика и тем кто, разделяет ее отношение к работам Меннинга предлагаю составить бизнес-план и смету стартап проекта, в котором вы собираетесь найти признаки, по которым зоофилы отличаются от контрольной группы. В данном случае меня интересует два момента: как/каким образом вы будете набирать выборку зоофилов? и с каких признаков начнете пытаться найти различия между двумя выборками: зоофилами и контрольной?

[Злата]

Что касается цитирования Бутовской работ Дж. Меннинга, то хочу напомнить, что книга вышла из печати в 2004 году, а это значит сбор и обработка информации Меннингом и его коллегами была проведена и того раньше, где-то 20 лет тому назад. Но 20 лет тому назад о гомосексуализме говорили шепотом и о нетрадиционной ориентации того или иного человека могли только догадываться.

Я даже не о том, есть ли какой смысл измерять пальцы. И где набирали подопытных.
А о том, что результат - явное фуфло с точки зрения измерений и математики.
Привела как пример.

Еще из той же книжки:
Женщины хуже мужчин ориентируются по географической карте.
ОК, допустим верю.
Есть такие блондинки, которые вообще не знают, что такое север и юг. (есть и мужчины такие).
Но когда утверждают, что способность женщины к ориентации ухудшается в период овуляции, я думаю (опять же) - что людям заняться нечем.
Я нормально хожу по городу по карте и совершенно не представляю, с чего БЫ вдруг овуляция мне помешала.

Да, есть проблема оценки качества труда.
Не только ученого, но и инженера, врача, экономиста, музыканта.
"А что делать с задачей, если известно, что она решения не имеет" ? (С)
Собственно, тема об этом.
Любой формальный показатель легко поддается "накрутке".

[Nur 1]

Что значит "хуже"?
Все, на мой взгляд, зависит от способа ориентации. Если, например, указать направление и километраж - да, по опыту знаю, женщинам труднее понять, как добраться до пункта назначения. Если описать промежуточные ориентиры, например, приметное здание, деталь рельефа - в тупик иногда попадают мужчины. Некоторые сразу перебивали меня, требуя, например, просто назвать количество кварталов и поворотов. У женщин же тут никаких проблем с ориентацией.

[kostik]

Я даже не о том, есть ли какой смысл измерять пальцы. И где набирали подопытных.
А о том, что результат - явное фуфло с точки зрения измерений и математики.

А я Вам о том, что очень  трудно разрабатывать новую научную проблему.  Если Вас не устраивает опытная выборка в 88 человек, то скажите какова она должна быть.  А потом  ответьте, хотя бы себе, сколько времени вы будете набирать зоофилов, чтобы достичь соответствующей выборки.  Для стартапа отводят 2-3 года. Конкуренцию в науке никто не отменял.  И как Вы будете выходить из этой ситуации?

Я бы не хотел, чтобы у Вас сложилось впечатление, что я "ЗА" публикацию недостоверных результатов.  Я всего лишь намекаю на то, что иногда приходится закрывать глаза на объективные издержки. К объективным издержкам я отношу разработку новой научной проблемы, т.к. в этом случае приходится искать компромисс между финансированием,   необходимым времени на получение осязаемых результатов  и самого научного подхода в решении поставленной задачи.

Я нормально хожу по городу по карте и совершенно не представляю, с чего БЫ вдруг овуляция мне помешала.

А я знавал женщин, которые в период овуляции с кровати не вставали, такие боли испытывали.  И как нам решить, кто из нас правее?

"А что делать с задачей, если известно, что она решения не имеет" ? (С)

“Не вешать нос, гардемарины!” ©

[василий андреевич]

А о том, что результат - явное фуфло с точки зрения измерений и математики.

  И назвали Вы тему правильно. И можно очень удачно обыграть именно отбор "плохого". И вопрос очень даже не прост.
  Мы повсюду видим успешное выживание плохого и жестокого. Но через поколения остается все-таки "хорошее". Тут противоречие, требующее разрешения.
  Платят именно за фуфло исключительно потому, что именно этим фуфлом интересуется потенциальный "прохожий", т.е. большинство. И бесполезно чертыхаться и вздыхать. Надо как-то увидеть "сермяжную правду". Если отбираются не самые-самые, то какова "математика", что в конце-концов выживут именно они?

[Gundir]

Еще из той же книжки:
Женщины хуже мужчин ориентируются по географической карте.
ОК, допустим верю.
Есть такие блондинки, которые вообще не знают, что такое север и юг. (есть и мужчины такие).
Но когда утверждают, что способность женщины к ориентации ухудшается в период овуляции, я думаю (опять же) - что людям заняться нечем.
Я нормально хожу по городу по карте и совершенно не представляю, с чего БЫ вдруг овуляция мне помешала.

Про овуляцию я не в курсе, не такой знаток, но из частных наблюдений. Сестра почему то ориентируется "вот оттуда вышли, и потом повернули" а уменя в голове всегда как бы план местности. Простите, это конечно вполне частное. Т.е. чуть все по разному. Совсем без карты. Сеструха ее в башке никогда не составляет, только знает примерные направления, а я - всегда как бы вижу сверху. Если у обоих карта в руках - то одинаково

[Злата]

А я знавал женщин, которые в период овуляции с кровати не вставали, такие боли испытывали.

Наверно, не овуляции, а месячных. Это - противофаза.

очень  трудно разрабатывать новую научную проблему.  Если Вас не устраивает опытная выборка в 88 человек, то скажите какова она должна быть.

Зависит от точности измерения пальцев, соотношения между сигмой и разницей в матожидании.
При указанных цифрах - "нуль-гипотеза" рулит.
Особенно, если предположить, что там еще были "множественные сравнения", то есть - измеряли все 10 пальцев, а потом искади корреляции с любыми.

Но дело даже не в этом.
Почему они вообще решили измерять пальцы ?
Я бы поняла, если БЫ измеряли какие-то гормоны в крови, хромосомы, гены. Состав семьи, где вырос ребенок.
Даже у знака зодиака (то есть - месяца рождения) - больше шансов повлиять.
Но раз уж решили пальцы мерить, то выводом (из опубликованных цифр) должно было быть: связи нет.

Сестра почему то ориентируется "вот оттуда вышли, и потом повернули" а уменя в голове всегда как бы план местности. Простите, это конечно вполне частное. Т.е. чуть все по разному. Совсем без карты. Сеструха ее в башке никогда не составляет, только знает примерные направления, а я - всегда как бы вижу сверху.

Говорят, есть 10-15% женщин со структурой мозга по мужскому типу.
Вероятно, я к ним отношусь.
Задачки по стереометрии - с великим удовольствием. В институте любила "начертательную геометрию". Тииа - построить пересечение двух конусов - в проекции и в общем виде.
Если мне надо куда-то прийти - терпеть не могу женскую манеру объяснения. Скажи адрес, блин, я найду !

[Cow]

Что значит "хуже"?
Все, на мой взгляд, зависит от способа ориентации. Если, например, указать направление и километраж - да, по опыту знаю, женщинам труднее понять, как добраться до пункта назначения. Если описать промежуточные ориентиры, например, приметное здание, деталь рельефа - в тупик иногда попадают мужчины. Некоторые сразу перебивали меня, требуя, например, просто назвать количество кварталов и поворотов. У женщин же тут никаких проблем с ориентацией.

Так на этом, еще К.Г. Юнг буксовал. Разделяя мышление и чувство, как методы взаимодействия  индивида с окружающей средой, он склонялся к тому, чтобы чувство полностью определить, как специфически присущую женщинам методу. Однако же, не желая быть обвиненным в сегрегации по половому признаку, сей вопрос оставил и обострять не стал.
Ну а я, склоняюсь все-таки к позиции Поршнева. Основой нынешней цивилизации послужила имитация. Это много позже, другие механизмы психики  развились и значимы стали.  А женщины, поскольку они конструктивно и функционально  ближе к истокам жизни, за базовый механизм психики, просто плотней держатся. И не надо путать разумность и абстрактное понятийной мышление. Мышление - это  оч узкоспециализированный инструмент.
Ну а нынче, имитация  в чистом виде ,за деньги или индексы цитирования, опять стала во многих аспектах эффективней, чем мышление.  Потому и  такие смешные "научные" работы чаще публиковаться стали.  Типа: " Корреляция лунного освещенности  со скоростью   роста телеграфных столбов."

[catty]

Короче, сложное это дело - оценка научного труда. Но, в принципе, если работа хорошая  и правильно оформленная то на нее будет большое количество ссылок.