Естественный отбор “плохой науки"

Автор Злата, ноября 04, 2017, 11:49:44

« назад - далее »

Cow

#45
Цитата: Питер от ноября 22, 2017, 09:41:39
Злата

" Можно взять ДВЕ случайных выборки (к примеру, ливерпульских мужчин).
Померить разные пальцы, носы, ухи - и вычислить различие между этими группами.
И наверняка найдутся параметры, по которым будет различие между группами"

Если  это  будут  две   реально  случайные  выборки  достаточно   большого    размера,  различий   не   будет.
При     малом  размере   выборки   могут  быть    видимые   различия   -  но  они   не   пройдут  через  адекватную   батарею  статистических  тестов.
Юмор в том, что число исследуемых мужиков конечно и размер выборки изначально ограничен. В Ливерпуле конечное число жителей.  :)
При бесконечной выборке, различия между группами будут в пределе уходить на ноль. При конечной, от нуля будут отличаться.
Величина значимости различия - это субъективная цифра и адекватность  определяется самим экспериментатором по целям проводимого изыскания.    8)
Существует правда такое понятие:"сложившаяся практика". И она часто глаза замыливает. Но наибольшим спросом, эта "практика", у юристов пользуется. В науке, эта практика - признак штампованности и стереотипности и потому интереса обыкновенно  не вызывает.

Питер

Ну  в   биологии есть   принятая   величина     значения    р -  0.05.  И  дальше  мы   можем   корректировать  эту  величину  при все  тех  же  множественных    сравнениях .   И  есть  понятие  мощности  -   считаемая   величина  выборки,    которая   достаточна   для  выявления   эффекта  при  заданной  величине  p.

Злата. с  одной   стороны  все  верно.  С  другой  стороны,  такой   дизайн "все  заболевания   -   кофе"   если  и  встречается,  то  крайне   редко.  Обычно   одно  заболевание и  кофе.   Проблема в  том,  что  по  заболеванию  А    кофе   полезно.  А  по   заболеванию  Б   кофе   страшно  вредно   -  но  заболеванием  Б  никто  не    занимался.  И  здесь  есть   проблема ...

А  оно  вам  надо  ?

Злата

Цитата: Питер от ноября 22, 2017, 11:27:52С  другой  стороны,  такой   дизайн "все  заболевания   -   кофе"   если  и  встречается,  то  крайне   редко.  Обычно   одно  заболевание и  кофе.
В статьях - действительно так.
А что - в исследованиях ?
Прям Вася взял поисследовать влияние кофе на язву желудка и пря сразу раз ! - положительный эффект.
Где те статьи об исследованиях, которые дали нулевой результат ?

ЦитироватьНу  в   биологии есть   принятая   величина     значения    р -  0.05.   И  есть  понятие  мощности  -   считаемая   величина  выборки,    которая   достаточна   для  выявления   эффекта  при  заданной  величине  p.
Знаю.
Я же сказала - подхожу с точки зрения математики.

ЦитироватьИ  дальше  мы   можем   корректировать  эту  величину  при все  тех  же  множественных    сравнениях .
А вот это - ИМХО, непроверяемо.
Были ЛИ множественные сравнения и сделана ЛИ коррекция.
А если не сделана, то статистическая достоверность результата - сильно преувеличена

Потому я и представляю ситуацию: померили у геев все, что можно. (Гусары, молчать !).
А потом выбрали тот параметр, который выглядит отличающимся.
Шли по лесу и встретили программистку

Питер

Ну   если  читать  текст   статьи   -  то  там   все   должно  быть  прописано, в  разделе "МиМ".  И  это  прописано.    Второй   вопрос  -   надо  сделать,  не   сделали.  Минус в  карму   журнала.   Отсюда  вывод   -   публиковаться  только в  журналах с  импактом    не  менее 1.5.

Про  отрицательные   результаты.  Публикуют,   не  вопрос.  Но в   абстракт статьи  выносят  положительный      результат   -  ну  так  оно  есть, отрицательные    результаты   все   не   любят.   Мое    любимое   -   статья  в Nature   про  новые    ДНК   маркеры     Альцгеймера.   В  названии   -  выявлены   2  новых  гена.  связанных с  патогенезом  БА.   ОК,   и  и  правда   - два   ОНП,  полногеномная   значимость  ( меньше  чем    10  в  минус 8).  Но в  той  же  выборке  ассоциация БА  с     давно  известным  геном  АРОЕ.  Точной   цифры  не  помню,  но   р  в  районе  10  на  минус  30-)))).   В  статье   это   есть.  В  абстракте    -  нет.
В  итоге в  популярной  статье  остается    цимус  -   два  новых  гена  БА.  А  то.  что  они  отвечают   за  ничтожно   малое (но  достоверное) приращение  риска - за  скобками.
А  оно  вам  надо  ?

Злата

Питер, можно немножко популярнее ?
Что такое ОНП ?
Что такое полногеномная   значимость   меньше  чем    10  в  минус ?
Слово p-value я знаю.
Это вероятность того, что реального эффекта нет, а данные эксперимента - результат случайной флуктуации.

Нашли 2 новых гена, которые влияют на вероятность БА.
На сколько % влияют ?
У Гены есть эти гены, а у Васи - нет. И что ?

Шли по лесу и встретили программистку

kostik

Цитата: Питер от ноября 22, 2017, 18:05:53Про  отрицательные   результаты.  Публикуют,   не  вопрос.

Да, отрицательные результаты публикуют, но только, если в статье есть положительные, которые выпячивают в названиях и абстрактах статьи. Чисто отрицательные результаты (например, отсутствие корреляции между чем-то и чем-то) в хороших журналах опубликовать невозможно. Это чисто маркетинговые заморочки журналов и к качеству научных исследований отношения не имеют.
Научный поиск направлен на позитив, т.е. на обнаружение чего-то нового или присутствия (наличия, корреляции и т.д.). Поэтому если в гранте не акцентировать внимание на получение положительного результата, вероятность получения денег стремится к нулю. Если под грант получены деньги и в ходе его исполнения получены достоверные, но отрицательные результаты, вероятность финансирования на продолжение темы также стремится к нулю.   


P.S.    ОНП (SNP) - однонуклеотидный полиморфизм

Питер

Злата,   полногеномная   значимость  -   это     когда    ищут  ассоциацию  полиморфного  варианта в   ДНК  с   каким-либо  признаком  при     помощи      панелей  с     сотнями  тысяч   ДНК   маркеров ,    перекрывающими весь  геном.   В   этой  ситуации вводят  поправку   на  множественные    сравнения  (Бонферрони  или   аналог),  учитывающую    число  одновременно   анализируемых   маркеров.   В  итоге  в   самом     простом  варианте   р  0.05   делим на  число  маркеров  и    при    миллионе    маркеров  получаем  критическое   значение  р  0.00000005.
Костик,   и  все -таки.  Просто    названия   статей.
Lack of an association of BDNF Val66Met polymorphism and plasma BDNF with hippocampal volume and memory.
Kim A et al. Cogn Affect Behav Neurosci. (2015)
Meta-analysis demonstrates lack of an association of microsomal epoxide hydrolase 1 polymorphisms with esophageal cancer risk.
Hu JJ et al. Genet Mol Res. (2013)
Lack of association between +405 G/C polymorphism in VEGF and breast cancer risk: A meta-analysis.
Zhang M et al. J BUON. (2015)
А  оно  вам  надо  ?

Злата

Цитата: kostik от ноября 22, 2017, 21:27:00P.S.    ОНП (SNP) - однонуклеотидный полиморфизм
Спасибо.

Цитата: kostik от ноября 22, 2017, 21:27:00Если под грант получены деньги и в ходе его исполнения получены достоверные, но отрицательные результаты, вероятность финансирования на продолжение темы также стремится к нулю.   
Вполне резонно.
Доказали, что ген Х/потребление кофе/занятия плаваньем не влияет на вероятность БА. Значит, надо искать что-то другое.
Цитата: Питер от ноября 23, 2017, 06:09:21В  итоге  в   самом     простом  варианте   р  0.05   делим на  число  маркеров  и    при    миллионе    маркеров  получаем  критическое   значение  р  0.00000005.
Поняла.
Хорошо да плохо.
Получение такого р требует огромной выборки.
Очень легко потерять реальный положительный результат.
Возможно, выходом был бы "многоступенчатый процесс".
Исследуем миллион генов на выборке, дающей р=0,01.
Нашли 10000 подозрительных генов.
Взяли еще одну независимую выборку того же размера. Но исследуем уже не все гены, а эти 10000.
После 3-го этапа - имеем уже всего несколько генов с очень хорошим р.

Кстати, есть хорошая книжка: Голдакр. "Обман в науке".
http://flibusta.is/b/330664/read
В основном - про медицину.
Кому лень читать - я натаскала красивых цитат:
https://zlata-gl.livejournal.com/84527.html

Интересная идея:
ЦитироватьПоистине необыкновенно, что почти все эти проблемы — замалчивание отрицательных результатов, манипуляции с данными и тому подобное — могли бы быть решены с помощью одного очень простого акта, который не будет стоить практически ничего: введения реестра клинических испытаний, публичного, открытого и обязательного для всех. Вот как он будет работать. Вы — фармацевтическая компания. Прежде чем вы начнете ваше исследование, вы публикуете его протокол в каком-нибудь публичном издании. Это означает, что любой может увидеть, что вы собираетесь делать в ваших исследованиях, что именно вы собираетесь определить, сколько будет участников и т. д. еще до начала испытаний.

Проблемы тенденциозности в публикациях, повторные публикации, скрытые данные о побочных эффектах, которые приводят к необязательным смертям и страданиям, — все это будет искоренено одним махом. Если вы зарегистрировали испытание и провели его, но оно не появилось в литературе, это сразу будет очевидно. Естественно, что все подумают, что вам есть что скрывать (возможно, они будут правы).
В остальных исследованиях - тоже неплохо БЫ.
Профессор Сидоров и аспирант Федоров начинают диетологическое исследование. Допустим, в конце у них получилось, что ежедневное потребление моркови снижает вероятность инфаркта на 10%.
НО. Либо они ДО начала исследования написали, что намерены изучать влияние конкретно моркови на инфаркт.
И тогда результат с р=0,01 - прекрасен.
Либо они завели большую базу данных, опрашивая тысячи людей, здоровых и больных разными болезнями, об их питании.
И сообщили об этом. Не зная заранее, корреляцию чего с чем они ищут.
И вот в итоге - получилась корреляция инфаркта и морковки с р=0,01.
Оценка: фигня.
Шли по лесу и встретили программистку

Питер

Полногеномники   сегодня   -   это  тысячи  пациентов  и  контролей.   Например,      одна  из  работ  по     шизофрении   -   более 100000 пациентов  и      вдвое   больше   контролей. 
Про   поправки.    Ну     роют,  есть      ряд   более  мягких  поправок   -   не   Бонферрони.   И  включают в  дальнейший   анализ  и      варианты  с   большим  -  но  не  критическим р  -   типа  10  в  минус   шестой.
А  оно  вам  надо  ?

Злата

Цитата: Питер от ноября 23, 2017, 12:03:06Например,      одна  из  работ  по     шизофрении   -   более 100000 пациентов  и      вдвое   больше   контролей. 
Допустим, нашли некий ген А в версиях А1 и А2.
И какова разность по мат-ожиданию версии А1 между шизофрениками и здоровыми ?
Шли по лесу и встретили программистку

Питер

Честно  не  понял     вопроса.   Величина   р   будет  сильно  зависеть  от    популяционной  частоты  варианта   А1,  точной   численности выборок  и    модели     наследования  полиморфного   варианта,   влияющего   на  признак. 
А  оно  вам  надо  ?

Злата

Я сейчас пытаюсь освежить знания по мат.статистике. Тогда сформулирую культурнее.
Шли по лесу и встретили программистку

Vladimirkox

C4. Была статья о связи этого компонента комплимента с наследуемой формой шизофрении. Там инструмент, ну...  для облегчения освежения памяти.

Cow

Цитата: Питер от ноября 23, 2017, 15:14:46
Честно  не  понял     вопроса.   Величина   р   будет  сильно  зависеть  от    популяционной  частоты  варианта   А1,  точной   численности выборок  и    модели     наследования  полиморфного   варианта,   влияющего   на  признак.
Порядок цифр таков, что если поглядеть со стороны  Байеса, то талидомид начинает проглядываться. Мелочь вроде бы.
Всего лишь  чуть больше  десятка тысяч калек, при таких величинах, объемах и оборотах. Но.....
Это я вякнул  к величинам  р и отношению к ним  и методикам  оценок.   8)
https://geektimes.ru/post/290133/

Питер

Про     тадидомид   не   понял.   А  так    сейчас  есть варианты  и   байесовские.  и  не-байсеовские.  Если в  R    покопаться   -  то чего  там   только  нет.   Вам    какой   больше   нравится  ?
Ну  и  http://schegl2g.bget.ru/bayes/YudkowskyBayes.html
"Вопрос.  Что такое Байесианский Заговор?
Ответ.  Байесианский Заговор - многонациональная, междисциплинарная и действующая в тени группа ученых, контролирующая публикации, гранты, пожизненные профессорские должности и незаконный ввоз аспирантов (?).  Лучший способ быть принятым в Байесианский Заговор - присоединиться к Университетскому Крестовому Походу за Байеса еще в школе или в колледже, и постепенно повышать градус посвящения.  Ходят слухи, что на верхних уровнях Байесианского Заговора существуют девять молчаливых фигур, известных как Байесианский Совет. "
А  оно  вам  надо  ?