[注] 今回のブログ投稿の出典(Nature誌ニュース記事 / bioRxiv投稿)では、日本語では多くの場合「再現」と訳されているreplicabilityやreplicate (20回/29回) とreproducibilityやreproduce (7回/17回) がそれぞれ使われている。「(2種類の用語は)分野ごとに異なる意味で使用されることが多く、混乱を招いている」という認識のもとに米国のNational Academies Pressから出版された書籍"Reproducibility and Replicability in Science"中の「Chapter 3 Understanding Reproducibility and Replicability」に2つの用語の違いが解説されている。crisp_bioなりにまとめるとreproducibilityとは、「先行研究と同一条件で、別の研究者が実験を行って一貫した結果を得られること」であり、replicabilityとは、「複数の研究においてそれぞれ独自の手法で実験を行って一貫した結果が得られること」のようだ。ここでは、英語のまま引用した。
発表された研究のreplicabilityとreproducibilityに対する懸念が、多くの研究分野で高まっているが、科学政策の策定に役立つ実証データは一般に不足している。ブラジルでは、生物医学研究が過去30年間で急速に拡大した中で、
その研究成果の再現性に関する体系的な評価は行われて来なかった。こうした状況を踏まえ、"The Brazilian Reproducibility Initiative (以下、BRI)が進められてきた [右図はWebサイトのトップページ]。BRIは、この大規模な研究の結果、ブラジルの研究者によって発表された結果のreplicabilityを制限する要因を浮き彫りにし、データやプロトコルのオープンな共有などこの状況を改善する方法を示唆している。

[詳細]
BRIでは再現性の検証対象として研究分野ではなく研究手法を選択した。はじめに、ブラジルで使用されている最も一般的な生物医学研究方法を決定するために、生命科学論文のランダムなサンプルをレビューすることから始め、プロジェクトへの参加に関心のある生物医学研究室が実験を再現できることを保証した。
BRIは、細胞代謝のアッセイに利用されるMTT試験、遺伝子発現や病原体診断に利用される逆転写ポリメラーゼ連鎖反応(RT-PCR)、齧歯類の不安行動をアッセイする高架式プラス迷路(Elevated plus maze: EPM)の3種類の研究手法が選択された。その上で、1998年から2017年までに発表されその著者の少なくとも半数がブラジルの研究機関に所属する研究論文60編がreplication実験の対象として選択された。
合計56の研究室(213名の研究者)が56の実験を143回繰り返し、そのうち、47の実験について97回が有効と認められた。事前に定義された5つの基準に基づき計算されたこれらの実験のreplication率は5割を切った [*](15%から45%の範囲)。平均値に対するデータの変動の大きさを測る変動係数は、元の研究の方が再現実験よりも60%低く、元の論文のデータははるかに「整然としていた」。これは、都合の良い結果が選択的に報告されているか、より一貫性のないデータが過少に報告されている可能性を示唆していると、BRIのコーディネーターのリオデジャネイロ連邦大学Olavo Bohrer Amaral講師は述べている。
事前登録されたプロトコルからの逸脱は、replicationにおいて一般的であり、そのほとんどは実験モデルに固有の理由、またはインフラやロジスティクスに関連する理由によるものであった。サンパウロ大学の生化学者Guilherme Menegon Arantes教授は、「結果の再現が難しいことは必ずしも誤りや不正行為を意味するものではなく、ブラジルの科学が他国よりも劣っていることを意味するわけでもない。むしろ、実験設計の限界、方法の文書化の不備、あるいは研究室間の自然なばらつきを反映している可能性がある」と述べている。またカンピナス州立大学の生物学者、Marcelo Mori准教授も同意見で、「実験の正確な再現は、生命科学において特に困難です」「げっ歯類や細胞培養などの生物は、温度、食事、微生物叢、培養培地の組成といった環境変動にさらされると、異なる反応を示すことがあります。抗体などの試薬は、バッチごとにばらつきが見られる」と述べている [**]。
[*] replication率が5割を切ったことは、実は、ほぼ10年前のデータではあるが、これまでのreplication研究からの報告と一致している。98本の心理学論文の結果を270名の研究者が再現しようと試みた事例では36〜47%、主要ながん研究機関の研究結果を再現しようとした同様の取り組みでは、対象となった23本のハイ・インパクト論文の50%未満であった [Nature News, 2017]。
[**] 研究資源の品質関連crisp_bio記事
- 2025-02-28ベクターの選択、ベクタターのサプライズ
- 2025-02-19 抗体を利用する研究が, 効率と再現性の向上へと, 動き始めた
- 2021-11-23 [レビュー] 抗体のバリデーション:NIHのCommon Fund Protein Capture Reagents Programから得られた教訓
- 2019-02-21 HeLaの亡霊:研究室間の不均一性をマルチオミックスで検証
- 2017-04-29 抗体は、最も広く使われている試薬の一つであるが、最も頭痛の種になる試薬の一つでもある
[出典]
- NEWS "Huge reproducibility project fails to validate dozens of biomedical studies" de Oliveira Andrade R. Nature 2025-04-25. https://doi.org/10.1038/d41586-025-01266-x
- 投稿 "Estimating the replicability of Brazilian biomedical science" bioRxiv. 2025-04-25 (preprint). The Brazilian Reproducibility Initiative. https://doi.org/10.1101/2025.04.02.645026
コメント