[出典] “Large-language models facilitate discovery of the molecular signatures regulating sleep and activity” Peng D, Zheng L, Liu D, Han C [..] Xue Y, Zhang L. Nat Commun. 2024-05-01. https://doi.org/10.1038/s41467-024-48005-w [所属] Huazhong U Science and Technology, Nanjing University Institute of Artificial Intelligence Biomedicine, Hubei Province Key Laboratory of Oral and Maxillofacial Development and Regeneration

 睡眠、運動、社会活動は動物にとって不可欠な行動であるが、それらの相互関係や基礎となるメカニズムはまだ十分に理解されていない。中国の研究チームが今回、最先端の大規模言語モデル (LLM)であり生成AIの一種であるGPT (generative Pre-trained Transoformation)3.5から情報を引き出し、3つの行動を制御することが知られているショウジョウバエ遺伝子の10.2-13.8%の機能と相互関係を理解することに成功した。

[詳細]

 研究チームは、複数の動く物体を同時にビデオで追跡可能とする装置を開発し、ゲノムワイドなスクリーニングを行った。その結果、睡眠と活動を制御する
758のハエ遺伝子を同定した。その中には、同種のハエが存在する場合にのみ睡眠を制御するmre11や、同種のハエが存在するか否かにかかわらず睡眠を制御するNELF-Bなどが含まれる。LLM-推論に基づき、相互関係のネットワークがモデル化され、睡眠、運動、社会活動を制御する包括的な分子シグネチャーが示され、構成要素間の潜在的関係が理解されるに至った。このLLMを用いた戦略は、他の複雑な科学的問題に取り組む際にも役立つ可能性がある。

 研究チームは、GPT-3.5から情報を引き出す標準的なプロンプト (問い合わせ) 戦略を用いて、ショウジョウバエの睡眠、運動、社会活動制御の遺伝的基盤についてゲノムワイドな解釈を行った。ハエのタンパク質アイソフォームの12.5%、13.8%、10.2%が、それぞれ睡眠、運動、社会活動制御に関与していると解釈され、偽陽性率は低かった。これらの数字は、関連情報の収集と要約におけるGPT-3.5の有用性を示している。

 並行して、複数のミバエの行動を同時にリアルタイムでモニターするビデオトラッキング装置を利用して、ゲノムワイドRNA干渉(RNAi)スクリーニングを行い、睡眠、運動、社会活動の制御に潜在的に関与する遺伝子をそれぞれ285310359個同定した。また、ChatGPT-3.5、これらの3つの行動を制御していることを既発表の文献において3つの行動を制御するとされてい遺伝子の他に、mre11NELF-Bをはじめとするこれまで報告されていなかった一連の遺伝子も多数同定した。

 次に、LLM-推論という思考の連鎖 (Chain of Thought: CoT) プロンプトと呼ばれる戦略を用いて、スクリーニングから得られた86の候補遺伝子について、Genome LLM 4これらの遺伝子間の潜在的な機能的制御や関連をペアワイズで同定し、シグナル伝達ネットワークをモデル化した [Fig. 4引用右図参照]。さらに、LLMによって推論された潜在的なメカニズムを検証し、MRE11がドーパミン受容体Dop1R1とヒスチジン脱炭酸酵素を調節することによって、睡眠、運動、社会活動に影響を及ぼす可能性があることを明らかにした。

 以上のように、研究チームは、LLMが生成した文脈情報からin silicoで解釈・推論し、我々が開発した多視点ビデオ追跡パラダイムを用いた遺伝学的スクリーニングと組み合わせることで、睡眠、運動、社会活動を制御する分子メカニズムを体系的に解析した。我々は、このようなヒトとLLMの相互作用の実践は、他の複雑な科学的問題の調査にも容易に適応できると期待している。

[補足1:ChatGTP-3.5の利用の詳細]

 Genome-LLM 5ショウジョウバエタンパク質Dop1R1のプロンプトを対象とする利用例が図5aの上段とbに取り上げられている [右図参照]。このプロンプトでは、Dop1R1の機能について質問し、次にこのタンパク質が睡眠の制御に関与しているかどうかを質問した。GPT-3.5によって生成された応答では、Dop1R1が睡眠調節に関与していることが記述されており、Dop1R1の活性化はミバエの活動を亢進し、睡眠を減少させることが発表されていた文献と一致している。

 さらに、CoTプロンプト戦略は、構築されたネットワークのメンバー間の機能的な制御や関連を明らかにするために利用された[右図 a下段参照]mre11Dop1R1の基本的な説明が示されたので、これら2つの遺伝子とLLM-reasoningの詳細なCoTとの潜在的な関係について質問した [右図c参照]Chat-GTP-3.5の回答に見られるように、GPT 3.5は、mre11がドーパミン作動性シグナル経路を介してDop1R1を制御していると推論した。研究チームは、Dop1R1拮抗薬SCH23390mre11 RNAiハエの睡眠、運動、社会活動の表現型を部分的に回復させることを証明することで、このことを(少なくとも部分的には)検証した。これらの結果を総合すると、科学研究においてLLMを効率的に利用するための迅速な工学的応用が成功したことを示している。

 本研究において、GPT-3.5は情報収集、解釈、推論、理解において他の追随を許さない能力を有し、誤認識率も低いことが明らかになった。GPT-3.5は、人間の知覚とアライメントした後、人間のようなCoTを学習することに成功した。得られたシグナル・ウェブに含まれる86個の遺伝子について、研究者が86 * (86-1)/2 = 3655の組み合わせのペアワイズ相互作用をすべて手作業でチェックすることはほとんど不可能である。一方、GPT-3.5を使えば、このような面倒な作業も、すべてのつながりを推論するための曖昧さのないCoTを伴って、簡単に達成することができる。本研究では、GPT-3.5による3655問の回答には約3時間しかかからず、~3/回答であった。一方、我々は文献から139組の潜在的な機能的制御や関連性の実験的証拠を1週間以上(~10時間/日)かけて手作業で収集し、1回答あたり~30分かかった。このように、GPT-3.5は研究効率を劇的に高めることができる。

[補足2: GPT-3.5とは]

 AI技術の中で、自然言語処理 (NLP) は、人間の言語コンテンツを学習、解釈、生成することを目的として発展してきた。近年、大規模言語モデル (LLM) をベースとする生成AI (generetive AI: GAI)、特に、GPT (Generative Pre-trained Transformer / 生成的事前学習トランスフォーマー) とそのアップデート[1,2]に関して、ブレークスルーが達成された。興味深いことに、GPTは汎用的で、労働生産性を革新する可能性を示すことが実証されている[3]GPT-3を開発するために、アテンションまたはセルフ・アテンションのメカニズムを用いたトランスフォーマー・ニューラルネットワークのアーキテクチャが採用された[4]

 GPT-3事前学習には5つのデータセットが利用された:2016年から2019年までをカバーするフィルタリングされたコモン・クロール (CommonCrawl)の月次データ、Common Crawlコーパス以外のWebページのデータ (WebText2)2つのインターネットベースの書籍コーパス (BookCorpus: Books1Books2)、および約5000億バイトのペア・エンコードされたトークンに相当する英語版ウィキペディア [5]。その後、GPT-3は、人間のフィードバックからの強化学習 (reinforcement learning from human feedback: RLHF) [15,16]を行うことで、InstructGPTモデルへと微調整された。InstructGPTデータセットの他に、OpenAIからは明確に報告されていないが、人間のAIトレーナーとチャットボットの会話から生成された対話データセットがあり、これをさらに微調整して、最先端モデルであるChatGPT (正式にはGPT-3.5)へと進化させた。

 複雑なタスクを解決するためにLLMから情報を引き出すには、プロンプトエンジニアリングが重要である [5, 8]。特に、思考の連鎖 (CoT) プロンプトと呼ばれる方法を用いることで、LLMの複雑な推論を引き出すことができる[8]ChatGPTは言語知識を操作し生成することができるが[1]LLMを科学研究の促進にどのように利用するかは、これからの課題である[9]

[GPT-3.5の項の参考文献]

  1. Thorp, H. H. “ChatGPT is fun, but not an author” Science 379, 313 (2023). https://pubmed.ncbi.nlm.nih.gov/36701446/
  2. Bang, Y. et al. “A multitask, multilingual, multimodal evaluation of ChatGPT on reasoning, hallucination, and interactivity” In Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics, 675–718 (Association for Computational Linguistics, 2023); arXiv 2023-11-28 https://arxiv.org/abs/2302.04023v4
  3. Eloundou, T., Manning, S., Mishkin, P. & Rock, D. “GPTs are GPTs: an early look at the labor market impact potential of large language models” https://arxiv.org/abs/2303.10130v5 
  4. Vaswani, A. et al. “Attention is all you need” Adv. Neural. Inf. Process. Syst. 30, 6000–6010 (2017). arXiv 2024-08-02. https://arxiv.org/abs/1706.03762v7 
  5. Brown, T. B. et al. “Language models are few-shot learners” Adv. Neural. Inf. Process. Syst. 33, 1877–1901 (2020); arXiv 2020-07-22. https://arxiv.org/abs/2005.14165v4
  6. Christiano, P. et al. “Deep reinforcement learning from human preferences” Adv. Neural. Inf. Process. Syst. 30, 4302–4310 (2017); arXiv 2023-02-17. https://arxiv.org/abs/1706.03741v4
  7. Ouyang, L. et al. “Training language models to follow instructions with human feedback" Adv. Neural. Inf. Process. Syst. 35, 27730–27744 (2022); arXiv 2022-05-04. https://arxiv.org/abs/2203.02155v1
  8. Wei, J. et al. “Chain-of-thought prompting elicits reasoning in large language models” Adv. Neural. Inf. Process. Syst. 35, 24824–24837 (2022); arXiv 2023-01-10. https://arxiv.org/abs/2201.11903v6
  9. Taylor, R. et al. “Galactica: a large language model for science” arXiv 2022-11-16. https://arxiv.org/abs/2211.09085v1