AI助力無序蛋白藥物虛拟篩選，多臂老虎機再顯神通

一個人在成長過程中會遇到各種各樣的選擇問題，如一些人生規劃的抉擇：上哪所大學，學什麼專業，去哪家公司，等等。再如我們進入一家電玩城，那裡擺着一排老虎機，雖然外表一模一樣，但是每個老虎機吐錢的概率卻不一樣，作為一名資深玩家應該選擇搖動哪台老虎機呢（圖1）？這些選擇問題有沒有什麼科學的辦法來解決呢？答案是：有！而且是非常科學的辦法，那就是強化學習中的多臂老虎機算法。該算法可以科學地推薦收益最大的方案，而且能夠應用于許多領域，如：一種新疾病（如新冠），如何嘗試各種治療方法，來盡快治愈病人？一個新産品，如何調整定價，來獲得最大收入？一個新聞稿，如何嘗試推薦，來獲得最多總點擊次數？在大名鼎鼎的阿爾法狗（AlphaGo）中，也能看到多臂老虎機算法的身影。

圖1. 多臂老虎機模型

最近，beat365官方网站的劉志榮教授課題組将多臂老虎機算法應用于天然無序蛋白質的藥物設計問題，大大加速了基于構象系綜的配體虛拟篩選過程（圖2）。

圖2. 多臂老虎機的強化學習算法可以應用于無序蛋白的配體虛拟篩選。

天然無序蛋白質（Intrinsically Disordered Proteins）沒有固定的三維結構，卻具有正常的生物學功能，不但是對蛋白質“結構-功能”傳統範式的重要補充，而且因其與多種疾病密切相關而成為重要的潛在藥物靶标。無序蛋白與小分子的相互作用機制與傳統的有序蛋白迥然不同，在生理條件下是以包含很多不同構象的系綜形式存在的，單單針對某一個構象設計藥物并不能保證對整個無序蛋白系綜的結合有效性。如果對系綜中的所有構象進行分子對接，再結合統計熱力學原理将對接結果綜合起來，理論上是可以得到藥物配體與無序蛋白的結合親和力（J. Chem. Inf. Model. 2020, 60, 4967）（圖3）。但是，與傳統的藥物設計流程相比，這種做法的計算量将暴增成千上萬倍，這在實際應用中是無法接受的。那麼，有沒有可能存在某種算法，既能夠大大降低計算量，又能保持較高的篩選性能？

圖3. 表觀親和力與單個構象和配體的相互作用自由能有關

事實上，這種可能性是存在的。關鍵是需要認識到虛拟篩選的目的不是準确地計算所有小分子配體（數目通常高達十萬）的親和力，而是篩選出少量的（數目在100左右）具有最大親和力的“頂尖”配體。對于位于金字塔底部的大量配體，是沒有必要準确計算的。這與多臂老虎機問題非常相似。對于這個老虎機問題，顯然最佳的做法是找到那個預期收益最大的拉杆并不斷地去拉動它。但是，玩家無法預先知道每一個拉杆的期望值，必須根據拉動的結果來動态地進行估計。多臂老虎機問題的目的是找出最有價值的1個拉杆，而虛拟篩選的目的是找出最有價值的100個配體，它們的核心問題是共通的。

基于這些認識，劉志榮課題組提出了一種可逆的UCB算法（reversible upper confidence bound, rUCB），用于對無序蛋白的強化學習虛拟篩選過程。在測試中，rUCB展現出了非常優異的效果。例如，在人工數據的測試中，對于十萬個配體，隻需要進行二十萬次對接（即平均每個配體隻需要對接兩次），所挑選出的親和力最大的100個配體的準确性高達94%。對真實癌蛋白c-Myc的虛拟篩選中，rUCB也有很好的效果（圖4）。

圖4. 強化學習rUCB算法在癌蛋白c-Myc的配體虛拟篩選中的結果。

該工作表明強化學習算法可以有效解決無序蛋白藥物設計的配體虛拟對接中構象數目過多所導緻的瓶頸問題。研究成果以“Reinforcement learning to boost molecular docking upon protein conformational ensemble”為題發表在Phys. Chem. Chem. Phys.上[23 (11), 6800-6806 (2021)]（https://pubs.rsc.org/en/content/articlelanding/2021/cp/d0cp06378a#!divAbstract）。 論文第一作者為beat365化學學院2021屆博士畢業生崇濱，通訊作者為劉志榮教授。工作受到國家自然科學基金委員會重點項目（21633001）的資助。

相關報道：
beat365化學學院：/kyjz/128627.htm