Computational Biology: protein sequence
这一领域的研究，思想很简单，就是研究者们认为蛋白质的氨基酸序列中包含了这个蛋白质的结构与功能信息， 因此可以通过分析蛋白质的氨基酸序列来预测蛋白质的结构与功能
Protein language models
目录：
- Unified rational protein engineering with sequence-based deep representation learning
- Biological Structure and Function Emerge from Scaling Unsupervised Learning to 250 Million Protein Sequences
- Language models of protein sequences at the scale of evolution enable accurate structure prediction
Unified rational protein engineering with sequence-based deep representation learning
2019 年的一篇文章， 在 UniRef 50 数据集上使用 RNN + Cross Entropy 进行训练，最终得到的 Token 表示是对所有层的输出取平均得到，训练时使用 self supervised learning 的方式，训练目标是预测下一个 token 的概率分布
RNN 模型且训练时间巨长无比，所以不作为参考
Biological Structure and Function Emerge from Scaling Unsupervised Learning to 250 Million Protein Sequences
ESM-1 模型的论文，也是 2019 年的 paper，来自 Facebook 的研究团队， 他们使用了一个 UniParc 数据集，包含了 250 million 的蛋白质序列，使用 Transformer 作为backbone，包含了 650 million 的参数
为了与其他模型比较，也使用了 UniRef50 数据进行了训练
损失函数：使用了 masked language modeling 的方式，随机遮盖掉一些 token，然后让模型去预测被遮盖掉的 token 的概率分布
$$ \mathcal{L}_{MLM} = \mathbb{E}_{x \sim X} \mathbb{E}_{M}\sum_{i\in M} -\log P(x_i | x_{M}) $$作者团队使用了 ECE（Exponential Cross Entropy）来评估模型的性能，理想情况为 1 ，训练了一个 LSTM bidirectional 模型作为 baseline 进行比较（ECE = 13.5）
$$ ECE = 2^{\mathcal{L}_{MLM}} $$作者团队对 Transformer 的 embedding 使用了 t-SNE 进行可视化，发现关系相似的蛋白的 embedding 也比较接近，说明模型学到了蛋白质序列的结构与功能信息
- Learning encodes biochemical properties
- Biological variations are encoded in representation space
- Learning encodes remote homology
Language models of protein sequences at the scale of evolution enable accurate structure prediction
ESM-2 和 ESMFold 的论文，2021 Meta AI 出品，也是我们课程项目的主要测评对象 😀