NV-KERMT-70M-v2代码实现详解从SMILES解析到分子嵌入生成【免费下载链接】NV-KERMT-70M-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2NV-KERMT-70M-v2是一款基于图Transformer架构的分子表示学习模型专为药物发现中的ADMET吸收、分布、代谢、排泄、毒性属性预测任务设计。该模型通过创新的多任务预训练策略将2D分子图转化为具有化学意义的潜在表示为药物研发提供强大的分子特征提取能力。模型架构概览融合图Transformer与对比学习核心组件解析NV-KERMT-70M-v2采用扩展自GROVER的graph-transformer架构主要包含以下关键模块编码器Encoder6层消息传递注意力层隐藏维度8004个注意力头配备PReLU激活函数和0.1的dropout率解码器Decoder3层Transformer结构8个注意力头512隐藏/潜在维度2048维前馈网络采用旋转位置编码RoPE多任务学习头包含概率潜在头、批内对比辅助变量、SMILES重构Transformer解码器以及化学特异性词汇预测头![模型架构示意图]创新点四合一联合概率目标模型通过以下四种损失函数的联合优化实现化学知识的深度融合SMILES重构损失通过Transformer解码器从采样潜变量生成SMILES对称潜变量密度正则化A-MIM项批内对比判别损失匹配/非匹配分类化学特异性自监督损失原子上下文、键上下文和官能团预测数据处理流程从SMILES到分子图SMILES解析与图构建输入的SMILES字符串首先通过RDKit工具包进行解析转化为2D原子-键图结构。这一过程包括化学键类型识别单键、双键、三键等原子属性提取元素类型、电荷、氢原子数量等分子拓扑结构构建原子连接关系注意推荐的SMILES解码器最大序列长度为512 tokens超过此长度的分子需要截断或忽略。化学特异性词汇表模型使用三个关键的词汇表文件实现分子特征的向量化原子词汇表pretrain_atom_vocab.json键词汇表pretrain_bond_vocab.jsonSMILES词汇表pretrain_smiles_vocab.pkl这些词汇表包含了药物发现领域常见的化学实体确保模型能够准确理解分子结构的化学含义。分子嵌入生成从图编码到潜在表示图Transformer编码过程分子图的编码通过以下步骤完成局部消息传递捕获原子间的局部化学环境信息全局自注意力建模分子范围内的长距离相互作用多任务块处理融合多种化学特征学习任务这一过程将分子图转化为原子级和键级的表示保留了分子的化学特性和结构信息。潜在表示学习编码器的输出通过一个学习投影层映射到高斯潜在分布生成512维的分子嵌入向量。这一向量不仅包含分子的结构信息还融合了化学性质的预测能力可直接用于下游ADMET属性预测任务。实际应用模型部署与微调指南环境要求PyTorch 2.xRDKit cheminformatics toolkit模型 checkpointkermt_contrastive_v2.0.pt快速开始步骤克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2加载预训练模型和词汇表文件准备SMILES格式的分子数据生成分子嵌入或进行下游任务微调应用场景ADMET属性预测模型的特征提取器多端点ADMET数据集的微调基础模型分子表示学习研究的基准模型总结分子AI的强大工具NV-KERMT-70M-v2通过创新的图Transformer架构和多任务预训练策略为药物发现领域提供了一个强大的分子表示学习工具。其核心优势在于化学感知能力专为分子结构设计的词汇表和编码方式多任务学习融合多种自监督任务提升表示质量灵活性可作为特征提取器或微调基础模型使用无论是计算化学研究者还是药物发现科学家都能从这一模型中获得有价值的分子表示推动药物研发的效率和准确性。完整技术细节请参考Adrian et al. (2025). Multitask finetuning and acceleration of chemical pretrained models for small molecule drug property prediction. arXiv:2510.12719【免费下载链接】NV-KERMT-70M-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NV-KERMT-70M-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
