Megatron-LM是一项正在进行的研究项目,旨在以规模训练变压器模型。具有高性能和灵活性,适用于各种自然语言处理任务和推荐系统领域。
Reformer 是一种高效的 Transformer 模型,采用创新的局部敏感哈希和可逆层设计,显著提升了长序列数据处理的效率和性能。