重磅！学术论文处理预训练大模型GALACTICA发布！
自然语言处理预训练大模型在最近几年十分流行，如OpenAI的GPT-3模型，在很多领域都取得了十分优异的性能。谷歌的PaLM也在很多自然语言处理模型中获得了很好的效果。而昨天，PapersWithCode发布了一个学术论文处理领域预训练大模型GALACTICA。功能十分强大，是科研人员的好福利！
标签
「模型」相关文章（第12页）
汇总「模型」相关的原创 AI 技术文章与大模型实践笔记，持续更新。
标签:#模型
6张示意图解释6种语言模型（Language Transformer）使用方式
近几年语言模型的发展速度很快，各种大语言预训练模型的推出让算法在各种NLP的任务中都取得了前所未有的成绩。其中2017年谷歌发布的Attention is All You Need论文将transformer架构推向了世界，这也是现在最流行的语言模型结构。威斯康星大学麦迪逊分校的统计学教授Sebastian Raschka总结了6中Language Transformer的使用方法。值得一看。
扩散模型是如何工作的：从0开始的数学原理——How diffusion models work: the math from scratch
随着DALL·E2的发布，大家发现Text-to-Image居然可以取得如此好的效果。也让diffusion模型变得非常受欢迎。扩散模型虽然火热，但是背后的数学原理可能很多人也不太了解。这篇博客不仅介绍了扩散模型背后的数学原理，也讲述了如何训练扩散模型以及提高扩散模型训练效率的种种技巧，十分值得大家钻研。
不更改一行AI模型的代码加速你的模型训练过程——AI模型训练加速库Nebulgym简介
前几天初创AI企业Nebuly开源了一个AI加速库nebulgym，它最大的特点是不更改你现有AI模型的代码，但是可以将训练速度提升2倍。
简单几步教你如何在搭建并使用DALL·E开源版本来基于文字生成图片
大规模的text-to-image模型没有公开预训练结果，OpenAI的意思就是我这玩意太厉害，随便放出来可能会被你们做坏事，而谷歌训练这个应该就是为了云服务挣钱，所以都没有公开可用的版本供大家玩耍。虽然业界有基于论文的实现，但是训练模型需要耗费大量的资源，没有开放的预训练结果，我们普通个人也很难玩起来。但是，大神Sahar提供了一个免费使用开源实现的text-to-image预训练模型的方式。
