原创AI技术博客

在去年12月2日的PyTorch大会上（参考链接：[重磅！PyTorch官宣2.0版本即将发布，最新torch.compile特性说明！](https://www.datalearner.com/blog/1051670030665432

MetaAI在2天前刚发布了一个最新的Text-to-Video模型，让生成模型从逼真的图片生成往前推进到视频生成。当然，官方还是希望将其当作一种SaaS服务提供。但是，才2天，业界基于论文的开源PyTorch实现就已经准备公开，且获得了569个Star！卷到家了！

这是来自Kaggle上网友的分享，是关于数据科学和机器学习的面试题集锦。都是英文的题目，不过应该不影响，大家也可以根据题目自己去寻找答案，我看了一下，并不是所有的答案都非常准确，但问题的确可以帮助我们思考总结。

这是一位热心网友（faridrashidi）收集的Kaggle竞赛的解决方案。这是在过去的Kaggle竞赛中表现最好的选手所分享的几乎所有可用的解决方案和想法的列表。一旦有新的比赛结束，这个列表就会更新。

最近，随着ChatGPT的火爆，大语言模型（Large language model）再次被大家所关注。当年BERT横空出世的时候，基于BERT做微调风靡全球。但是，最新的大语言模型如ChatGPT都使用强化学习来做微调，而不是用之前大家所知道的有监督的学习。这是为什么呢？著名AI研究员Sebastian Raschka解释了这样一个很重要的转变。大约有5个原因促使了这一转变。

Stable Diffusion是一种功能强大的开源文本到图像（Text-to-Image）生成模型。虽然目前有多个开源项目可以实现基于文本提示（prompt）创建图像，但Stable Diffusion性能极其强大，其结果甚至可以媲美DALL·E2。而现在KerasCV提供了这个模型的官方实现！

DALL·E 系列是由 OpenAI 开发的一系列基于大型语言模型的文本到图像生成系统。它们的核心目标是将文本描述转化为高度精确的图像。DALL·E2在2022年4月发布，但是一直没有公开使用，一年半后的2023年9月21日，OpenAI发布第三代DALL·E3，并承诺将与ChatGPT集成。

很多算法的开源实现都包含多个文件，因此，学习这些开源代码的时候通常难以找到入口，也无法快速理解作者的逻辑，对于学习的童鞋来说都带来了不小的挑战。这里推荐一个非常优秀的强化学习开源库，它将经典的强化学习算法都实现在一个文件中，想要学习源代码的童鞋只需要看单个文件即可，这就是ClearRL!

吴恩达的DeepLearningAI在今天和LangChain的创始人一起合作发布了一个最新的基于LangChain使用LLM构建私有数据的问答系统和聊天机器人的课程（课程名：《LangChain: Chat with Your Data》）。LangChain是大语言模型应用开发领域目前最火的开源库。集成十分多的优秀特性，可以帮助我们非常简单构建LLM的应用。

这是推特上Ternium的CIO发的一个图，关于机器学习理论和实践概念的信息图。这个图概括了机器学习实践流程的相关概念，简洁明了。对于入门的同学有很好的总结作用。

xAI是马斯克在2023年3月份创办的一家大模型初创企业。因为ChatGPT过于火爆，离开OpenAI之后马斯克又再次开始推出大模型，就是这个Grok。xAI今天也宣布了Grok模型的细节。其在多个知名榜单评测上的得分结果超过了ChatGPT-3.5水平。本文详细介绍一下这个模型。

文中整理和总结了几个关于开源大模型微调方面的问题，答案主要来自gpt4 + google，如果其中部分问题的答案不准确，烦劳指正 （文中引用了外部资源链接，如果涉及版权问题，烦劳联系作者删除）

谷歌在几个小时前发布了Gemini大模型，号称历史最强的大模型。这是一系列的多模态的大模型，在各项评分中超过了GPT-4V，可能是目前最强的模型。

OpenAI在GPT-4发布一年之后再次更新其基础模型，发布最新的GPT-4o模型，其中o代表的是omni，即“全能”的意思。GPT-4o相比较此前最大的升级是对多模态的支持以及性能的提升。GPT-4o在各方面比GPT-4更强，但是速度更快，开发者接口的价格则只有一半！

重磅新论文！北京人工智能研究员与清华大学、腾讯、华为、字节等公司一起发表了一篇关于大规模预训练模型路线图的论文。

12月8日晚上，MistralAI在他们的推特账号上发布了一个磁力链接，大家下载之后根据名字推断这是一个混合专家模型（Mixture of Experts，MoE）。这种模型因为较低的成本和更高的性能被认为是大模型技术中非常重要的路径。也是GPT-4可能的方案。MistralAI在今天发布了博客，正式介绍了这个强大的模型。

本篇是《阿里云天池大赛赛题解析-机器学习篇》的第一部分工业蒸汽量预测的第三章-特征工程的内容，并附带了一些知识点的网页链接。内有数据预处理、特征降维等内容。

随着华为被美国多轮制裁，大家忽然发现原来国内在半导体硬件方面的差距居然如此之大。半导体硬件相关方面的关注度前所未有，为了更好地理解计算机运行的原理，本文翻译自耶鲁大学的PCLT网站，旨在介绍关于计算机运行的一些原理知识。

Anubis是一个分布式LMS（学习管理系统），由John Cunniff创建，专门为CS课程的自动化而设计。Anubis已经在纽约大学坦登分校使用并经过了几个学期的测试。这个系统的主要目的是自动为提交的作业评分，并提供了一个云IDE解决方案，以简化学生的体验。

目前的LLM有很多限制，有很多问题并不能很好的解决，例如文本输入长度有限、无法记住很早之前的信息等。而这些问题目前也都缺少合适的解决方案。它们所依赖的技术：如任务规划、提示模板、向量化内存等需要的是编程的智慧。Semantic Kernel就是微软在这个背景下推出的一个结合LLM与传统编程技术的编程框架。

2024年10月22日，Anthropic发布了两个新模型：升级版的Claude 3.5 Sonnet和全新的Claude 3.5 Haiku。升级版的Claude 3.5 Sonnet在保持原有价格和速度的基础上，实现了全面性能提升，尤其在编码领域取得了显著进步。新推出的Claude 3.5 Haiku则以与Claude 3 Haiku相同的成本和类似的速度，在多个评测中达到了与Claude 3 Opus相当的性能水平。