原创AI技术博客

有的时候使用Python遇到内存溢出的问题，但其实机器剩余内存很多。需要注意Python版本是否正确

就在刚才，Moonshot AI（Kimi 团队）推出了 Kimi Claw（目前为 Beta 版）。这项服务让普通用户无需本地安装或维护服务器，就能快速获得一个类似 OpenClaw 的云端 AI 助手，随时在线、具备长期记忆和实际执行能力。

随着ChatGPT的火爆，Prompts概念开始被大家所熟知。早期类似如BERT模型的微调都是通过有监督学习的方式进行。但是随着模型越来越大，冻结大部分参数，根据下游任务做微调对模型的影响越来越小。大家开始发现，让下游任务适应预训练模型的训练结果有更好的性能。而ChatGPT的火爆让大家知道，虽然ChatGPT的能力很强，但是需要很好的提问方式才能让它为你所服务。

随着预训练大模型技术的发展，基于prompt方式对模型进行微调获得模型输出已经是一种非常普遍的大模型使用方法。但是，对于同一个问题，使用不同的prompt也会获得不同的结果。为了获得更好的模型输出，对prompt进行调整，学习prompt工程技巧是一种必备的技能。

BERT是很好的模型，但是它的参数太大，网络结构太复杂。在很多没有GPU的环境下都无法部署。本文讲的是如何利用BERT构造更好的小的逻辑回归模型来代替原始BERT模型，可以放入生产环境中，以节约资源。

这几年深度学习的发展给人工智能相关应用的落地带来了很大的促进。随着NLP、CV相关领域的算法的发展，算法层面的创新已经逐渐慢了下来，但是工程方面的研究依然非常火热。从底层的硬件的创新，到平台框架的发展，为支撑超大规模模型训练与移动端小规模算法推断而创造的软硬件体系也在飞速革新。本文将总结深度学习平台框架软件及下层的硬件支撑系统。

检索增强生成（Retrieval-augmented generation，RAG）是一种将外部知识检索与大型语言模型生成相结合的方法，通常用于问答系统。当前使用大模型基于外部知识检索结果进行问答是当前大模型与外部知识结合最典型的方式，也是检索增强生成最新的应用。然而，近期的研究表明，这种方式并不总是最佳选择，特别是当检索到的文档数量较多时，这种方式很容易出现回答不准确的情况。为此，LangChain最新推出了LongContextReorder，推出了一种新思路解决这个问题。

网站启用HTTPS必须制作证书，而证书的制作需要定期更新。这里介绍了Certbot证书自动生成工具和自动更新的方法。并描述了Tomcat如何配置pem证书。

当数据量达到一定程度，单机的处理能力会无法达到性能的要求，采用并行计算，并利用多台服务器进行分布式处理可能会提升数据处理的速度，达到性能要求。然而如果使用不当，并行处理可能并不会提升处理的速度。这篇博客介绍了Dask中关于并行处理的一些效率方面的建议，尽管是针对Dask的说明，但对于所有的并行处理来说都是适用的。

使用爬虫获取数据对科研来说及其重要，本系列博客将讲述如何使用Java编写爬虫工具获取网页数据。包括HttpClient 4.3及以上版本的Header设置，请求参数设置等。

LDA的Gibbs抽样详细推理与理解

sqoop

强化学习（Reinforcement Learning）是近年来十分火热的一种机器学习研究领域。随着DeepMind（谷歌旗下的研究机构）的AlphaGo在围棋界战胜人类之后，这类方法开始被人们广泛关注。但是，强化学习并不是突然出现，也不是DeepMind的首创，在很久之前，这种方法已经开始发展，但是近年来，随着AI相关的软硬件能力的提升，强化学习的实用价值也开始显现。本文不涉及强化学习本身的技术细节，仅仅记录这种方法的历史由来。

所谓AI Agent就是一个以LLM为核心控制器的一个代理系统。业界开源的项目如AutoGPT、GPT-Engineer和BabyAGI等，都是类似的例子。然而，并不是所有的AI Agent都有很好的表现，其核心还是取决于LLM的水平。尽管LLM已经在许多NLP任务上取得进步，但它们作为代理完成实际任务的能力缺乏系统的评估。清华大学KEG与数据挖掘小组（就是发布ChatGLM模型）发布了一个最新大模型AI Agent能力评测数据集，对当前大模型作为AI Agent的能力做了综合测评，结果十分有趣。

检索增强生成（Retrieval-augmented Generation，RAG）可以让大语言模型与最新的外部数据或者知识连接，进而可以基于最新的知识和数据回答问题。尽管检索增强生成是一种很好的补充方法，如果文档切分有问题、检索不准确，结果也是不好的。而检索增强生成也有一些提升方法，本文基于LangChain提供的一些方法给大家总结一下。

在本周，HuggingFace最流行的十个大模型多模态模型占了4个，包括StabilityAI最新开源的文本生成视频大模型Stable Video Diffusion、Coqui最新的语音合成大模型XTTS第二代等都吸引了大量的关注多。而大语言模型中，谷歌开源了2022年就已经发布的Switch大模型，该模型号称参数可以达到上万亿，也是十分有意思。

在大语言模型的训练和应用中，计算精度是一个非常重要的概念，本文将详细解释关于大语言模型中FP32、FP16等精度概念，并说明为什么大语言模型的训练通常使用FP32精度。

NVIDIA在2024年GPU技术大会（NVIDIA GPU Technology Conference，GTC）发布了全新的算力芯片和服务，即基于最新的Blackwell架构的算力芯片B200和GB200服务器。但是，大多数人对于NVIDIA芯片的升级只有数字的变化，本文将针对NVIDIA的GPU算力芯片做简单的介绍，并说明NVIDIA B200以及GB200的升级的地方。

本笔记是来自Neural Networks and Deep Learning课程第二周作业

SQLCoder 是 Defog 团队推出的一款前沿的语言模型，专门用于将自然语言问题转化为 SQL 查询。这是一个拥有150亿参数的模型，其性能略微超过了 gpt-3.5-turbo 在自然语言到 SQL 生成任务上，并且显著地超越了所有流行的开源模型。更令人震惊的是，尽管 SQLCoder 的大小只有 text-davinci-003 的十分之一，但其性能却远超后者。

tf.nn.softmax_cross_entropy_with_logits函数