在消费级显卡上微调OpenAI开源的自动语言识别模型Whisper：8GB显存即可针对你自己的数据建立ASR模型
尽管自动语音识别（Auto Speech Recognition，ASR）已经有很多的解决方案，但是能够媲美人类水平的ASR模型屈指可数。与大语言模型不同的是，ASR领域可用的预训练模型很少，基于预训练模型在特定数据集上微调更是困难。而德国的一位博士生开源了一个使用LoRA（Low Rank Adaptation）技术和PEFT（Parameter Efficient Fine Tuning）方法对Whisper模型进行高效微调的项目。可以让大家在消费级显卡（显存8GB）上对OpenAI开源的WhisperV2模型进行微调！
语音识别预训练模型Whisper简介
OpenAI在2022年9月21日开源的Whisper模型声称在英语的语音识别方面接近人类（Whisper模型卡信息：https://www.datalearner.com/ai-models/pretrained-models/Whisper ）。并在同年的12月9日发布了Whisper V2版本。该模型参数规模15.5亿，表现十分优秀。由于Whisper是在一个大型和多样化的数据集上训练的，并没有针对任何特定的数据集进行微调，它并没有击败专门从事LibriSpeech性能的模型（这是一个著名的语音识别竞争基准）。然而，当在许多不同的数据集上测量Whisper的零散性能时，它比那些模型要稳健得多，犯的错误要少50%。
尽管如此，对于很多语言来说，Whisper识别准确率不够。而它本身已经是在80000多小时的数据上训练的，参数规模15.5亿，运行需要10GB显存起步，要求不低。进一步的，如果想要对Whisper-large-v2进行微调，则至少需要24GB显存，并且对训练过程种的每一个checkpoint需要7GB存储。对于个人来说，这样的硬件要求略高。
德国一个学生Vaibhav Srivastav发布了一个使用LoRA（Low Rank Adaptation）技术和PEFT（Parameter Efficient Fine Tuning）方法对Whisper模型进行高效微调的项目，只需要8GB显存即可对Whisper-large-v2进行微调，十分值得搞ASR的童鞋关注。
