数据收集方法说明
了解我们如何收集和整理大模型及评测数据
最后更新：2025-01-20
DataLearnerAI 致力于提供准确、可靠的 AI 大模型信息。本页面详细说明我们的数据收集流程和来源优先级。
数据收集原则
我们遵循以下原则确保数据的准确性和权威性：
- 1优先采用官方公布的数据，确保信息的权威性
- 2对于存在差异的数据，我们会标注数据来源供用户参考
- 3定期更新数据，反映最新的模型发布和评测结果
- 4保持数据收集过程的透明，接受用户反馈和纠错
数据来源优先级
我们按以下优先级收集数据：
第一优先级
官方公布数据
直接来自模型发布方的官方数据，包括：
- 官方 GitHub 仓库的 README 和技术文档
- 官方 Hugging Face 模型卡片
- 发布方官网的产品页面和技术博客
- 学术论文（arXiv、ACL、NeurIPS 等）
第二优先级
权威评测基准
来自知名评测机构和基准测试的官方结果：
- MMLU、GSM8K、HumanEval 等标准基准的官方榜单
- Open LLM Leaderboard 等社区维护的评测榜
- LMSYS Chatbot Arena 等人工评测排行
第三优先级
第三方评测机构
来自信誉良好的独立评测机构：
- Artificial Analysis 的模型性能分析
- 其他专业 AI 评测网站的测试数据
- 经验证的社区复现结果
数据冲突处理
当不同来源的数据存在差异时，我们采取以下策略：
优先采用官方数据
官方公布的数据具有最高权威性，我们以此为准。
标注数据来源
对于关键数据，我们会标注具体来源，方便用户自行验证。
保留多个版本
当差异较大时，我们可能同时展示多个来源的数据供参考。
持续更新
随着新信息的发布，我们会及时更新数据。
数据类型说明
| 数据类型 | 说明 | 主要来源 |
|---|---|---|
| 模型基础信息 | 参数规模、上下文长度、发布日期、开源许可等 | 主要来自官方 GitHub/Hugging Face 和论文 |
| 评测得分 | 各类基准测试的评测结果 | 优先采用官方公布结果，其次为评测基准官方榜单 |
| API 价格 | 模型 API 调用的价格信息 | 来自官方定价页面，定期更新 |
| 性能指标 | 推理速度、吞吐量等性能数据 | 来自官方数据或 Artificial Analysis 等评测机构 |
反馈与纠错
如果您发现任何数据错误或有更权威的数据来源建议，欢迎通过页面底部的联系方式与我们沟通。