随着我国近几年人工智能新基建与大规模计算系统的逐步落地，为了使大规模人工智能计算系统健康持续发展，需要一个能够有效地评价计算系统的人工智能算力的评价指标，而现有的测试方法无法满足这一需求。

目前，已有一些大规模计算系统的评测程序，例如Linpack是一个目前被广泛使用的高性能计算机双精度浮点运算性能基准评测程序，国际超算Top500榜单依据Linpack值来进行排名。然而典型的人工智能应用并不需要双精度浮点数运算，大部分人工智能训练任务以单精度浮点数或16位浮点数为主，推理以Int8为主。各大企业、高校和相关组织也相继开发了各类人工智能算力基准评测程序，如MLPerf、Mobile AI Bench、DeepBench、AIIA DNN Benchmark，以及在双精度的Linpack基础上改成混合精度的HPL-AI等基准评测程序，但是这些程序并不适用于大规模和可变规模人工智能计算系统的评测。

为了填补大规模计算系统人工智能算力评测这一领域的空白，清华大学与鹏城实验室联合研制并开发了人工智能算力基准测试程序——AIPerf Benchmark（以下简称AIPerf）。AIPerf基于微软NNI（neural network intelligence）开源框架实现，以自动化机器学习（AutoML）为负载，使用网络态射（network morphism）网络结构搜索和树状结构Parzen估计（tree-structured Parzen estimator，TPE）方法超参搜索来寻找精度更高的神经网络结构和（或）超参数。用户可以通过配置文件指定AutoML的相关参数，如训练使用的批大小（batch size）、最大epoch数、学习率、最大搜索模型总个数、最长搜索总时间、最大同时搜索模型个数（并发数）等多个参数。

AIPerf的设计达到了以下4个关键的设计目标。……