三大国产处理器评测及分析
江南计算技术研究所 高级工程师 程华
无锡江南计算机研究所高级工程师程华一直从事国产关键软硬件的评测和自主可控度评估工作。从2010年开始,8年以来,她每年都会将三大国产品牌的最新款处理器与国外芯片进行对比。
在2017年10月27日的中国计算机大会(CNCC2017)上,程华报告了对申威、飞腾、龙芯 三大国产处理器平台在2015和2017年两度专业测试 的结果及初步分析,并和英特尔奔腾4双核处理器(主频3.2GHz)的测试结果进行了对比。

对比方式:图中的柱状图每种颜色代表一个处理器厂商的产品,红绿黄都是国产cpu,蓝色为国外cpu。
最左边为申威411(2015年测试)同一颜色接下来的是申威1621(2017年测试)(2017年还在内测未正式发布)。
然后是飞腾1500A(2015年测试)和2017年测试的飞腾1500A,虽然硬件并未发生变化,但由于软件优化
测试性能有了明显提高。
再后面是龙芯3A2000(2015年测试)和3A3000(2017年测试)
右边3列蓝色柱状图从左至右分别是 Intel P4处理器(补充:双核、主频3.2GHz )Intel, 2009年发布的 i5处理器,AMD E350 (2009年发布)。

首先对比的是基础的综合性能,使用业界主流的测试套件,Unixbench。主要测字符、上下文切换、整数与浮点运算、管道存储能力等,
此张ppt反映的是运行单线程Unixbench的情况,它的分值越高越好(柱状图越高越好)它反映的是操作系统可以看到的处理器单核的性能。
从单线程性能来看,从2015年开始每一款国产处理器都超过了P4,到2017年已经明显高于P4。同时可以看到,在2年时间里3家国产处理器的单核性能提升都非常明显。

此图为4核的性能对比

此图为16核时的性能对比,因为这里有一个国产处理器厂商只有4核的芯片…… 图上仍然以P4的性能作为对比(最左边的蓝色柱状图)。

此图为3个国产处理器2015年到2017年两年时间里,单核、4核、16核(无16核的处理器以4核叠加计算)
提升比率,可以看到黄色代表的厂商其单核性能都已经翻倍了。,<补充:绿色代表的厂商性能提升最不明显,大概因为其处理器硬件并未更新换代,只是软件优化带来了一些性能提升>

此图为细粒度的性能中,基本的双精度浮点 加 、乘、 除 运算时间,单位是纳秒,数值越小 成绩越好。
2015到2017年,3家的此项性能 都不如P4。这个测试与软件基本无关,主要反映处理器加法器乘法器等部件的设计水平。

此图为上下文切换延迟性能 单位是纳秒,数值越小越好。包括多线程和单线程上下文切换性能,3家处理器性能一直比P4好,我们分析国产处理器性能低从来不在上下文切换上。有两家2017年性能比2年期有所下降,是正常现象,因为性能是在做不断的平衡。

此图为虚拟文件系统延迟,也是越低越好。

此图为本地通信带宽,成绩是越大越好。通过管道 ……、通过标准Unix协议、 通过文件的重读内存的读和内存的写入来做通信。我们可以看到带宽,越大越好这方面国产处理器都远远的超过了P4。

此图为内存的读写延迟,数值越小越好。图上第一项是L1cache延时,国产处理器都不如P4。第二项L2 cache读写延迟,国产处理器除黄色代表厂商外做得比P4好。后面两项为内存写入延迟和读取延迟。

此图为磁盘写入性能。单位为kB每秒,数值越高越好。

此图为磁盘读取性能,单位为kB每秒,数值越高越好。
磁盘读写性能是我们的长项,3家的国产处理器都远远的超过了P4,特别是有一家厂商(绿色代表厂商)在磁盘读取性上面(非常突出)……

这张图片总结了3家处理器厂商在2015年到2017年两年时间里 性能的涨幅,平均下来是2.4左右。

此图为我们自己做的一个用户测试。我们老说去比Spec CPU 国产处理器也不差呀,可是为什么用起来感觉好像慢呢?我们就做了一个userbench,方法是我们单位使用的国产处理器计算机平台,一个月以来让大家做一个使用情况的统计,比如做一个新word文档大家都一样的。我们做了Word文档,Ppt文档,Excel文档,一百次重启,文件压缩,点对点的文件拷贝,浏览器的使用 浏览ccs的网站……网站,就是平常常用的计算机操作。
图中最后一项就是所以测试加起来的时间,除以10(补充:用时越短越好)。从总时间来看,3家处理器,在2年时间里性能大概都只提高了20%左右,低于前面的硬件细粒度性能提升。原因主要是缺乏软件的配合,缺乏中间件的配合。(补充:软件优化不到位)

此图为Trace分析,如打开word文档,看起来我们的cpu性能比P4好,为什么实际用起来还是比P4慢呢?
我们trace了性能数据,红色曲线是我们自己的国产处理器计算机平台,在打开文件的过程中,用户态和系统态所占的百分比,蓝色曲线是P4的。可以看到,在刚开始工作的时候,蓝色曲线比较高(P4)对系统资源的利用比较好,红色就弱一些。这个非常典型,实际3家国产处理器情况都差不多。这就说明软件的优化没有跟上……
谢谢大家
补充:
程华高工(或许出于照顾面子的原因,因为3家厂商代表都参加了计算机大会),在演讲中没有明确指出红 绿 黄分别代表哪一家国产处理器厂商。但是从演讲的上下文对照图片,我们不难推断出 红色代表申威,绿色代表飞腾,黄色代表龙芯。
从上面的性能分析可以看出,无论单线程还是多线程综合性能 飞腾都明显领先,申威性能居中,龙芯忝陪末座。
当然龙芯也有亮点,就是在2年时间里,性能提高了几乎一倍。
江南计算技术研究所 高级工程师 程华
无锡江南计算机研究所高级工程师程华一直从事国产关键软硬件的评测和自主可控度评估工作。从2010年开始,8年以来,她每年都会将三大国产品牌的最新款处理器与国外芯片进行对比。
在2017年10月27日的中国计算机大会(CNCC2017)上,程华报告了对申威、飞腾、龙芯 三大国产处理器平台在2015和2017年两度专业测试 的结果及初步分析,并和英特尔奔腾4双核处理器(主频3.2GHz)的测试结果进行了对比。

对比方式:图中的柱状图每种颜色代表一个处理器厂商的产品,红绿黄都是国产cpu,蓝色为国外cpu。
最左边为申威411(2015年测试)同一颜色接下来的是申威1621(2017年测试)(2017年还在内测未正式发布)。
然后是飞腾1500A(2015年测试)和2017年测试的飞腾1500A,虽然硬件并未发生变化,但由于软件优化
测试性能有了明显提高。
再后面是龙芯3A2000(2015年测试)和3A3000(2017年测试)
右边3列蓝色柱状图从左至右分别是 Intel P4处理器(补充:双核、主频3.2GHz )Intel, 2009年发布的 i5处理器,AMD E350 (2009年发布)。

首先对比的是基础的综合性能,使用业界主流的测试套件,Unixbench。主要测字符、上下文切换、整数与浮点运算、管道存储能力等,
此张ppt反映的是运行单线程Unixbench的情况,它的分值越高越好(柱状图越高越好)它反映的是操作系统可以看到的处理器单核的性能。
从单线程性能来看,从2015年开始每一款国产处理器都超过了P4,到2017年已经明显高于P4。同时可以看到,在2年时间里3家国产处理器的单核性能提升都非常明显。

此图为4核的性能对比

此图为16核时的性能对比,因为这里有一个国产处理器厂商只有4核的芯片…… 图上仍然以P4的性能作为对比(最左边的蓝色柱状图)。

此图为3个国产处理器2015年到2017年两年时间里,单核、4核、16核(无16核的处理器以4核叠加计算)
提升比率,可以看到黄色代表的厂商其单核性能都已经翻倍了。,<补充:绿色代表的厂商性能提升最不明显,大概因为其处理器硬件并未更新换代,只是软件优化带来了一些性能提升>

此图为细粒度的性能中,基本的双精度浮点 加 、乘、 除 运算时间,单位是纳秒,数值越小 成绩越好。
2015到2017年,3家的此项性能 都不如P4。这个测试与软件基本无关,主要反映处理器加法器乘法器等部件的设计水平。

此图为上下文切换延迟性能 单位是纳秒,数值越小越好。包括多线程和单线程上下文切换性能,3家处理器性能一直比P4好,我们分析国产处理器性能低从来不在上下文切换上。有两家2017年性能比2年期有所下降,是正常现象,因为性能是在做不断的平衡。

此图为虚拟文件系统延迟,也是越低越好。

此图为本地通信带宽,成绩是越大越好。通过管道 ……、通过标准Unix协议、 通过文件的重读内存的读和内存的写入来做通信。我们可以看到带宽,越大越好这方面国产处理器都远远的超过了P4。

此图为内存的读写延迟,数值越小越好。图上第一项是L1cache延时,国产处理器都不如P4。第二项L2 cache读写延迟,国产处理器除黄色代表厂商外做得比P4好。后面两项为内存写入延迟和读取延迟。

此图为磁盘写入性能。单位为kB每秒,数值越高越好。

此图为磁盘读取性能,单位为kB每秒,数值越高越好。
磁盘读写性能是我们的长项,3家的国产处理器都远远的超过了P4,特别是有一家厂商(绿色代表厂商)在磁盘读取性上面(非常突出)……

这张图片总结了3家处理器厂商在2015年到2017年两年时间里 性能的涨幅,平均下来是2.4左右。

此图为我们自己做的一个用户测试。我们老说去比Spec CPU 国产处理器也不差呀,可是为什么用起来感觉好像慢呢?我们就做了一个userbench,方法是我们单位使用的国产处理器计算机平台,一个月以来让大家做一个使用情况的统计,比如做一个新word文档大家都一样的。我们做了Word文档,Ppt文档,Excel文档,一百次重启,文件压缩,点对点的文件拷贝,浏览器的使用 浏览ccs的网站……网站,就是平常常用的计算机操作。
图中最后一项就是所以测试加起来的时间,除以10(补充:用时越短越好)。从总时间来看,3家处理器,在2年时间里性能大概都只提高了20%左右,低于前面的硬件细粒度性能提升。原因主要是缺乏软件的配合,缺乏中间件的配合。(补充:软件优化不到位)

此图为Trace分析,如打开word文档,看起来我们的cpu性能比P4好,为什么实际用起来还是比P4慢呢?
我们trace了性能数据,红色曲线是我们自己的国产处理器计算机平台,在打开文件的过程中,用户态和系统态所占的百分比,蓝色曲线是P4的。可以看到,在刚开始工作的时候,蓝色曲线比较高(P4)对系统资源的利用比较好,红色就弱一些。这个非常典型,实际3家国产处理器情况都差不多。这就说明软件的优化没有跟上……
谢谢大家
补充:
程华高工(或许出于照顾面子的原因,因为3家厂商代表都参加了计算机大会),在演讲中没有明确指出红 绿 黄分别代表哪一家国产处理器厂商。但是从演讲的上下文对照图片,我们不难推断出 红色代表申威,绿色代表飞腾,黄色代表龙芯。
从上面的性能分析可以看出,无论单线程还是多线程综合性能 飞腾都明显领先,申威性能居中,龙芯忝陪末座。
当然龙芯也有亮点,就是在2年时间里,性能提高了几乎一倍。