博威---云架构决胜云计算

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 6205|回复: 13

站在5400的高度 Intel新服务器

[复制链接]
发表于 2007-12-27 13:56:01 | 显示全部楼层 |阅读模式
站在5400的高度 Intel新服务器

——Intel 45nm核心Xeon处理器
        如果只是制造工艺上的改良,基于45nm的PENRYN处理器不会让我们如此的关注它,因为它在制造工艺的支持下,成功的跨上了一个新的高度,也许我们真的要仔细看看在酷睿新架构下,究竟还有多深的功力有待挖掘。

        其实单纯从可以见到的方向入手,我们几乎找不到太多PENRYN的优良特征:它依然是4核/双核处理器;它的接口依然是LGA771;它的核心依然是酷睿架构……那么究竟有什么值得赞扬的变化呢?

        从65nm进化到45nm,酷睿体系的优势得到进一步的增强,因为可以在一个DIE上放置更多的晶体管了,虽然在计算核心上没有太多的变化,但是凭空多出的140M个晶体管足够让L2 Cache急速扩张到6MB×2的大容量,同时将主频从上一代65nm处理器最高3GHz提升到3.2GHz;对于服务器而言,极其重要的FSB参数也跨上了1600MHz的水平;而工艺改进带来的功耗降低也有助于服务器产品的整体设计。这样一来,即便没有其他技术的细节改进,我们也能大概其的猜测出PENRYN架构下,被命名为Xeon5400系列处理的疯狂实力。


5400 VS 5300
不管怎么说,代号HARPERTOWN的Xeon 5400处理器和代号CLOVERTOWN的Xeon 5300处理器都是4核产品,它们直接的对比将有助于我们了解新一代PENRYN的特征。
处理器代号
处理器频率
处理器缓存
处理器外频
处理器功耗
Xeon 5400
4核 45nm
2.0~3.2GHz
12MB L2
1333/1600MHz
80、120、150瓦
Xeon 5300
4核 65nm
1.6~3.0GHz
8MB L2
1066/1333MHz
80、120瓦
Xeon 5200
双核 45nm
1.86~3.4GHz
6MB L2
1066/1333
/1600MHz
65、80瓦
Xeon 5100
双核 65nm
1.6~3.0GHz
4MB L2
1066/1333MHz
65、80瓦


        注:表中45nm的是新发布的PENRYN系列处理器,而65nm的则是上一代Xeon处理器,它们在技术指标上的主要差异在于:PENRYN处理器主频更高、L2缓存增加50%、处理器外频首次支持1600MHz、而整体功耗并没有增加。

 楼主| 发表于 2007-12-27 13:56:19 | 显示全部楼层
芯片组

        虽然说处理器是一台服务器的核心,但是服务器毕竟是一个整体,当我们收到Intel从美国递来的服务器后,我们开始了详细的琢磨过程。为什么说是琢磨,因此太多的东西都是新的,甚至没有任何参考的资料,就在这篇文章就要写完的时间里,我还在网络上奋力查找配套Xeon 5400处理器的芯片组Intel 5400的详细资料。

        Intel 5400理论上和配套Xeon 5300处理器的Intel 5000系列芯片组没有什么太大的差异,因为它的接口依然是LGA771,也就是说,它能支持65nm的Xeon处理器;而Xeon 5400也应当能在Intel 5000系列芯片组上干活。

        因为找不到Intel 5400的正式资料,我们只能用之前IDF上还在代号阶段的Intel 5400资料来做一个补充。Intel 5400开发名为SEABURG,将成为Xeon 5400处理器的强劲配合伙伴。它同 Intel 5000系列芯片组相比,不仅仅体现在总线速度的提升,还破天荒的在芯片组上设计了一组24MB容量的 Snoop filter(探听过滤器),它与两颗Xeon 5400处理器的L2 Cache形成一一对应的缓冲支持关系,这点非常像早些时间IBM的X3芯片组的L3 Cache的概念,能更快的将需要存取的数据进行预处理,减少处理器的等待。
        而新的内存控制器增加了25%的数据吞吐量、IOAT2技术增加了对10G以太网的支持……
 楼主| 发表于 2007-12-27 13:57:02 | 显示全部楼层
服务器
        这是一台SuperMicro的2U服务器,两颗3.0GHz的Xeon 5472处理器,Intel 5400芯片组,16GB FB-DIMM,两款15K 73GB硬盘,板载Intel PRO1000MB网卡,基本上是未来一年内双路8核服务器的抗鼎之作。

        我们还是参照之前的测试脚本,在这台服务器上安装了Server 2003 SP1 32位版,只所以没有使用64位版本的原因是目前多数应用还不能很好的在64位系统下运行,至于性能,更是差强人意了。因为这台服务器送来的时候的BIOS版本比较低,在我们测试中间,SuperMirco发布了最新的BIOS,更新后,我们获得了两组数据,可以看出测试版和正式版在性能上还是存在巨大差异的。
      测试还是选择了我们的测试技术合作伙伴思博伦通讯提供的Avalanche 2700 & Reflector 2700,它们也是目前惟一能满足新一代服务器测试需求的设备 。
思博伦合作测试

       在静态页面测试中,新的服务器几乎达到了测试设备的测试极限,42000per的静态页面足以震撼以往的Unix服务器;而ASP性能也达到了17300per,注意,新老BIOS对此类计算性能需求较高的测试项目,新BIOS有15%的性能提升;ASP.NET突破了21000per,同样有15%的性能提升,看来作为一台典型的Web服务器而言,新一代Xeon 5400足够强劲。

        对于讲究计算性能的SSL类测试项目,新服务器同样表现出众,几乎每一项测试结果都是65nm Xeon 5300的一倍,这说明在主频变化不大的前提下,架构的调整,外频的提升和L2 Cache的增加,都对服务器的整体计算能力有巨大的帮助。
        从初步测试可以看出,新的45nm服务器性能绝对领先于上一代65nm的产品,特别是那些对计算性能有特别要求的用户,您的目光值得取关注一下这个全新的服务器产品。
基于IIS 6.0下的Web性能对比
基于SSL类项目的测试对比

      测试结果表分析:
       从第一代Xeon服务器到今天的Xeon 5400,中间经历了双核Xeon 5100,4核Xeon 5300,4核 45nm Xeon 5400(旧BIOS),4核 45nm Xeon 5400(新BIOS)下的测试成绩,可以看出,从最初到今天,不过3年的时间,性能几乎都取得了4~8倍的提升。在性能提升的背后,功耗却从当初典型的105瓦降低到了今天的80瓦,技术在进步,性能在提升,功耗在下降……
 楼主| 发表于 2007-12-27 13:57:50 | 显示全部楼层
45nm来了
处理器的制造已经超越了大多数人的想象,就在65nm工艺应对目前的处理器还非常悠闲的时候,Intel按照自己的步调推出了45nm的代号为Penryn的处理器。这次,不像以前那么静悄悄,也不像一年前推出QX6700那样保持神秘。早在QX6700推出之后不久,关于Penryn的原型测试就见诸网站,Intel好像有意提前放风,加上那些OEM厂商的配合,Penryn在上市前的大半年里就早已窗户外面吹喇叭——名声在外了,因而这次赶在美国时间11月11日,就能刊登我们的测试报告,的确也不是经常能碰到的事情。
有人说,多事之秋也可以解释为秋天之后,事情比较多,至少在IT领域我们是赞同的。按照每年的惯例,大约在11月15号的前后,Intel就会有一次大的发布,这个惯例曾经因为Pentium4有些改变,自从Core2架构登上主流以来,Intel又紧握发布的节奏,是Intel最近几年以来的最好表现。即便不从产品的角度,看看Intel的财报就可以明白,就能够明白Intel这么快引入45nm工艺的原因。
45nm工艺能够提高产能,这是众所周知的事情,不劳赘述。更重要的是,因为芯片所占面积将大大缩小,从而可能把以前的两个内核处理器并成一个,制造出AMD所谓的“真”四核处理器(如果把这个当作唯一的判断标准的话)。不仅可以大幅度降低成本,频率也可以因为核心尺寸变小得到提高。我大约半年前的一个推测也成为现实,是否把两个内核做成一个内核,绝对不是架构上的原因,而是由制造成本决定的,当时我说Intel在不久的将来也会推出整合的四核处理器,文章发表半年之后,处理器显然已经在我的手头。
如果仅仅以新工艺取胜,穿新鞋走老路,继续把Intel以前的架构原封不动地通过提高生产工艺的办法提高运行频率,这一样能够大大提高处理器性能,并且没有任何风险。以前Intel老这么干,因而害得对手也为之切切。现在,X9650虽然还继续使用Core2架构,没有大的变化,制造上的风险增加了,它二级缓存容量已经增加到12MB,每个核心的二级缓存已经到了3MB,这是相当可喜的突破。早在第一代基于Pentium4的至尊版处理器推出的时候,由于有三级缓存,单核的二级以下缓存总量达到了2.5MB,这个纪录一直到现在才被打破,算起来到现在已经有整整四年了。
二级缓存的总容量居然达到了12MB,简直是不可思议,虽然与Itanium2处理器的24MB版本比起来不算什么,但是想一想,在桌面领域,这恐怕是我们现在能够买到的缓存容量最大的版本。因而,它的晶体管数量已经上升到了一个新台阶,达到了8.2亿个,比QX6000系列要多出2亿多个晶体管,除了增加的4MB缓存的2亿个晶体管外,多出来的部分显然是做了一些改动,而且引入的SSE4指令也有一些新鲜的东西,可能其中就有给它们做解码的硬件。
我们稍微往历史的长河回头看看,直到1998年左右,那个时候处理器的主内存也停留在32MB左右,也就是说现在的处理器缓存就能够与那个时候的主内存在容量上可比,10年来的进步的确是让我们看到了摩尔定律的强大力量。
这种巨大的变化让人们对处理器的期望值大大提高了。从目前的架构实际潜力来看,Core2架构还能够继续保持频率和性能的同步增长,至少到4GHz是没有问题的。而且早在今年中的时候,G0版本的65nm处理器通过风冷就能够达到4GHz频率,我手头的QX6700运行在3.5GHz下没有问题。现在的X9650多了2亿多个晶体管,即便是频率相同,如果还用65nm工艺制造,不仅功耗解决不了,就是那么一点面积也塞不进这么多晶体管。因而,X9650多出来的2亿个晶体管显然成了包袱,仅仅从频率提升的角度,它无疑处于下风……
正因为如此,考虑到增加了如此大量的晶体管,High-K的材料在泄漏电流的控制上帮了很大的忙。并且因为未来的处理器频率提升,功耗增加,需要提高处理器电压,从而增加了处理器泄漏电流的风险,从这些层面上来说,Intel通过大幅度增加缓存的做法来提高性能,而不仅仅仰赖频率,在某种程度上也有风险,至少没有频率来得那么实在,性能提升的幅度也会不会那么大……
提高缓存当然也是Intel的一贯做法。在Pentium4时代,因为没有找到更好解决超长流水线导致的效率问题,只能通过增加缓存达到目的,并且效果还不错。现在Core2架构在很强的分支预测准确度的条件下,对缓存容量的依赖应该说没有那么大,倒是对缓存的速度有新的要求。并且容量越大,在进行查找的时候,消耗的时钟周期相对会增加,对性能的提升需要仔细调度处理器各部分工作情况,也不如频率提升那么直接。
Intel选择了一条比较难走的路。当然这种走法也让AMD难以追赶。在半导体领域,制造和设计密不可分,处理器不可能天马行空地想象,必须有一个现实的可承载的空间——这就是制造技术,显然Intel不待扬鞭自奋蹄,绑缚在摩尔定律的滚滚车轮上,不进已然是退。Intel的全球副总裁基辛格也说,处理器必须更快。的确如此,不过他们自己设定的目标显然越来越难超越,超越自己将成为Intel接下来的大难题。
 楼主| 发表于 2007-12-27 13:58:16 | 显示全部楼层
冷静的处理器
我们很有幸,拿到了Intel迄今为止最好的桌面处理器X9650。虽然我对Core架构的中文名字颇有保留,但是酷如果转过去与Cool相对应话,Core架构应该更凉快才对,但是自X6800(双核至尊版)以来,酷睿系列处理器即便是频率不高的入门版,功耗并不像想象中那么低,就算目前这种“凉快”的冬天,散热器最少可以让人感觉到“温暖”。我们估计,从那个时候起的处理器,本身的电压相对较高,而且泄漏电流相对大,使得处理器在负荷很小的时候,它的基本功率消耗也不会小。负荷启动之后,它将面临更大的泄漏电流,从而发热量成倍增长。
有人取笑现在处理器正在逐渐向烤面包机发展,在小小的200平方毫米的面积上,最恶劣的状况下需要持续散发100W左右的热量,因而在设计处理器的时候,问题不在于能不能设计出多么快的处理器,处理器能够又好又快地运行才是处理器的根本。如果一味追求速度不计其余的话,又将重复Pentium4的老路。
好像Pentium4已经成为了一个负面教材。相比之下,Core2架构的处理器已经该是正面教材,尤其是45nm的产品,标准频率下运行起来几乎感觉不不到热量的散发。即便X9650拥有12MB缓存,起始频率3GHz,设计功耗还煞有介事地标明为130W,看来远远达不到那个数值。尤其是系统负荷很轻的时候,我们能够明显感觉到处理器功耗的变化对整个系统功耗的影响,它的跳动幅度也相当大。
连接好平台,打开电脑,一切安静异常。最开始还以为系统没有启动,智能的散热器风扇懒懒散散,有意无意地转着,没有一点风声响动。电源也没有了以前呼呼劲吹的感觉,在一切出乎意料中,系统启动了,可是我们的主板不认识X9650,顺带看看处理器温度,居然显示10度,不会吧!我大吃一惊……我发现处理器频率默认降低到了2GHz,电压是1.1V,好像是深度的休眠状态一样,散热器是冰凉的……由于没有其他的测温工具,暂且信它一回。
一切正常之后,处理器的温度跟主板差不多,内部温度可以控制在30度以下,这个时候主板温度也在这个范围,即便是提高了电压,内部温度也不高。这对于OEM厂家来说是大好消息,可以省却散热风扇,用户也可以免于风扇噪音“骚扰”之苦。
由此看来,即便是45nm家族中目前最顶级的型号也不需要太大的散热措施,从而可见在这个45nm的系列处理器将会多么诱人。我似乎还记得当年从0.35微米-0.25微米时候的狂喜,从0.25-0.18微米工艺的期待,只是到了0.13微米的时候碰上了Pentium4和有问题的PentiumIII,让工艺提升带来的改进被人暂时遗忘,这种激情毫无疑问又将被进入45nm工艺的处理器唤醒。
 楼主| 发表于 2007-12-27 13:58:39 | 显示全部楼层
不要问它有多快
借用一句歌词,“频率代表它的芯”。不同的系列自然不能简单用频率一较高下,就如同拿火车根飞机比一样,不存在可比的基础,如果放在哲学的系统里面,那叫形而上学。但是在同一个平台下,较量自然有了评定的标准,那就是频率。
这代处理器的起点也不高,接了上一代的班,从QX6850的3.0GHz起跳,但是FSB不是我们原来预想的1600MHz,而是1333MHz,这让我们有些许失望,不过不要紧,我们能够想办法。
X9650的核心电压已经降低到了1.1V左右,加上标准频率下功耗这么低,发热量相比以前的处理器可以忽略不计。由此观之,这款处理器的超频潜力定然会很大,我们尝试着提高处理器的电压,到了我的经验值1.3750V。虽然显示如此,我们的华硕P5K Premium却让实际电压保持在1.3600V左右(至于我为何要把电压精确到这种程度,下文会有介绍),这是我经验中从X6800到QX6700和QX6850最能超频的稳定电压,并且这个时候需要调整芯片组的FSB电压以及终端电压需,它们之间要做仔细的搭配,否则处理器频率是无法达到极致。
这从侧面说明,处理器频率提升的难度之大,仅仅通过工艺提升恐怕无法完全如愿。此后我保持倍频不变,提升外频到400MHz(也就是等效1600MHz),处理器很轻松上到3.6GHz,一点困难都没有,这比QX6700强一些,它的极限在3.5GHz,不做仔细调整一般只能运行在3.33GHz。
既然如此,我的期望值大大提高了,要不再试试4GHz?看起来也会很容易,因而按照惯常,调整好了电压和倍频,启动,自检没有问题,但是无法进入系统。我怀疑电压不够,因而无法提供足够的功耗,让处理器在速度更高的运行中无法维持。继续提升电压,转眼间到了致命的生死关头,我从来没有让我手头的Core2处理器核心电压超过1.4000V,一般到了1.3750V能继续超频的可以继续,不能超频的估计启动都困难,继续调整电压的风险便是可能烧毁处理器。从另外一个侧面来说,如果处理器功耗过高,无法及时散热的话,电压提高了会导致恶性循环,也不能达到目的,因而两者合理的配比相当重要。
各种电压搭配都无法达到目的,索性心一横,把处理器电压调整到了1.4650V,这个时候主板侦测到的实际电压为1.4400V,已经超过正常值的0.3V左右,对于默认电压只有1.1V的处理器来说,电压的提升比例跟频率差不多了……
结果很令人吃惊,X9650毫无问题,稳定运行了起来。4GHz!我第一次超越到这个频率,并没有使用极端的手段,只是电压的合理搭配和一个良好的散热器而已,即便这个时候,处理器的温度也就40多度。我还记得第一款Pentium4至尊版处理器只能保持在3.6GHz左右。Core2能到这个频率并不奇怪,最令人吃惊的乃是这款处理器能够承受的电压达到了1.4400V,也是我手头Core2处理器的极致。以前的Core2处理器,上到这个电压之前已经死机了,高频率需要的高功耗以及高电压带来的大电流的相互交恶之下,最后折戟沉沙,我们又有疑问,变小的晶体管耐热、耐压的能力显然变小了才对,怎么电压方面却可以如此超群独卓呢?
45nm使用的High-K材料果然了得,不仅承受的电压大大上升,泄漏电流的大幅度降低也让处理器的温度得到控制。回想Pentium4至尊版的情形,工作温度可以上升到68度-70度,相比之下,X9650的确是冷静得太多了。
 楼主| 发表于 2007-12-27 13:59:07 | 显示全部楼层
45nm遭遇电源难题
由于处理器核心电压下降到了1.1V左右,这给系统设计提出了新的难题。现在的DDR2内存和DDR3内存,工作电压都要比处理器的电压高,从而判定一个数据是1还是0的分辨空间下降了,而且频率大幅提升,从而为逻辑判断增添了巨大障碍。我曾经听一个主板设计工程师抱怨,现在他们所作的就是怎么把从内存出去的数据通过缓存一级一级降低,又如何把从处理器出来的数据一级一级提高,这一连串的过程制约了处理器的继续发展,无论是频率还是处理能力。
按照现在的做法,提高频率和改善集成度,使用更先进的工艺,更先进的工艺和更快的频率都必然导致处理器核心电压大幅度下降,问题是如果外围电路不作相应的提高,频率的提升将带来新的难题。
所以,每一代新处理器出来的时候,Intel都会推出相应的芯片组来与处理器配合,目的就是解决这种问题。因而,处理器频率的提升已经成为一个系统问题,不是当年486那个时代的Turbo按键那么简单,涉及的问题已经大大复杂化了。可惜的是,Intel现在居然还没有成型的X38主板提供,四处努力也没有结果,因而这款处理器的测试是在P35的主板中完成的,同样也是老套的DDR2 800,有些寒碜了。
但是从实际测试的成绩来看,还不算糟糕,与其他的平台比起来,甚至还略有优势。我们发现,在处理器超频之后,它的性能提升与频率提升接近正比例关系,在3GHz之上,能够有这种效果非常令人感慨,Core2架构的后劲的确令人期待……
我发现,在处理器运行过程中,微小的电压波动已经会让处理器不稳定了,一般的应用还可,一旦是对处理器要求比较高的应用,有可能出现退出的情况。我开始以为这种状况与温度有关,后来察看主板电压的情况,发现处理器不稳定的时候都伴随着电压的细微波动,大约在0.008V的样子,就是这么一点的波动,足够让4GHz处理器出错退出。这回答了上一节提出的一个问题,为何要把电压标称得那么精确,读者已然了然于胸了吧。
我们最初的解决办法是通过调高电压,降低电压变动的比例,虽然幅度依然没有改变。最终结果是没有太多改变,随着频率的大幅度提升,处理器对电压已经越来越敏感了,即便是微小的0.008V都成了致命的伤害。
这对处理器的设计和系统设计提出了新要求,核心电压不可能继续再有多少空间。一个CMOS电路的启动电压也就在0.6-0.7V之间,即便是工艺提高到目前的水平,为了保证处理器与外围电路的通讯,不可能低于这个数值,也就是说未来处理器的理论极限也就是0.6V左右的核心电压,以现在来看,进入低于1V的时代不远了。
尤其是外围电路、内存、芯片组、显卡等等,都需要有统一的逻辑辨识能力的提高。加上通讯速度的提高,出错的概率也会增加,那就意味着容错的设计也必须有所改变。这一切决定了处理器恐怕要全新的设计,或者说系统都要全新设计。
 楼主| 发表于 2007-12-27 13:59:32 | 显示全部楼层
目前的难题推动全面集成
可以推测下一步理器需要全面集成。处理器包含一切所需要的模块,能够独立运行,不需要像目前一样还需要内存等等外围配件才能够运行。
虽然这是一个理想状况,但是这次的测试却强化了我的这个观点,轻微的电压变动已经让处理器受不了,这其中未必是处理器出了什么问题,而出在于和外围配件的交流和沟通上。有几次出现的错误都是内存错误,运算错误虽然也有,远比不上处理器访问内存时候错误多,由此观之,频率提升之后对于信号的信噪比提出了新的要求,对信号分辨率的要求也提高了。
不仅如此,为了进一步提高处理器频率,Intel还可能需要重新订立电源的标准,重新审视电源模块的地位。早些时候有报道说Intel将在处理器的层面上控制电源开关管的工作,从而大大提高电源的平顺程度,降低电源问题导致的处理器失效。由此看来他们的研究具有前瞻性,如果继续往32nm前进,遇到的电源方面的挑战可能超越散热等等的挑战成为最主要的问题。
但是开关电源有其致命的弱点,瞬间的响应显然跟不上处理器的要求,我们也看到Intel放慢了处理器的频率增长速度,自Pentium4之后又回到了频率的起点,这很能说明问题。而且65nm之后的处理器,本来运行在3.33GHz是没有问题的,也没有这样的产品推出,我估计遇到的真正问题恐怕并不在处理器层面上。
AMD也是如此。从生产工艺的角度,它们的处理器提升频率应该要比Intel容易,加上缓存容量更小,发热量也会更低。但是,到现在为止,AMD处理器都没有超过2.5GHz,他们没有自己的芯片组,缺乏深入的系统设计实际操作经验,决定了在面临复杂系统,频率提升仅仅仰赖制造工艺改进无法继续的时候,任何手段都无法奏效了。这是值得我们注意的新动向,而且这会与处理器工艺提升密切相伴……也就是说,AMD的频率问题只能等到系统成熟之后才能信马由缰,而不是妄图寄托在工艺上。
 楼主| 发表于 2007-12-27 14:00:05 | 显示全部楼层
8月份曾受邀前往Intel美国实验室体验新一代的45nm Xeon服务器,也就是即将发布的Xeon5400和X7300系列,它们的优异性能当时就我们留下了深刻的印象,不过因为那时的产品还都处于一个保密的阶段,我们除了拍了几张PPT外,没有对产品拍照,也成为一个遗憾。
第一批用于合作伙伴的45nm的Clovertown处理器,要不是上面的字,还真不知道他的底细,因为同为LGA775的接口,因此外壳一样

不过今天,我们拿到了Intel的45nm的测试样机,比较奇怪的是他并不是Intel的白牌产品,而是Intel的服务器嫡系伙伴Supermicro的一台2U服务器产品。
这是处理器的背面,比正面的区别大多了,上一代双核Xeon 5300见下面的图

背部的接口虽然一样,但是电容电阻完全不同
 楼主| 发表于 2007-12-27 14:00:43 | 显示全部楼层
废话就不多说了,先来看看这台服务器的真实面貌。

标准的超微服务器纸箱

应该算标准的零售版了,因为连上机架的滑轨都准备好了



Intel的这个标虽然出现很久了,但是第一次在产品上看到

服务器正面外观,标准的2U服务器,可安装8块3.5英寸热插拔硬盘

近期大家似乎都喜欢用15K.5,这台服务器插了两块143GB的硬盘

机器背部极其简单,主要的接口都集中在机箱中间,将大量的位置留给了扩展卡
热交换电源
ABLECOM的电源有90%效率的版本,这个700W也足够支持一台双路8核服务器
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|Archiver|boway Inc. ( 冀ICP备10011147号 )

GMT+8, 2024-11-25 00:40 , Processed in 0.101163 second(s), 16 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表