51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端

Intel虚拟化技术-从VT-x到VT-d

云计算 虚拟化
当前非常热门的Virtualization虚拟化技术的出现和应用其实已经有数十年的历史了,在早期,这个技术主要应用在服务器以及大型主机上面,现在,随着PC性能的不断增长,Virtualization也开始逐渐在x86架构上流行起来。

当前非常热门的Virtualization虚拟化技术的出现和应用其实已经有数十年的历史了,在早期,这个技术主要应用在服务器以及大型主机上面,现在,随着PC性能的不断增长,Virtualization也开始逐渐在x86架构上流行起来。

 

虚拟化技术将各种资源虚拟出多台主机,以提高这些资源的共享率和利用率

虚拟化可以将IT环境改造成为更加强大、更具弹性、更富有活力的架构。通过把多个操作系统整合到一台高性能服务器上,***化利用硬件平台的所有 资源,用更少的投入实现更多的应用,还可以简化IT架构,降低管理资源的难度,避免IT架构的非必要扩张。客户虚拟机的真正硬件无关性还可以实现虚拟机的 运行时迁移,可以实现真正的不间断运行,从而***化保持业务的持续性,而不用为购买超高可用性平台而付出高昂的代价。

 

和Sun上的虚拟化技术(CPU分区)比起来,x86上的虚拟化要落后不少的,然而确实在不断进步着,在数年前,x86上还没有什么硬件支持, 甚至连指令集都不是为虚拟化而设计,这时主要靠完全的软件来实现虚拟化,当时的代表是VMware的产品,以及尚未被Microsoft收购 Connectix开发的Virtual PC,在服务器市场上应用的主要是VMware的产品,包括GSX Server和稍后的ESX Server,这些软件虚拟化产品在关键指令上都采用了二进制模拟/翻译的方法,开销显得比较大,后期出现了Para-Virtualization部分 虚拟化技术,避免了一些二进制转换,性能得到了提升,不过仍然具有隔离性的问题。
 

 

今天,虚拟化技术的各方面都有了进步,虚拟化也从纯软件逐深入到处理器级虚拟化,再到平台级虚拟化乃至输入/输出级虚拟化,代表性技术就是Intel Virtualization Technology for Directed I/O, 简写为Intel VT-d,在介绍这个Intel VT-d之前,我们先来看看x86硬件虚拟化的***步:处理器辅助虚拟化技术,也就是Intel Virtualization Technology,分为对应Itanium平台的VT-i和对应x86平台的VT-x两个版本。AMD公司也有对应的技术AMD-V,用于x86平 台。我们介绍的是x86平台上的VT-x技术,VT-i技术原理上略为相近。

#p#

纯软件虚拟化主要的问题是性能和隔离性。Full Virtualization完全虚拟化技术可以提供较好的客户操作系统独立性,不过其性能不高,在不同的应用下,可以消耗掉主机10%~30%的资源。 而OS Virtualization可以提供良好的性能,然而各个客户操作系统之间的独立性并不强。无论是何种软件方法,隔离性都是由Hypervisor软件 提供的,过多的隔离必然会导致性能的下降。

这些问题主要跟x86设计时就没有考虑虚拟化有关。我们先来看看x86处理器的Privilege特权等级设计。

 

x86架构为了保护指令的运行,提供了指令的4个不同Privilege特权级别,术语称为Ring,从Ring 0~Ring 3。Ring 0的优先级***,Ring 3***。各个级别对可以运行的指令有所限制,例如,GDT,IDT,LDT,TSS等这些指令就只能运行于Privilege 0,也就是Ring 0。要注意Ring/Privilege级别和我们通常认知的进程在操作系统中的优先级并不同。

操作系统必须要运行一些Privilege 0的特权指令,因此Ring 0是被用于运行操作系统内核,Ring 1和Ring 2是用于操作系统服务,Ring 3则是用于应用程序。然而实际上并没有必要用完4个不同的等级,一般的操作系统实现都仅仅使用了两个等级,即Ring 0和Ring 3,如图所示:

也就是说,在一个常规的x86操作系统中,系统内核必须运行于Ring 0,而VMM软件以及其管理下的Guest OS却不能运行于Ring 0——因为那样就无法对所有虚拟机进行有效的管理,就像以往的协同式多任务操作系统(如,Windows 3.1)无法保证系统的稳健运行一样。在没有处理器辅助的虚拟化情况下,挑战就是采用Ring 0之外的等级来运行VMM (Virtual Machine Monitor,虚拟机监视器)或Hypervisor,以及Guest OS。

现在流行的解决方法是Ring Deprivileging(暂时译为特权等级下降),并具有两种选择:客户OS运行于Privilege 1(0/1/3模型),或者Privilege 3(0/3/3模型)。

无论是哪一种模型,客户OS都无法运行于Privilege 0,这样,如GDT,IDT,LDT,TSS这些特权指令就必须通过模拟的方式来运行,这会带来很明显的性能问题。特别是在负荷沉重、这些指令被大量执行的时候。

同时,这些特权指令是真正的“特权”,隔离不当可以严重威胁到其他客户OS,甚至主机OS。Ring Deprivileging技术使用IA32架构的Segment Limit(限制分段)和Paging(分页)来隔离VMM和Guest OS,不幸的是EM64T的64bit模式并不支持Segment Limit模式,要想运行64bit操作系统,就必须使用Paging模式。

对于虚拟化而言,使用Paging模式的一个致命之处是它不区分Privileg 0/1/2模式,因此客户机运行于Privileg 3就成为了必然(0/3/3模型),这样Paging模式才可以将主机OS和客户OS隔离开来,然而在同一个Privileg模式下的不同应用程序(如, 不同的虚拟机)是无法受到Privileg机构保护的,这就是目前IA32带来的隔离性问题,这个问题被称为Ring Compression。

IA32不支持VT,就无法虚拟64-bit客户操作系统

这个问题的实际表现是:VMware在不支持Intel VT的IA32架构CPU上无法虚拟64-bit客户操作系统,因为无法在客户OS之间安全地隔离。

#p#

作为一个芯片辅助(Chip-Assisted)的虚拟化技术,VT可以同时提升虚拟化效率和虚拟机的安全性,下面我们就来看看Intel VT带来了什么架构上的变迁。我们谈论的主要是IA32上的VT技术,一般称之为VT-x,而在Itanium平台上的VT技术,被称之为VT-i。

VT-x将IA32的CU操作扩展为两个forms(窗体):VMX root operation(根虚拟化操作)和VMX non-root operation(非根虚拟化操作),VMX root operation设计来供给VMM/Hypervisor使用,其行为跟传统的IA32并无特别不同,而VMX non-root operation则是另一个处在VMM控制之下的IA32环境。所有的forms都能支持所有的四个Privileges levels,这样在VMX non-root operation环境下运行的虚拟机就能完全地利用Privilege 0等级。

 

两个世界:VMX non-root和VMX root

和一些文章认为的很不相同,VT同时为VMM和Guest OS提供了所有的Privilege运行等级,而不是只让它们分别占据一个等级:因为VMM和Guest OS运行于不同的两个forms。

由此,GDT、IDT、LDT、TSS等这些指令就能正常地运行于虚拟机内部了,而在以往,这些 特权指令需要模拟运行。而VMM也能从模拟运行特权指令当中解放出来,这样既能解决Ring Aliasing问题(软件运行的实际Ring与设计运行的Ring不相同带来的问题),又能解决Ring Compression问题,从而大大地提升运行效率。Ring Compression问题的解决,也就解决了64bit客户操作系统的运行问题。

为了建立这种两个虚拟化窗体的架构,VT-x设计了一个Virtual-Machine Control Structure(VMCS,虚拟机控制结构)的数据结构,包括了Guest-State Area(客户状态区)和Host-State Area(主机状态区),用来保存虚拟机以及主机的各种状态参数,并提供了VM entry和VM exit两种操作在虚拟机与VMM之间切换,用户可以通过在VMCS的VM-execution control fields里面指定在执行何种指令/发生何种事件的时候,VMX non-root operation环境下的虚拟机就执行VM exit,从而让VMM获得控制权,因此VT-x解决了虚拟机的隔离问题,又解决了性能问题。

#p#

我们可以看到,Inter VT的出现,可以解决了重要的虚拟处理器架构问题,让纯软件虚拟化解决方案的性能问题得以大大缓解。然而要做的事情还有很多。

我们知道对于服务器而言,很重要的一个组成部分就I/O,CPU的计算能力提升虽然可以更快地处理数据,但是前提是数据能够顺畅的到达CPU, 因此,无论是存储,还是网络,以及图形卡、内存等,I/O能力都是企业级架构的一个重要部分。为此,人们不但在传输带宽上投资(比如从百兆以太网到千兆以 太网再到万兆以太网),还在各种系统和架构上进行了大量的投入(比如吞吐量更高的RAID系列、多层数据中心)。

在虚拟化技术中,随着整体处理器资源的利用效率的提升,对数据I/O也提出了更高的要求。

VMM虚拟机管理器必须提供I/O虚拟化来支持处理来自多个客户机的I/O请求,当前的虚拟化技术采用下列的方式来处理I/O虚拟化。
 

 

模拟I/O设备:VMM对客户机摸拟一个I/O设 备,通过完全模拟设备的功能,客户机可以使用对应真实的驱动程序,这个方式可以提供***的兼容性(而不管这个设备事实上存不存在),但是显然这种模拟会影 响到性能。作为例子,各种虚拟机在使用软盘映像提供虚拟软驱的时候,就运行在这样的方式,以及Virtual PC的模拟的真实的S3 Virge 3D显卡,VMware系列模拟的Sound Blaster 16声卡,都属于这种方式。

 

额外软件界面:这个模型比较像I/O模拟模 型,VMM软件将提供一系列直通的设备接口给虚拟机,从而提升了虚拟化效率,这有点像Windows操作系统的DirectX技术,从而提供比I/O模拟 模型更好的性能,当然兼容性有所降低,例如VMware模拟的VMware显卡就能提供不错的显示速度,不过不能完全支持DirectDraw技 术,Direct3D技术就更不用想了。相似的还有VMware模拟的千兆网卡,等等,这些品牌完全虚拟的设备(例如,VMware牌显卡,VMware 牌网卡)需要使用特制的驱动程序部分直接地和主机、硬件通信,比起以前完全模拟的通过虚拟机内的驱动程序访问虚拟机的十兆百兆网卡,可以提供更高的吞吐 量。

现在的I/O设备虚拟化主要是采用模拟方式或者软件接口方式,因此性能上很容易成为瓶颈——毕竟传统的机器上,I/O设备都很容易成为瓶颈,因 此Intel就适时提出了Intel Virtualization Technology for Directed I/O,简称为Intel VT-d。

#p#

I/O虚拟化的关键在于解决I/O设备与虚拟机数据交换的问题,而这部分主要相关的是DMA直接内存存取,以及IRQ中断请求,只要解决好这两个方面的隔离、保护以及性能问题,就是成功的I/O虚拟化。

 

和处理器上的Intel VT-i和VT-x一样,Intel VT-d技术是一种基于North Bridge北桥芯片(或者按照较新的说法:MCH)的硬件辅助虚拟化技术,通过在北桥中内置提供DMA虚拟化和IRQ虚拟化硬件,实现了新型的I/O虚 拟化方式,Intel VT-d能够在虚拟环境中大大地提升 I/O 的可靠性、灵活性与性能。

传统的IOMMUs(I/O memory management units,I/O内存管理单元)提供了一种集中的方式管理所有的DMA——除了传统的内部DMA,还包括如AGP GART、TPT、RDMA over TCP/IP等这些特别的DMA,它通过在内存地址范围来区别设备,因此容易实现,却不容易实现DMA隔离,因此VT-d通过更新设计的IOMMU架构, 实现了多个DMA保护区域的存在,最终实现了DMA虚拟化。这个技术也叫做DMA Remapping。

 

I/O设备会产生非常多的中断请求,I/O虚拟化必须正确地分离这些请求,并路由到不同的虚拟机上。传统设备的中断请求可以具有两种方式:一种 将通过I/O中断控制器路由,一种是通过DMA写请求直接发送出去的MSI(message signaled interrupts,消息中断),由于需要在DMA请求内嵌入目标内存地址,因此这个架构须要完全访问所有的内存地址,并不能实现中断隔离。

VT-d实现的中断重映射(interrupt-remapping)架构通过重新定义MSI的格式来解决这个问题,新的MSI仍然是一个 DMA写请求的形式,不过并不嵌入目标内存地址,取而代之的是一个消息ID,通过维护一个表结构,硬件可以通过不同的消息ID辨认不同的虚拟机区域。 VT-d实现的中断重映射可以支持所有的I/O源,包括IOAPICs,以及所有的中断类型,如通常的MSI以及扩展的MSI-X。

VT-d进行的改动还有很多,如硬件缓冲、地址翻译等,通过这些种种措施,VT-d实现了北桥芯片级别的I/O设备虚拟化。VT-d最终体现到虚拟化模型上的就是新增加了两种设备虚拟化方式:

 

左边是传统的I/O模拟虚拟化,右边是直接I/O设备分配

直接I/O设备分配:虚拟机直接分配物理I/O设 备给虚拟机,这个模型下,虚拟机内部的驱动程序直接和硬件设备直接通信,只需要经过少量,或者不经过VMM的管理。为了系统的健壮性,需要硬件的虚拟化支 持,以隔离和保护硬件资源只给指定的虚拟机使用,硬件同时还需要具备多个I/O容器分区来同时为多个虚拟机服务,这个模型几乎完全消除了在VMM中运行驱 动程序的需求。例如CPU,虽然CPU不算是通常意义的I/O设备——不过它确实就是通过这种方式分配给虚拟机,当然CPU的资源还处在VMM的管理之 下。

I/O设备共享:这个模型是I/O分配模型的一个扩展,对硬件具有很高的要求,需要设备支持多个功能接口,每个接口可以单独分配给一个虚拟机,这个模型无疑可以提供非常高的虚拟化性能表现。

运用VT-d技术,虚拟机得以使用直接I/O设备分配方式或者I/O设备共享方式来代替传统的设备模拟/额外设备接口方式,从而大大提升了虚拟化的I/O性能。

#p#

 

主流双路Xeon Stoakley平台将支持Intel VT-d技术

 

高端四路Caneland平台也会支持VT-d功能

根据资料表明,不日发布的Stoakley平台和Caneland平台上将包含VT-d功能,Stoakley平台是现在的Bensley的下 一代产品,用于双路Xeon处理器,而Caneland则是Truland的继任者,用于四路Xeon处理器,这些芯片组都能支持***的45nm Penryn处理器。

 

从Intel虚拟化技术发展路线图来看,虚拟化无疑是从处理器逐渐扩展到其他设备的,从VT-i/VT-x到VT-d就非常体现了这个过程,对 于关注I/O性能的企业级应用而言,完成了处理器的虚拟化和I/O的虚拟化,整个平台的虚拟化就接近完成了,因此在未来,Intel将会持续地开发VT- d技术,将各种I/O设备中加入虚拟化特性,从而提供一个强大的虚拟化基础架构

 

 

 

 

 

 

 

 

 

 

 

 

 

 

责任编辑:王勇 来源: 博客
相关推荐
如何知道CPU是否支持虚拟技术VT
今天,我们将学习另一个有用的话题如何知道CPU是否支持虚拟化技术(VT)?在安装虚拟化程序(如VirtualBox或VMWareworkstation)以在Linux系统上运行虚拟机之前,你应该首先验证这一点。

2018-04-08 09:20:00

Linux CPU 虚拟化技术
关于“虚拟”(Intel VT和AMD SVM)的一些认识
虚拟化,就是把一台计算机模拟成多台逻辑计算机,在这些逻辑计算机上同时运行不同的程序,而相互之间不发生干扰。

2019-11-18 14:27:01

虚拟化 Intel V AMD SVM
Windows 10系统,怎么才能开通电脑vt虚拟技术,学会以下操作即可
蓝屏死机是比较普遍的系统奔溃难题。一般每一个蓝屏都是会有一个相匹配的蓝屏代码,我们可以根据蓝屏代码寻找相匹配的修复方法。这儿给大伙儿共享一些蓝屏代码0x0000008e的修复方法,有碰到蓝屏代码0x0000008e难题的盆友能够试着一下方法是不是有效。

2021-04-28 22:53:34

Windows 10 Windows 微软
技术支招:虚拟私有云
我们都知道虚拟化的构成:一台运行一个或者多个虚拟机的主机,通常还有服务器(但是并非必要配置)。

2011-06-27 09:24:19

虚拟化 私有云
虚拟技术深度解密(下)
随着技术的发展,目前主流的虚拟化软件包括KVM、Xen、HyperV、VmwareESXI、QEMU等,主流软件其功能方面做的都还不错,尤其是在Intel提供了VT技术之后,虚拟化软件都做的很完美。

2018-03-21 14:16:45

虚拟化 技术 解密
封闭融合 PowerVM较量x86虚拟
去年上半年,英特尔和IBM分别发布NehalemEX(至强7500)和POWER7处理器,一场x86与小型机之间的较量就此拉开,现在,这场战争已经蔓延到了虚拟化领域,因为不管是x86还是小型机...

2012-01-04 09:59:50

微软虚拟战略看虚拟技术发展
当今随着经济危机的不断加剧,各行各业对于企业自身运营的投入都有所收减,纷纷转向了网络信息化平台建设,而这就造就了IT投资的加大,如何在不增加投入,又确保企业信息化正常建设,能取得同等效果的同时,虚拟化因为能减少对服务器利用率,减少设备的需求,同时又能为企业节源大量的能源成本,让管理者能更加灵活地管理数据中心,简化新软件应用程序的实...

2009-05-20 18:53:01

微软 虚拟化 服务器
虚拟云端数据中心
一夜之间,IT业仿佛实现了飞跃性的跨越:从虚拟化到达了云计算的境界,在这场演进中,我们一直看到的是IBM这个蓝色巨人的影子,从业界第一台应用虚拟化的大型机,到目前IBM拥有虚拟化领域最完整和最领先的解决方案,从硬件虚拟化到虚拟化软件和管理,再到新一代数据中心,甚至基于虚拟化的云计算基础架构,IBM在帮助企业整合资源,管理工作负载,自动化流...

2010-10-22 13:43:04

虚拟化 云计算 数据中心
开源Linux虚拟优势大于Windows
随着处理器应用虚拟化技术(VT)的问世,虚拟化越来越受到业界的关注。相对于传统的软件虚拟化解决方案,虚拟化技术基于硬件的完全虚拟化成为可能,更是把虚拟化这个技术推广化。

2012-08-22 09:41:54

虚拟化
虚拟容器,详谈各种服务虚拟技术及其应用场景
近几年容器(Container)、Kubernetes等技术在数据中心、云计算、各互联网公司的业务服务中得到广泛应用。

2020-06-10 07:42:52

虚拟机 容器 应用场景
IT故事:VMware虚拟VMware云的历程
这系列文章解密VMware的云之路。作者MikeLaverick在本文中分析VMware云策略与挑战。我想对被大家关注过N百遍的云计算焦点——如遵从和安全障碍——不提,我关注妨碍云广泛采用的行业壁垒,尤其侧重VMware的云挑战。

2010-12-24 09:36:37

Interop:服务器虚拟私有云
在Interop的专题讨论会上,供应商和客户就服务器虚拟化一路走来所经历的教训进行了探讨。

2013-05-17 10:28:30

Interop 服务器虚拟化 私有云
容器技术的演进:DockerKubernetes
容器化技术在现代软件开发和部署中扮演着至关重要的角色。它们为开发人员和运维团队提供了一种高效、可移植且可扩展的方式来管理应用程序和其依赖项。在容器化技术的演进过程中,Docker和Kubernetes两者都是引领者,它们对于简化部署、提高可靠性和管理复杂性起到了关键作用。

2023-08-28 16:10:00

容器化 Docker Kubernetes
AMD沉浮全景:逼宫Intel辉煌不再
从1969年创立以来,AMD公司已走过近44年历程,该公司经历过哪些辉煌与沉浮?包括处于劣势地位的AMD是如何逼宫Intel的,目前又在面临哪些问题和处境?本篇将详细为您讲述。

2013-05-13 09:56:34

AMD Intel 芯片
你对KVM了解多少?
KernelbasedVirtualMachine的简写,是RHEL5.4推出的最新虚拟化技术,目前红帽只支持在64位的RHELl5.4以上运行KVM,同时硬件需要支持VT技术,必须在64位bit环境中使用KVM。

2012-12-27 10:58:24

KVM KVM概念
Intel至强5500:生是虚拟的人
随着各类报道和评测,Intel至强5500已经揭开了自己神秘的面纱,人们突然发现,Intel至强5500似乎就是为了虚拟化而诞生的芯片。Intel至强5500可以自豪地说:“我生是虚拟化的人,死是虚拟化的死人”。

2009-08-18 10:09:51

Intel至强5500
介绍Fedora Core虚拟的操作效果
在FedoraCore中,使用Xen3.0.2,半虚拟化和完全FedoraCore虚拟化都可以实现。完全虚拟需要包含VT支持的处理器。半虚拟化不需要特殊的硬件,但是需要修改客户操作系统。

2009-12-17 10:47:31

Fedora Core
云计算技术变迁:虚拟容器
很多伟大产品都是来自于企业内部,一开始是企业出于自身需求开发了某种工具,后来发现这个工具不仅可以满足自身需求,还能满足市场上其他用户的需求。于是企业管理层决定把这个工具开放出来,形成产品推向市场,企业自身就是这个产品的种子用户。云计算的诞生就是依赖这样一条路径。

2021-01-16 23:27:32

云计算 容器 工具
烟筒水平式转变 虚拟应用爆发增长
虚拟化技术的应用从2005年到2008年经历了默默培育期,惠普公司企业计算及专业服务集团技术服务部咨询顾问倪晓俊认为,虚拟化技术将从2009年进入爆发式应用期,促成爆发应用的因素主要来自于绿色环保和节约成本的需求。

2009-02-25 17:14:46

虚拟化 绿色环保 数据中心
开源虚拟优势更胜Windows
随着处理器应用虚拟化技术(VT)的问世,虚拟化越来越受到业界的关注。相对于传统的软件虚拟化解决方案,虚拟化技术基于硬件的完全虚拟化成为可能,更是把虚拟化这个技术推广化。但是软件的虚拟化并不是VMware、微软、思杰等传统软件厂商天下,开源生力军红帽加入使得Linux虚拟化比较Windows有更胜一筹趋势。

2012-03-19 22:05:31

开源 虚拟化

玻璃钢生产厂家玻璃钢雕塑贴银箔番禺玻璃钢花盆批发辽宁雕塑玻璃钢卡通广场玻璃钢人物雕塑制作商场门头设计+商场美陈卡通雕塑玻璃钢黑龙江公园玻璃钢雕塑供应商常见商场美陈价格广东大型主题商场美陈厂家直销商场美陈地砖铺设宁夏气球玻璃钢雕塑工艺品玻璃钢雕塑图像开封价值观校园玻璃钢雕塑长沙卡通玻璃钢雕塑订制广州公园玻璃钢雕塑价格池州户外玻璃钢雕塑供应商上海玻璃钢雕塑商佛山辽源玻璃钢人物雕塑苏州玻璃钢雕塑摆件研发池州欧式玻璃钢雕塑定制义乌做商场美陈的在哪里初冬商场美陈大商场新年美陈方案常州花园玻璃钢花盆海口商场美陈公司服务为先玻璃钢产品大象雕塑漯河标识玻璃钢雕塑天津玻璃钢雕塑壁纸遵义玻璃钢雕塑厂玻璃钢主题雕塑香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化