HCIP学习

华为云Stack架构及组件介绍

华为云Stack产品组件与公共组件介绍

华为云Stack组件一览图

image-1

产品组件介绍

FusionSphere OpenStack方案介绍

FusionSphere OpenStack是华为面向多行业客户推出的云操作系统解决方案。FusionSphere基于开放的OpenStack架构,并针对企业云计算数据中心场景进行设计和优化,提供了强大的虚拟化功能和资源池管理能力、丰富的云基础服务组件和工具、开放标准化的api接口,可以帮助客户水平整合数据中心物理和虚拟资源,垂直优化业务平台。

image-2

image-3

FusionSphere CPS介绍

Cloud Provisioning Service(CPS)负责IaaS的云平台层的部署和升级,是IaaS层中真正面向硬件设备,并将其池化软件化的部件。从外部看,CPS的作用就是把IaaS层的各种服务给部署好、配置好、升级好。

image-4

image-5

同libvirt/nova的关系类似,UVP、LVM等软件提供单机的能力,CPS封装后提供跨主机的软件管理和配置的能力。

FusionSphere CPS功能分类

CPS的功能分为两类,一类是和底层的工具强相关的,另一类更多的是编排和管理。

image-6

FusionSphere CPS部署模式

CPS产品为C/S架构,CPS Server组件部署在控制节点上,运行模式为一主两备,用于接收来自CPS Web Portal

CPS Client组件部署在所有节点,每个节点都为主用,用于接收来自CPS Server的消息并把消息生效到节点里。

image-7

Service OM介绍

Service OM是资源池(计算、存储、网络)以及基础云服务(ECS、EVS、VPC)的管理工具,管理员使用Service OM对资源池及基础云服务进行管控和配置

image-8

Service OM部署模式

HCSD安装工具在自动化安装过程中会调用CPS以主备模式创建allinonefm0、allinonefm1两台虚拟机,并运行在控制节点。

image-9

方案介绍

ManageOne由服务中心、运维中心和运营指挥中心三大模块组成。

ManageOne在解决方案中承担CMP的职责,通过自研和集成的方式,为企业客户提供租用的公有云资源统一管理的能力,包括租户自主服务界面,云服务管理和服务目录,计量,计算、存储和网络资源自动化配置、云服务和云资源的运维监控以及运营指挥分析。

image-10

ManageOne服务中心(SC)介绍

服务中心(Service Center)是ManageOne面向租户和运营商管理的入口,提供云服务的运营集成能力,支持多种云服务集成到ManageOne。通过Console Home集成各云服务Console,为用户提供统一的云服务使用界面入口。通过服务编排将各个云服务能力编排成适合用户申请的云服务,并在服务目录中进行统一展示。

服务中心是对企业IT架构及IT运营模式的重构,将企业IT服务从被动服务变成主动服务和自服务。

  • 服务供给侧改革,使得管理员彻底从繁杂、重复的配置工作中解脱出来,将主要精力聚焦于业务提供高效率、高质量的服务上来。
  • 服务消费测运营流程建设,业务人员自助在线订阅服务,让业务部门真实体会到云带来的效率提升。
ManageOne运维中心(OC)介绍

运维中心Operation Center是ManageOne运维管理的唯一入口,提供云服务运维管理能力,实现对云服务端到端的监控能力,包括云服务自身、租户资源和云服务所依赖的基础设施(计算、存储、网络)。运维中心收集并展示上述监控对象的告警信息,同时基于这些监控和告警数据提供报表、大屏以及高级运维数据分析能力。同时运维中心也提供各云服务运维系统的集成能力,将多个云服务的常用配置集成进来,实现运维统一入口。

image-11

ManageOne运营指挥中心(OCC)介绍

运营指挥中心(Operation Command Center)是华为混合云面向政企客户新推出的混合云大脑,帮助客户构建成本、效率、质量、风险、合规全方位的IT智慧运营分析决策体系,与ManageOne服务中心(SC)和运维中心(OC)三位一体协同联动,为客户提供“实时可视、联动指挥、智慧运营”的全场景云管平台解决方案。

image-12

eSight介绍

eSight是ManageOne系统中的组件,提供对云服务所依赖的基础硬件设施的全方位监控,收集基础设施的告警、性能等监控数据,并汇聚上报至运维中心,同时支持通过北向接口SNMP、FTP、HTTPS协议与客户测运营支撑系统OSS进行对接,也支持邮件、短消息等进行消息推送。

image-13

eSight部署模式
  • eSight是华为云Stack方案中,主备模式部署,运行在eSight-group01、eSight-group02管理虚拟机上。
  • eSight-group01、eSight-group02管理虚拟机运行在控制节点上,可在Service OM里查看该虚拟机详细信息。

image-14

FusionSphere OpenStack、ManageOne与eSight的关系

Service OM负责采集计算、存储、网络等软件资源池信息,比如告警、性能数据等等。

eSight负责采集硬件(服务器、存储、交换机、路由器等)信息,比如告警、性能数据等等。

Service OM和eSight同时将采集到的信息上报到ManageOne的运维中心OC,并通过统一的界面对用户进行呈现。

FusionCare工具介绍

FusionCare提供健康检查和信息收集功能。健康检查部分能够一键式检查相关节点的健康状态,并生成健康检查报告;方便技术支持工程师和维护工程师快速了解系统的健康状况。信息收集部分能够使技术支持工程师和维护工程师快速收集日志,简化了技术支持工程师和维护工程师的信息收集工作,也方便华为研发人员定位故障。

image-15

FusionCare工具巡检实现原理

云服务巡检:各云服务向APIGateway注册巡检接口,从而通过FusionCare实现各云服务的统一巡检能力,支持基础云平台、基础云服务和技术中台与AI数据中台服务。

底座巡检:FusionCare调用各底座产品自由的几口进行巡检。

image-16

FusionCare部署模式

FusionCare在华为云Stack方案中,单机模式部署,运行在PUB-SRV-03管理虚拟机上。

PUB-SRV-03管理虚拟机运行在控制节点上,可在Service OM里查看该虚拟机详细信息。

CloudNetDebug工具介绍

面向运维人员,实现界面自动化抓包和拨测的运维工具。CloudNetDebug集成了拨测和抓包两个功能,用于处理数据中心内可能出现的各种网络问题,通过拨测功能可自动化检测业务网络是否出现断流,是否出现丢包,通过抓包功能可实现自动化抓包,支持基于业务流的多点协同抓包,支持灵活的单点虚拟机网卡抓包和主机网卡抓包。

image-17

CloudNetDebug工具架构

CloudNetDebug包括Server和Agent两部分

Server部署在控制节点的一台虚拟机上,Server里部署了拨测/抓包Server,HawkEye Controller,HawkEyeAnalyzer和Redis组件。

Agent部署在计算节点和网络节点。

image-18

目前版本的CloudNetDebug支持对计算节点和网络节点上vRouter/ENAT、BR(Board Router)、ELB(Elastic Load Balance)、硬件交换机/防火墙进行抓包和拨测。

拨测基本原理

image-19

拨测的业务流程

  1. 根据管理员输入的五元组,判断流量类型,识别流量的注入点,中间监测点和终结点,获取流量的源MAC和目的MAC地址。
  2. CloudNetDebug识别流量注入点所在的agent,在网关的业务口或者计算节点ply网桥注入模拟报文,模拟报文带染色标记。
  3. 报文注入后,虚拟网元(host,网关)在流量路径的中间监测点识别是否带有染色标记的流量经过,识别到流量后会把流量统一复制之后发送到CloudNetDebug的Server端。
  4. 物理交换机收到染色报文后,匹配交换机的ACL规则,把染色报文镜像一份发送到远端的CloudNetDebug的Server端。
  5. 终结点的agent识别到染色报文,把报文统一复制一份到CloudNetDebug的Server端,并且做流量的终结。
  6. CloudNetDebug的Server端根据agent和交换机发过来的报文,做路径分析,丢包检测,时延检测,给出分析结果。
抓包基本原理

抓包的业务流程

image-19

  1. 根据管理员输入的五元组,判断流量类型,识别流量的注入点,中间监测点和终结点。
  2. 抓包任务开始后,CloudNetDebug Server在所有的agent统一下发抓包任务、在所有的监测点同时启动报文抓取。
  3. Agent按照报文过滤要求进行报文抓取,完成相应时间和报文个数的抓取任务,抓取文件暂时存储本地。
  4. Server查看某个报文,从agent获取抓包文件,供运维管理员下载。

公共组件介绍

很简单,有基础的可以略过~~

Service OM资源管理

Service OM简介

介绍

在华为云Stack解决方案中,Service OM是FusionSphere OpenStack的操作管理界面,是资源池(计算、存储、网络)以及基础云服务的管理工具。

image-20

定位

Service OM向下对接FusionSphere OpenStack组件,向上对接ManageOne以及云服务。

image-21

逻辑结构

通过对计算服务、存储服务、网络服务和安全服务的配置管理,为租户业务提供可靠的计算、存储、网络和安全资源。

image-22

Service OM计算资源管理

计算资源模型

image-23

计算资源概览

Service OM中的计算资源管理可分为镜像配置管理、裸金属服务器配置管理、虚拟机配置管理和主机配置管理。用户可以点击服务列表中的“计算资源”配置并管理虚拟机和主机、“镜像资源”配置并管理镜像、“裸金属资源”配置并管理裸金属实例。

image-24

主机组

云服务器根据CPU、内存等资源划分为通用型、GPU型、USB直通型等。主机组是虚拟化类型相同的一类主机的组合。主机组与云服务器类似,也分为通用型主机组、GPU型主机组等。创建弹性云服务器时,系统会根据选择的云服务器的类型,调度对应类型主机组的资源完成创建。

创建主机组包含主机组名称、所属可用分区、包含的主机以及主机组的资源类型

虚拟机

Service OM可以对管理虚拟机进行生命周期管理、冷热迁移、查看虚拟机详细信息等操作。

在使用HCS进行虚拟机发放时,需要使用服务中心(SC)的ECS服务创建虚拟机,创建完成的虚拟机,不支持在Service OM上进行删除操作。

制作ECS服务器镜像时,可以通过Service OM创建虚拟机,安装UVP VMTools与Cloud-init后制作镜像。

虚拟机组

虚拟机组用来管理虚拟机之间的调度策略。创建虚拟机时指定虚拟机组,系统会根据虚拟机组的策略定义该组内虚拟机之间的调度规则。

规格

创建弹性云服务器前,需要在Service OM上创建弹性云服务器的规格。规格对应弹性云服务器创建界面上“vCPU”、“内存”、“云服务器类型”、“规格名称”等等。

创建规格时,通过定义不同的vCPU、内存、资源类型等参数,结合主机组,可以满足不同性能要求,也可以规范系统中计算实例的资源使用。

镜像

镜像时虚拟机的副本,包含操作系统、应用软件等,用于发放虚拟机和应用实例。Service OM上镜像配置管理包括镜像注册、管理镜像和共享管理。

Service OM存储资源管理

存储资源概览

Service OM存储资源为EVS提供存储资源,用户可以在EVS创建界面选择Service OM中的磁盘类型。

image-25

后端存储

后端存储时存储云硬盘资源的逻辑存储设备,一个后端存储包含一套存储阵列(华为分布式块存储、华为SAN存储或异构存储)上的一个或多个存储池。

Service OM提供后端存储详细信息查看功能。

如果对集群添加新的后端存储,Service OM无法实现该动作,需要登录CPS界面进行后端存储添加操作。

磁盘类型

磁盘类型是在创建磁盘是可供选择的类型或标签,一个磁盘类型对应一组磁盘所使用的后端存储。用户可以根据接入的不同后端存储类型划分云硬盘的磁盘类型,以便满足业务不同性能要求。

image-26

磁盘

磁盘是计算机主要的存储介质,是指利用磁记录技术存储数据的存储器,管理员可在Service OM创建磁盘,并挂载管理虚拟机供管理虚拟机使用。租户创建的EVS可在Service OM的磁盘界面中查看。

通过Service OM可以创建磁盘,并可以进行相关修改、挂载、磁盘迁移和删除的操作,也可以看到运营中心(SC)EVS云服务创建的磁盘,但此时仅仅只能查看,无法进行相关操作。

Service OM网络资源管理

网络资源概览

Service OM网络资源为网络云服务提供网络资源,管理员可在Service OM上查看已创建的物理网络数量、虚拟网络数量、外部网络数量、端口数量、专线接入点数量、交换机设备数量、交换机设备组数量、二层桥接接入点数量。

物理网络

Service OM智能对物理网络进行查看,如果想创建一个新的物理网络必须在CPS里“配置 > 网络”里进行新增。物理网络新增完毕后,还必须完成网口映射配置才能在Service OM里正常使用。

虚拟网络

虚拟网络必须承载在某个物理网络上,Service OM可以创建虚拟网络,在SC的VPC服务里添加的每一个子网也会自动生成对应的虚拟网络,此时Service OM仅仅只有查看权限,无法进行修改。

虚拟网络分为VLAN和LOCAL两种类型。

  • VLAN:带有VLAN标识的网络,支持映射到实际的网络上。一个物理网络上可以创建多个VLAN类型的虚拟网络。
  • LOCAL:LOCAL类型的虚拟网络,使用该网络创建的虚拟机的报文不会进入物理网络。

外部网络

外部网络是用于连接系统外网的网络,系统外网即为用户已有网络,可以是企业內部网络,也可以是公共网络(Internet)等。

外部网络(dummy_external_network)用作VPC的直连网络。

管理员可创建EIP和VPN的外部网络,作为弹性IP、VPN等业务所需的ip地址池。

华为云Stack服务概览

华为云Stack云服务简介

云服务在华为云Stack中的位置

云服务对接多个数据中心资源池层提供的资源,并面向各种行业应用提供载体。

image-27

华为云Stack通用服务简介

??

华为云Stack计算服务介绍

华为云Stack基础计算服务概览

租户界面的计算服务

租户登入ManageOne运营面后,可在服务列表中查看到计算服务。

image-28

弹性云服务器ECS

ECS(Elastic Cloud Server),即弹性云服务器,是由vCPU、内存、磁盘等组成的,获取方便、弹性可扩展、按需使用的、虚拟的计算服务器。

ECS只需要花费较低的成本,就可以像使用本地PC或物理服务器一样,在云上使用弹性云服务器,在大大降低硬件成本的基础上,降低了维护和管理的难度。

创建ECS时,支持配置云服务器的规格、镜像、网络、磁盘、鉴权方式、创建数量等信息。

ECS应用场景

用户可以针对不同的应用场景选择不同类型的弹性云服务器/

image-29

ECS逻辑架构

用户可以在ManageOne运营面的控制台通过租户API调用FusionSphere OpenStack组件创建和管理ECS。

ECS业务流

各步骤对应的任务如下:

在ECS界面上提交创建申请,对应下图中的步骤1。

创建网络资源,对应下图中的步骤2-3。

  • 组合API中ECS的接口调用组合API中VPC的接口。
  • VPC接口调用Neutron创建EIP、端口等网络资源。

创建存储资源,对应下图中的步骤4-6。

  • 组合API中ECS的接口调用组合API中EVS的接口。
  • EVS接口调用Cinder。
  • Cinder根据申请存储资源的策略在存储池创建卷。

创建计算资源,对应下图中的步骤7-8。

  • ECS接口将需求下发至Nova。
  • Nova在计算资源池中创建虚拟机。

image-30

裸金属服务器BMS

BMS(Bare Metal Server),即裸金属服务器,为租户提供专属的物理服务器,为核心数据库、关键应用系统、高性能计算业务提供卓越的计算性能以及数据安全,结合云中资源的弹性优势,可实现灵活申请,按需使用。

image-31

BMS逻辑架构

用户可以在ManageOne运营面的控制台通过租户API调用FusionSphere OpenStack组件创建和管理BMS。

BMS业务流

各步骤对应的任务如下:

  1. 在BMS界面上申请资源后,请求下发至组合API。
  2. 组合API(BMS)调用EVS、VPC、IMS的接口。
  3. VPC调用Neutron创建EIP、端口等,EVS调用Cinder根据申请存储资源的策略创建云硬盘,IMS调用Glance查询镜像信息。
  4. BMS将创建请求下发至Nova。
  5. Nova将请求传递至Irornic,创建BMS实例。
BMS应用场景:核心数据库应用

有些客户要求其关键的数据库业务不能部署在虚拟机上,而是必须使用资源专享、网络隔离、性能有保障的物理服务器来承载业务。

image-32

BMS应用场景:高性能计算应用

超算中心、基因测序、图形渲染等高性能计算场景,处理数量大,对计算性能、稳定性、实时性等性能要求很高,无法承担虚拟化带来的性能损耗和超线程等影响。

镜像服务IMS

IMS(Image Management Service):即镜像管理服务,可以为用户提供灵活的镜像自助服务和完善的镜像管理能力,帮助用户对镜像生命周期进行管理。

镜像:是指ECS实例或BMS实力可选择的运行环境模板,一般包括操作系统和预装的软件。镜像可以仅包含基本的擦做系统,也可以在此基础上整合具体的软件环境。

镜像分类:

公共镜像:由云平台官方提供标准操作系统的公共基础镜像,对所有用户可见。

私有镜像:用户基于云服务器或外部镜像文件创建的个人镜像,仅用户自己可见,包括标准操作系统的公共应用环境、用户的私有应用和业务数据。

共享镜像:私有镜像的拥有者可以通过控制台或者API主动把镜像共享给其他用户,被共享用户可以通过API查询到其他账号共享给本账号的共享镜像列表,并通过共享镜像创建ECS实例或BMS实例等。

IMS逻辑架构

用户可以在ManageOne运营面的控制台通过租户API调用FusionSphere OpenStack组件创建和管理私有镜像。

image-33

弹性伸缩服务AS

AS(Auto Scaling),即弹性伸缩,根据用户的业务需求,通过策略自动调整其业务资源。用户可以根据业务需求自定义伸缩配置和伸缩策略,降低认为反复调整资源以应对业务拜年话和高峰压力的工作量,帮助用户节约资源和人力成本。

华为云Stack存储服务介绍

华为云Stack基础存储服务概览

租户界面的存储服务

租户登入ManageOne运营面后,可在服务列表中查看到存储服务。

存储类型
块存储 文件存储 对象存储
EVS SFS OBS
块存储主要是将裸磁盘空间整个映射给主机/VM使用,用户可以根据需要随意将存储格式化成文件系统来使用 对于用户来说,文件存储好比是一个共享文件夹,文件系统已经存在,用户可以直接将自己的数据存放在文件存储上,比如Windows远程目录共享。 每个数据对应着一个唯一的id,在面向对象存储中,不再有类似文件系统的目录级结构,完全扁平化存储,即可以根据对象的id直接定位到数据的位置。

华为云Stack存储服务介绍

云硬盘EVS

EVS(Elastic Volume Sevice),即云硬盘,是一种虚拟块存储服务,主要为ECS和BMS提供块存储空间。用户可以在线创建云硬盘并挂载给实例,云硬盘的使用方式与传统硬盘完全一致。同时,云硬盘具有更高的数据可靠性,更高的I/O吞吐能力和更加简单易用等特点,适用于文件系统、数据库或者其他需要块存储设备的系统软件或应用。

EVS逻辑架构

EVS服务包括EVS控制台,EVS服务API,FusionSphere OpenStack Cinder以及存储设备等组件。

image-34

弹性文件服务SFS

SFS(Scalable File Service),即弹性文件服务,为用户的弹性云服务器(ECS)提供一个按需扩展、弹性伸缩的高性能共享文件系统,符合标准文件协议(NFS和CIFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽应用提供有力支持。

对象存储服务OBS

OBS对象存储服务具有大容量、弹性可扩展、高可靠、架构解耦等优势,可应用于大数据存储、视频监控存储、备份归档存储等场景,还可以为私有云其他云服务提供存储服务。用户可创建、修改、删除桶,上传、下载、删除对象等。

image-35

华为云Stack网络服务介绍

华为云Stack网络服务概览

租户界面的网络服务

租户登入ManageOne运营面后,可在服务列表中查看到网络服务。用户使用网络服务前管理员需要在ServiceOM上提前创建好外部网络。

image-36

云上通用网络服务

虚拟私有云VPC

虚拟私有云(Virtual Private Cloud,VPC),是一套为云服务器(包括弹性云服务器和裸金属服务器)构建的逻辑隔离的、由用户自主配置和管理的虚拟网络环境,旨在提升用户资源的安全性,简化用户的网络部署。

用户可以在VPC中自由选择IP地址范围、创建多个子网、自定义安全组以及配置路由表和网关等,方便地管理和配置网络,进行安全、快捷的网络变更。同时,通过自定义安全组内与组间云服务器的访问规则以及网络ACL等多种安全层,加强对子网中云服务器的访问控制。

image-37

安全组

安全组是一个逻辑上的分组,为同一个项目内具有相同安全保护需求并相互信任的云服务器提供访问策略,支持白名单(指允许策略)。安全组创建后,用户可以在安全组中定义各种访问规则,当云服务器加入该安全组后,即受到这些访问规则的保护。

系统会为每个用户默认创建一个Sys-default安全组,默认安全组的规则是在出方向上的数据报文全部放行,入方向访问受限,安全组内的云服务器无需添加规则即可互相访问。

东西向防护:安全组可提供基于虚拟网卡的东西向安全防护。

image-38

网络ACL

网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向/入方向ACL(Access ControlList)规则控制出入子网的数据流,支持黑白名单(即允许和拒绝策略)。

东西向防护:网络ACL可提供基于子网的东西向安全防护。

南北向防护:VPC间流量如EIP、VPC互通流量,网络ACL可以为其提供防护。

网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向/入方向规则控制出入子网的数据流。支持与子网绑定,一个网络ACL支持和多个子网绑定,一个子网不能同时加入两个网络ACL。

image-39

网络ACL和安全组
对比项 安全组 网络ACL
防护对象 弹性云服务器级别操作 子网级别操作
配置策略 仅支持允许策略 支持允许、拒绝策略
优先级 多个规则冲突,取其并集生效 多个规则冲突,优先级高的规则优先生效
应用操作 创建弹性云服务器默认必须选择安全组,默认安全组自动应用到弹性云服务器 创建子网没有ACL选项,必须创建网络ACL、添加关联子网、添加出入规则,并启用网络ACL,才可应用到关联子网及子网下的弹性云服务器。
报文组 仅支持报文三元组(即报文、目的端口和对端地址)过滤。 支持报文五元组(即协议、源端口、目的端口、源地址和目的地址)过滤。
弹性负载均衡ELB

ELB(Elastic Load Balance),即弹性负载均衡,是访问流量根据转发策略分发到堕胎后端云服务器的流量分发控制服务。通过流量分发扩展到应用系统对外的服务能力,实现更高水平的应用程序容错性能;通过监听器的健康检查消除单点故障以提高系统的可用性。

ELB相关概念

image-40

ELB主要功能

image-41

互通服务

云内互通