数据中心大运维时代即将到来,称骨算命3两2男命
如何做好大型数据中心的运维工作
如果要从数据中心的角度出发为视角来看,数据中心运维管理就是为提供符合要求的信息系统服务,而对与该信息系统服务有关的数据中心各项管理对象进行系统的计划、组织、协调与控制,数据中心运维管理是信息系统服务有关各项管理工作的总,而目前施耐德电子针对数据中心运维管理提出了建议方案,从而不断提升建设与管理水平,解决了在数据重要运维管理中遇到的难题和最新需求。
数据中心纳入新基建,未来发展会怎样?
加快制定碳达峰行动方案,推进产业结构升级和低碳化发展
碳中和指通过植树造林、节能减排等方法增加碳吸收量,将碳吸收量与碳排放量抵消,实现碳中和。碳达峰就是二氧化碳的排放不再增长,达到峰值之后再慢慢减下去,是碳中和前必须经过的阶段。
2020年9月,在第75届联合国大会上,我国提出二氧化碳排放力争在2030年前达峰,努力争取2060年实现碳中和。2020年12月,中央经济工作会议将“做好碳达峰、碳中和工作”列为2021年的重点任务之一。
2021年3月,工作报告中指出将制定2030年前碳排放达峰行动方案,推进优化产业结构和能源结构,大力发展新能源。
数据中心规模扩大,能耗随之增加
数据中心是数字经济的核心基础设施,我国已将数据中心列为七大“新基建”领域之一,同时工信部也将其纳入国家新型工业化产业示范范畴。受益于云计算、5G、物联网、VR/AR等新应用的广泛兴起,我国IDC业务收入连续高速增长,2020年全年规模实现2238.7亿元,同比增长43.3%。
数据中心是公认的高耗能行业,过去十年间,我国数据中心整体用电量以每年超过10%的速度递增,2018年,全国数据中心总耗电量1500亿千瓦时,达到了社会总用电量的2.19%。预计到2025年,占比将增加一倍,达到4.05%。
当前中国的电力结构仍以燃煤发电为主,在数据中心供电结构中,火电占比超过70%,会产生大量的温室气体及其他污染物。
碳中和政策影响下,推进建设节能型绿色数据中心建设政策陆续出台
碳中和目标背景下,国家发布《关于加快构建全国一体化大数据中心协同创新体系的指导意见》等政策,提出强化数据中心能源配套机制,推进建设绿色数据中心,实现数据中心行业碳减排。
北上广深为首的核心一线城市纷纷推出节能减排政策,对IDC的PUE能耗水平进行严格控制,在能耗总量限制基础上大力推进绿色数据中心建设,同时对核心土地指标进行管制。
政策限制高PUE值数据中心入场,数据中心降PUE大势所趋
PUE(Power Usage
Effectiveness)是衡量数据中心运行效率的指标,其越接近于1,代表数据中心对于电能的利用越有效率。根据《全国数据中心应用发展指引》数据,2017-2019年,我国在用超大型、规划在建大型和超大型数据中心PUE值均呈下降趋势,说明降低数据中心的PUE值并实现能耗降低成为发展趋势。
从区域分布来看,河北、西藏、江苏、山西、湖南等地数据中心PUE值处于较高水平。国家和地方持续出台一系列政策引导数据中心绿色发展,对数据中心PUE提出了明确指标,数据中心一直在加快绿色化发展,不少优秀数据中心获得了数据中心绿色等级4A、5A级,部分达到国际领先水平。
随着国家绿色数据中心政策及地方政策的逐步推进,未来,数据中心在降低PUE的同时,可通过自建或采购可再生能源电力、购买绿电证书、碳排放交易等手段加快实现碳中和目标。
根据《2019中国企业绿色计算与可持续发展研究报告》指出,中国企业数据中心PUE值有明显改善。PUE值大于2.0的企业从2012年的34.6%降至2019年的2%,小于1.5的企业从3.7%上升到12.9%。但依然有85%的受访企业数据中心的PUE值在1.5-2.0间,存在较大提升空间。
绿色数据中心建设加快,互联网和通信领域较多
数据中心是未来为数不多能源消耗占社会总用电量比例持续增长的行业。因此,数据中心行业需要积极践行碳中和,对于我国在2060年前实现碳中和的目标意义重大。因此,各地数据中心绿色化建设加快。2021年1月,工业和信息化部、国家发展改革委、商务部、国管局、银保监会、国家能源局确定了60家2020年度国家绿色数据中心名单,如下:
分领域来看,互联网领域和通信领域绿色数据中心数量较多,分别有25个和21个,占比分别为41%和35%;此外金融领域有10个,占比17%,公共机构和能源领域分别占5%和2%。
碳中和背景下,能源使用由传统能源向可再生能源转变
《欧洲气候中立数据中心公约》指出到2025年12月31日,数据中心使用电力可再生能源将达到75%,到2030年12月31日达到100%的使用可再生能源,并达到无碳绿色数据中平。使用绿色清洁能源成为数据中心节能减排的重要途径。
国内来看,如果未来五年数据中心采用市电的比例维持2018年水平,而企业不采取额外措施提高可再生能源使用,到2023年数据中心用电五年内将新增6487万吨的二氧化碳排放量。如果通过提高可再生能源上网消纳以及数据中心企业更主动采购可再生能源等措施,将避免二氧化碳排放1583万吨。
——更多数据来请参考前瞻产业研究院《中国数据中心行业市场需求与投资战略规划分析报告》。
IT运维管理“进化论”:如何应对大数据时代的运维挑战?
在企业内部也是一样,当大量的生产和经营数据集中在数据中心,一旦人们与数据中心因为IT故障而失去联系,停滞的也许不是个人应用受阻这样简单的后果。为了应对大数据下的新业务需求,传统的IT运维管理就需要针对数据中心基础架构做出改变,这种进化包括针对虚拟化和服务交付能力的调整,以及IT与业务融合所必备的方法和工具。数据中心迎来了“按需配置”的变革过去,每次当我们的数据中心的业务容量不足的时候,就会想到增加更多的硬件、设备来满足客户需求。但在海量数据汹涌来袭的时候,这种增加都是被动的、延迟的。据统计,互联网上的数据每两年翻一番,而目前世界上90%以上的数据都是最近几年才产生的,这为大数据概念的横空出世做好了准备。数据的增长超出了我们的预期,那么是否可以找到一个办法,让我们可以对业务部门提供一种“按需分配”的低成本方案呢?虚拟化技术以其降低成本、灵活性,以及动态的扩容特性,给出了最佳的答案。许多企业希望采用云计算和虚拟化技术实现“按需配置”的基础环境、服务等级,实现更低的成本和更高的盈利。然而,要从大数据这个藏量巨大的金矿中淘到金子,并没那么容易,传统架构下的IT运维管理与成熟的虚拟化技术并没有齐头并进。首先,虚拟机一旦出现故障,如果不能及时恢复,这个损失可能远远超过节省电源和空间的费用。其次,虚拟机的灵活性对IT运维中的“配置管理”可谓是一杯毒酒,泛滥的迁移和扩容会让IT基础设备重新回到混乱的过去。在传统数据中心,管理员可以确定地表述:我的数据库在服务器A上运行,这台服务器与交换机B进行连接并使用存储阵列C,它们的性能指标都非常良好。但动态数据中心采用虚拟化技术后,解耦了这种关系,更具伸缩性,或是随意的(人们对“灵活性”的误读)利用这些基础设施资源。业务系统可以位于服务器集群中的任何计算节点上,可以利用任何存储设备上的存储空间,可以使用虚拟网络,也可以进行转移以满足性能或运营需求。但这些优势,却在IT运维管理中造成“看不见”、“说不清”的严重问题。虚拟化运维管理的“两大难题”如何突破?如果你都不知道自己的IT环境里有什么,就别指望控制、维护和提高它们。因此,配置管理和性能监控在任何时候都没有变,它们只是进化到了更高的阶段。作为国内领先的IT运维管理专家,北塔软件认为:IT运维管理不是一蹴而就的,更不是一成不变的,大数据情形下的网络管理将要应对更多的技术和管理层面的挑战。之前,针对基础设施的监控一般侧重对物理设备、物理网络、物理存储的管理,而虚拟化后的变更操作变得越来越简单,但这会使得一些虚拟机脱离管理的范围,尤其是在配置管理和性能监控两个方面。管理人员需要对新增的虚拟网络、数据存储、虚拟机、ESX/ESXi主机数量、集群对象提供一种与之配套的IT运维管理工具。从改进配置管理开始着手是很重要的一步,因为这可以清晰地呈现出不断变化的虚拟机、物理服务器、存储和网络资源之间的关系。另外,随着每台物理机上托管的虚拟机数量增多并提高了整体利用率,性能测算与监控的重要性也在攀升。为了预防虚拟机密度过大,或者利用率不足的问题(虚拟化之后,这个问题并没有完全消除),运维管理人员必须拥随时调整物理主机的承载力。为了消除用户大数据时代的运维顾虑,在全面提供了对主机、网络、机房等领域的管理解决方案之后,北塔软件在北塔BTIM (Betasoft Integrated Management,IT综合管理软件)中增加了针对VMware虚拟化管理和FC-SAN存储管理解决方案。作为IT运维领域中首款从物理网络拓扑视角呈现ESX/ESXi主机、虚拟机、数据存储、网络所构成拓扑的第三方监控软件,北塔BTIM以颜色变化方式展现管理对象健康特性,帮助运维管理人员实时了解整个虚拟环境当前的运行状况,达到透明化、事前管理目的。为“大数据淘金”做好准备在以虚拟化为轴心的云计算数据中心,由于聚焦了多种应用的复杂系统,其安全性、自动化、资源统筹等都已经成为了管理者的棘手问题。云数据中心建成后,是否有足够的IT运维管理能力,将是决定“大数据淘金”成败与否的关键。在云数据中心,如果没有足够的前瞻性是很危险的。虚拟化模糊了物理和虚拟、网络和服务器以及数据和存储网络之间的区别。而北塔BTIM虚拟化管理解决方案又与vCenter有着良好的优势互补关系,深入性、关联性、即时性方面都有了进一步的发展和完善。我们可以清晰地描述物理主机、虚拟机、数据存储、网络对象以及业务系统的逻辑关系,为数据大集中后的“按需分配”做好了准备。
大数据发展时代的7个挑战和8大趋势
大数据发展时代的7个挑战和8大趋势
大数据挑战和机遇并存,大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段,大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战,但前景依然非常乐观。
大数据发展的挑战
目前大数据的发展依然存在诸多挑战,包括七大方面的挑战:业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重,导致数据价值不能充分挖掘;数据可用性低,数据质量差,导致数据无法利用;数据相关管理技术和架构落后,导致不具备大数据处理能力;数据安全能力和防范意识差,导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值,但缺乏大数据相关的政策法规,导致数据开放和隐私之间难以平衡,也难以更好的开放。
>>>>挑战一:业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的成本,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产,甚至由于数据没有应用场景,删除很多有价值历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。
>>>>挑战二:企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通。如果不打通这些数据,大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。
>>>>挑战三:数据可用性低,数据质量差
很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因,导致企业的数据的可用性差,数据质量差,数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息,还有对收集到的数据进行很好的预处理处理,才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明,高质量的数据的数据应用可以显著提升企业的商业表现,数据可用性提高10%,企业的业绩至少提升在10%以上。
>>>>挑战四:数据相关管理技术和架构
技术架构的挑战包含以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术,在设计的开始就没有考虑数据类别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。
>>>>挑战五:数据安全
网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多,黑客犯罪的动机比以往都来的强烈,一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们,要加强大数据网络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
>>>>挑战六:大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据,所以拥有大数据的企业应该与学校联合培养人才。
>>>>挑战七:数据开放与隐私的权衡
在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。由于、企业和行业信息化系统建设往往缺少统一规划,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善,大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过去的一道砍。同时,开放与隐私如何平衡,也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。
大数据发展趋势
虽然大数据仍在起步阶段,存在诸多挑战,但未来的发展依然非常乐观。大数据的发展呈现八大趋势:数据资源化,将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合,行业定制化解决方案将涌现;数据将越来越开放,数据共享联盟将出现;大数据安全越来越受重视,大数据安全市场将愈发重要;大数据促进智慧城市发展,为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。
>>>>趋势一:数据资源化,将成为最有价值的资产
随着大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功,并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产,成为提升机构和企业竞争力的有力武器。
>>>>趋势二:大数据在更多的传统行业的企业管理落地
一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们有理由相信,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学,相信大数据在科学管理企业方面有更显著的促进,让更多拥抱大数据的企业实现智慧企业管理。
>>>>趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现
来自传统商业智能领域者将大数据当成一个新增的数据源,而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟,无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。
>>>>趋势四:数据将越来越开放,数据共享联盟将出现
大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到,美国、英国、澳大利亚等国家的都在和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网,在2013年年底正式开放;上海在2012年启动了数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014年,贵州省也加入数据开放之列,10月份云上贵州正式上线。对于不同的行业,数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要全国,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。我们相信数据会呈现一种共享的趋势,不同领域的数据联盟将出现。
>>>>趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要
随着数据的价值的越来越重要,大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。
>>>>趋势六:大数据促进智慧城市发展,为智慧城市的引擎
随着大数据的发展,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。
>>>>趋势七:大数据将催生一批新的工作岗位和相应的专业
一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。
>>>>趋势八:大数据在多方位改善我们的生活
大数据不仅用于企业和,也应用于我们的生活。在健康方面:我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;在出行方面:我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优。在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
急:请大家帮我起一个婚恋网的名字,要文雅且响亮的名字,谢谢各位,感激...
懵爱
作为婚恋交友公司的名字 ,这两个名字那个好,你喜欢那个?那个名字更能...
我是1957年农历3月20日