gitweixin
  • 首页
  • 小程序代码
    • 资讯读书
    • 工具类
    • O2O
    • 地图定位
    • 社交
    • 行业软件
    • 电商类
    • 互联网类
    • 企业类
    • UI控件
  • 大数据开发
    • Hadoop
    • Spark
    • Hbase
    • Elasticsearch
    • Kafka
    • Flink
    • 数据仓库
    • 数据挖掘
    • flume
    • Kafka
    • Hive
    • shardingsphere
    • solr
  • 开发博客
    • Android
    • php
    • python
    • 运维
    • 技术架构
    • 数据库
  • 程序员网赚
  • bug清单
  • 量化投资
  • 在线查询工具
    • 去行号
    • 在线时间戳转换工具
    • 免费图片批量修改尺寸在线工具
    • SVG转JPG在线工具

分类归档云计算

精品微信小程序开发门户,代码全部亲测可用

  • 首页   /  
  • 分类归档: "云计算"
  • ( 页面2 )
云计算 5月 11,2023

大数据云性能管理:如何做对

大数据云性能管理是在云中取得成功的关键。与云计算相结合,大数据可以改变企业——尤其是在管理得当的情况下。它不需要资本支出,支持更快的数据处理和分析,并允许快速扩展。但是,没有计划在云中正确管理大数据性能可能是实现云承诺的 ROI 和不得不失败地返回数据中心之间的区别。继续阅读以了解更多关于为什么大数据性能管理如此重要、如何正确进行以及如何使用一种工具使这一切变得更容易的信息。

分解一下:大数据指的是大量数据,这些数据来得很快,很难用传统方法进行管理。云中的大数据本质上是在任何云上运行大数据——而不仅仅是在数据中心。您无需使用自己的硬件,而是拥有“云中”空间来运行您的大数据。

在云中运行大数据流程最突出的好处之一是按需服务。一个组织的计算需求在高峰时段、平静时刻和服务的随机峰值期间可能会有很大差异。虽然维持足够数量的计算资源以满足要求已成为常态,但事实证明这种做法的成本非常高。相反,如果一个组织试图通过只维持最少的资源来降低成本,很可能没有足够的资源来满足高峰需求。

借助大数据云模型,企业可以享受这种按需功能,他们可以根据普遍要求通过单击按钮、通过 API 或通过基于规则的框架配置自动扩展或缩减计算资源。用户可以根据需要配置或取消配置计算资源,而无需与云提供商交互。

将应用程序和流程迁移到云环境的主要优势之一是显着降低基础架构成本。运营大型本地数据中心每年会使组织损失 1000 万至 2500 万美元。很大一部分用于基础设施维护,包括维护、监控、安全和审计。
如果使用得当,利用云方法可以节省大量资金。这是因为基于云的流程和应用程序具有适应性、可扩展性和成本效益。随着大数据应用程序和任务被转移到云端,企业可以以非常快的速度创建、测试和部署产品和服务。在少数情况下,迁移到云的企业设法将节省的资金增加了十倍。

云计算有效地促进了当今企业从 CapEx(资本支出)支出模式向 Opex(运营支出)模式的转变。传统上,IT 基础设施的资本支出很大,主要来自购买和维护资本资产,例如建筑物、硬件和软件许可等。另一方面,Opex 是帮助公司生产和向客户提供产品和服务的经常性支出。这些包括公用事业、工资和计算资源。

迁移到云基础架构可帮助企业消除许多资本支出成本。通过切换到运营支出模型,组织可以创造大量内部机会,因为它释放了宝贵的资金和资源,否则这些资金和资源将用于获取、管理和维护资本资产。

到 2026 年,全球云计算市场有望从 2021 年的 4455 亿美元增长到令人印象深刻的 9473 亿美元。云服务供应商之间的激烈竞争凸显了这一增长。亚马逊、微软和谷歌等家喻户晓的名字在这个领域占据主导地位。

Amazon Web Services (AWS) 提供了大量的大数据云服务,包括 Amazon Elastic MapReduce(处理大量大数据)、Amazon DynamoDB(NoSQL 数据存储服务)和 Amazon S3(网络规模数据存储服务)。
Microsoft Azure 提供了一套大数据服务解决方案和工具。他们最受欢迎的产品包括 Azure Purview(统一数据治理)和 Azure Data Lake Storage(大型、可扩展且安全的数据湖)。

谷歌有大量的大数据云服务可以提供给他们的客户。他们的顶级解决方案包括 Google Big Query(用于大型数据集的快速 SQL 查询引擎)和 Google Prediction API(基于 ML 的大数据分析和学习)。

虽然我们了解将大数据迁移到云端的吸引力,但管理其性能的意义何在?好吧,在云中操作时有很多移动部分,并且有很多利益相关者参与这个过程:

这些只是利益相关者以及他们给方程式带来的复杂性。一旦添加了工具、APM 解决方案、遗留数据中心工具和自主开发的解决方案,它就会变得混乱。在云端,还有更多需要注意的地方。

那么,您如何理解一切并最终确保您的大数据以最佳方式运行呢?不是简单地收集更多数据。一个在提供可观察性和自动化的同时为您分析性能数据的工具就是解决方案。

没有良好的分析,数据是无用的。面对现实:您需要答案和解决方案,而不仅仅是更多数据。这就是提供可观察性和自动化的工具的用武之地。

可观察性让您了解事情发生的原因——而不是仅仅向您提供发生了什么。如果无法观察到您的集群,您就是在盲目飞行。解决应用程序问题需要更长的时间,由于缺乏洞察力而更有可能错过 SLA,并且几乎不可能调整工作负载的大小。因此,当您在寻找云性能管理解决方案时,请寻找能够提供可观察性的解决方案,而不仅仅是监控。在寻找可观察性解决方案时要问的关键问题是:

如果以上任何问题的答案是否定的,您将需要继续搜索。

从自动缩放到自主调优,自动化是优化大数据性能的最后一块拼图。手动调整今天不能削减它。即使是最有能力的团队也无法以所需的精度和速度手动调整每个应用程序和工作流,以跟上云中的规模。事实上,由于硬件资源、时间和精力的浪费,手动调整可能会降低您的投资回报率。

从云中的自动化中获益的另一个机会是自动缩放。虽然云因其可扩展性和灵活性而非常出色,但这可能是一把双刃剑,会导致毫无准备的人成本失控。为了解决这个问题,许多云提供商提供了减少浪费的自动缩放功能。然而,他们并不总能抓住一切。

常规自动缩放通常以较大的增量发生,但工作负载是动态的。他们可能需要更小的计算增量,或者需要比云提供商的自动缩放更快地扩展和缩减。这会导致可避免的浪费和额外成本。

下图清楚地显示了这一点。第一张图表显示了传统的自动缩放如何在整个运行时期间将集群增加到 100 个节点。但是,第二个图表显示了集群在运行时期间实际运行的内容。有时它只是一个任务,有时没有任务在运行。没有必要在整个持续时间内提供 100 个节点的自动缩放。

通过将可观察性与自动化相结合,您可以更好地跟上规模、缩短 MTTR 并提高投资回报率。自动警报会在问题发生时通知您,并且它们会提供可操作的见解,以便您可以快速解决问题。适当的自动缩放可以让您减少云中的浪费和失控的成本。自动计费机制使您能够更好地跟踪成本,自动调整确保部署的资源得到有效利用。这些都使您能够在不超出云预算的情况下跟上云中预期的规模。

当您在云端运行大数据并希望优化其性能时,可观察性和自动化是关键。如果不了解您的大数据性能,您基本上是盲目的。

Pepperdata 解决方案以自主调整、托管自动缩放​​等形式提供全栈可观察性和自动化,因此您可以确信您的大数据堆栈正在以最佳状态运行。

具有托管自动缩放​​功能的 Pepperdata Capacity Optimizer 提供云中所需的动态缩放大数据工作负载。与云服务提供商的自动缩放功能配合使用时,您可以进一步降低成本并获得高投资回报率。事实上,我们最近将 Capacity Optimizer 与 AWS Custom Auto Scaling 进行了基准测试,以了解我们提供了多少改进。我们发现,与 AWS Custom Auto Scaling Policy 搭配使用时,Capacity Optimizer 将云 CPU 利用率提高了 157%。

查看我们的白皮书可观察性和大规模持续调整,以了解有关可观察性和自动化如何影响大数据云性能管理的更多信息。

作者 east
云计算 5月 10,2023

云计算可扩展性:更复杂意味着更高的成本

云计算可扩展性可帮助企业将其云基础设施保持在最佳水平,无论资源需求或突然使用高峰如何。但是,这种可扩展性可能很难解锁。云很复杂,很难实现可见性,而且成本会不断上升。公司如何处理这种复杂性并有效地扩展他们的云计算?

不提大数据就不可能讨论云计算。企业使用大数据并通过分析从该数据中获得洞察力。这些见解可帮助企业推动关键业务流程、简化创新周期并推动战略决策。

为了收集和处理海量大数据,企业传统上需要更大的 IT 基础设施来容纳更多服务器。云计算的出现使企业能够从物理服务器转移并将其流程和 IT 堆栈(包括 Kafka、Hadoop 和 Spark)转移到云端,从而使他们能够使用和分析更多大数据以进行分析和洞察,甚至是实时的.

然而,许多企业很快意识到,在云中处理和分析大数据提出了非常复杂的技术要求,以至于他们的云 IT 基础架构设计难以应对。被吹捧为解决云 IT 性能问题的解决方案,有效地扩展它比听起来更难。在没有有效框架或正确技术堆栈的情况下进行扩展很快就会出错。

据埃森哲称,87% 的组织实施了混合云计划,而 93% 的组织采取了多云立场。混合云是公共云和私有云服务的组合,通常用于在两者之间协调一个 IT 系统。另一方面,多云涉及使用来自一个或多个云提供商(例如 AWS 或 Microsoft Azure)的多种云产品或服务。

虽然定义不同,但两种云实施都需要使用多个云服务提供商。这样企业就可以访问一个供应商无法提供的工具和资源。简而言之,他们获得了任一系统的最佳工具和服务。

然而,混合云和多云部署的最大缺点之一是增加了资源管理的复杂性。默认的云计算可扩展性配置因供应商而异。如果不进行优化,资源消耗会很快失控。

更复杂的是,云服务提供商之间不存在标准化的计费机制。这使得在跨云混合和匹配时评估资源成本变得越来越困难。

尽管云供应商声称自己是成本削减者,但根据我们的调查,超过 39% 的业务和 IT 领导者将“成本管理和控制”列为他们在云计算和大数据方面面临的最大问题。同一项调查显示,“复杂性”是第二个最紧迫的问题。

为什么是这样?

随着企业转向云端,支出模式也从资本支出 (CapEx) 转变为运营支出 (OpEx)。虽然运营支出模型在纸面上似乎更好,但它可能存在灾难性的成本管理问题。但怎么会呢?

改用 OpEx 可以消除数据中心、物理服务器和其他昂贵的网络设施和设备等资本支出。从理论上讲,OpEx 有望节省大量资金。

但是,OpEx 非常不稳定。这对扩展云计算意味着什么?云团队在云支出方面可以自由支配,尤其是在他们没有任何支出检查或治理模型的情况下。他们可以不受控制地扩展,导致云计算费用增加,远远超出他们最初分配的预算。

尽管解锁真正的云计算可扩展性非常复杂,但企业仍在将其关键业务流程和应用程序迁移到云端。

除了降低成本的承诺之外,灵活性是云最突出的优势之一。企业可以毫不费力地随意启动和关闭他们的服务。凭借无限的存储容量,用户可以快速扩展存储以满足他们的需求。

可扩展性可确保在流量增加和工作负载增加时计算资源可用。

由于云计算几乎消除了本地基础设施中存在的限制,因此工作负载/应用程序性能得到显着提高。

云计算的可扩展性现在已经超出了人类的能力。企业要想有效扩展云计算并实现最佳性能,就必须依赖自动扩展和可观察性。

借助我们的托管自动扩展功能,您的云基础设施可以根据您设置的配置和规则即时扩展您的计算、数据库和存储资源。

当网络使用、存储或流量等特定指标高于或低于正常阈值时,自动缩放机制就会激活。它根据您的规则而不是云供应商的默认配置进行扩展。在您控制扩展能力的情况下,您的应用程序、工作负载和任务有足够的资源可供使用,确保满足 SLA。

可观察性使您的云团队能够全面、详细、实时地了解您企业的云基础设施及其所有流程。

清楚地了解您的云可以简化云计算的可扩展性。它使您的 IT 团队和开发人员能够专注于修复错误,而不是花费宝贵的时间来搜索基础架构来查找它们。从一个集中位置,您的云用户可以快速查看和解决整个平台的性能问题。

可观察性使用户能够找到资源密集型应用程序和用户,并实施调整以降低成本。

真正的可观察性不仅可以帮助您了解问题发生的原因,还可以了解问题的原因。 (有关更多信息,请在此处查看我们的网络研讨会。)在扩展云计算的背景下,可观察性使您的云团队能够充分了解您的系统,以便他们可以动态扩展。

没有为云计算的复杂性做好准备的企业一旦采取行动,就会发现自己的支出超出了预算。我们的研究表明,超过三分之一的企业经历了高达 40% 的云预算超支。

面对价格冲击,企业要么 (1) 返回到他们以前的本地 IT 架构,要么 (2) 改善他们对监控和管理工具的访问,以更好地了解和控制他们的云 IT 基础设施。

云遣返或取消云化是指从云中提取工作负载和应用程序并将它们移回其物理基础架构环境的过程。

根据数字,这是一个大趋势。最近一项关于这种云逆转的研究发现,72% 的组织下令将其应用程序遣返,高成本和性能问题是主要因素。

同一份报告将云遣返归因于组织在迁移到云之前的“规划不足”。为了在技术先进的环境中保持竞争力,许多企业领导者一头扎进了云,而没有执行任何确保迁移成功所需的评估和规划。

提高跨多个/混合云的可见性和可管理性现在是寻求继续云投资的组织的必要条件。为此,您需要专门从事以下工作的工具:

可观察性。随着移动和部署云托管流程、工作负载和动态微服务架构的企业数量增加,对可观察性的需求变得更加明显。云用户必须能够看到他们的大数据是如何执行的并快速识别问题。更重要的是,他们需要了解问题发生的原因。

自动缩放。自动缩放可确保您的应用程序、工作负载和流程充分配备计算资源和其他资源。随着资源消耗的增加,平台会自动扩展以满足不断增长的需求,有效防止中断、滞后和停机。但是,当使用供应商的配置执行自动缩放时,它会成为一个问题,因为它可能导致资源分配不当和管理不善。要完全发挥自动缩放的潜力,必须使用最理想的缩放配置来执行。

退款。 Chargeback 通过将 IT 资源的成本分配给使用它们的部门或员工来帮助企业控制 IT 支出。这在不同部门和个人共享专用 IT 资源的情况下非常有效。

如果 IT 资源由多方共享和使用,但没有标准方法来衡量和收费资源消耗,用户可能会提供和消耗比必要更多的资源。如果用户可以自由分配计算并且没有防止超支的上限,这可能会出现问题。

实施退款让用户了解他们的云支出,从而鼓励他们控制。 IT 管理员可以使用来自扣款的数据来获取洞察力,然后他们可以使用这些洞察力来提高利用率并减少他们必须管理的资源数量。

热存储与冷存储。有效的云计算可扩展性在很大程度上依赖于数据来改进和优化关键业务操作和应用程序的性能。

通常,不断访问和处理的数据存储在热数据存储介质中。其中包括更耐用、更快、功能更强大但非常昂贵的 SSD。相反,很少使用的数据被放置在冷库中,就优先级而言位置很靠后。

但此设置需要持续监控。热数据可以瞬间变成冷数据。存储在冷驱动器中的数据需要更多时间才能到达、提取和处理。在您必须扩展并需要冷存储数据的情况下,该过程可能需要更长的时间,从而导致性能下降和延迟。

考虑到扩展的复杂性,实现针对性能和成本进行完全优化的云计算可扩展性可能很困难。为了动态扩展,企业需要一个能够管理云计算复杂方面的平台,并提供基于实时数据的最佳扩展配置。

作者 east
云计算 5月 8,2023

云成本高的 5 个原因

高得惊人的云账单带来的账单冲击仍然是已迁移到云的企业持续关注的问题。

云服务提供商通常将云作为降低运营成本的高效手段进行营销。通过将应用程序和流程迁移到云托管基础架构,组织可以节省本应用于数据中心、硬件和人员的资金。虽然降低成本的承诺是许多企业云迁移的主要驱动力,但事实是,众所周知,FinOps 预算可能非常复杂,研究发现,超过三分之一的企业在迁移后超过云预算的 40%。

导致企业增加云成本的因素有很多——这里有五个可以帮助 FinOps 成本控制,而不是迫使您削减成本。

即用即付云计算的主要优势之一是快速、简单和按需提供资源。用户只需单击几下即可轻松订购新的和额外的供应,使您的应用程序能够处理流量激增,并在启动新的 IT 项目和服务时实现企业敏捷性。

但由于在云中启动新的虚拟机很容易,许多 DevOps 团队往往会忘记他们购买的实例和资源。

不健康实例是突然受损并停止运行的实例。通常,不健康的实例会被自动删除并被新实例替换——但不健康的实例仍然会接收流量和请求,直到您平台的负载均衡器发现其不健康状态。如果您的云基础设施在不健康时没有分析它接收到的流量就终止了实例,那么宝贵的数据可能已经浪费了。

Rightsizing 是指使用足够的计算资源保留云计算实例(容器、VM 或裸机)的过程。这包括 RAM、CPU、存储和网络。合理调整旨在确保所有实例都拥有实现足够性能所需的所有资源,同时保持成本可控。

但是,如果实例大小不正确,用户可能会遭受以下两个主要后果:

自动缩放旨在让组织根据其流量需求、预测的资源利用率水平等来缩放虚拟机、实例和服务器容量等云服务。

虽然被宣传为降低云成本的一种手段,但不受监管的自动缩放可能会导致资源过度配置。如果没有合适的云监控工具,您的企业团队可能会看到极高的云计算成本。

然而,云中的工作负载本质上是极其动态的。实例可能只需要在高峰流量时间快速扩展,然后再缩减。

当 IT 团队缺乏对其云基础架构和流程的可见性时,就很难实现最佳性能和成本控制。

借助可跟踪使用情况、成本和应用程序趋势的全堆栈可观察性工具,您可以放心地知道您的大数据基础设施得到了真正的优化。

如果您的 DevOps 团队需要不断调整其大数据平台,就无法专注于创新和扩展其企业。为了有效管理您的数据堆栈并避免云账单冲击,自动化、自动缩放和可见性等功能必不可少。

作者 east
云计算 5月 8,2023

通过容量优化器在 Kubernetes 中实现卓越的云成本优化

Kubernetes 正迅速成为世界上最受欢迎的开源容器编排工具。用于构建和管理基于云原生微服务的应用程序以及现有应用程序的容器化,其采用率不断增加。已经有 61% 的企业采用了 Kubernetes,30% 的企业计划在未来 12 个月内采用它。

Kubernetes 或任何云环境中的自动缩放对于企业来说至关重要,因为它使用户能够自动添加和删除实例以满足工作负载的需求。这是一种有效的云成本优化方法,特别是对于依赖 Kubernetes 进行流程的企业而言。

然而,Kubernetes 中的自动缩放可能会导致与企业意图相反的结果。旨在最大限度减少浪费的云成本优化解决方案反而会增加您的成本并导致您的云环境过度配置资源。

这是怎么发生的?大多数应用程序开发人员请求将大量资源分配给他们的应用程序,以减轻最坏情况的影响。如果这次输入数据大 10 倍怎么办?如果这次新代码需要两倍的内存和两倍的 CPU 怎么办?开发人员通常没有信息来确切知道他们需要分配多少资源来处理典型的最坏情况。有时,他们甚至不知道要分配多少来处理典型场景。

开发人员希望他们的应用程序能够在合理的时间内成功完成,即使是在那些最坏的情况下。这种愿望构成了他们的云成本优化方法的基础。这就是为什么他们要求大量分配。事实上,这种最坏的情况很少发生。平均而言,应用程序仅使用分配资源的一小部分。事实上,一些研究表明 32% 的云预算被浪费了,部分原因是过度分配。

云自动缩放器的低效

不幸的是,自动缩放是根据资源分配与资源利用率来实现的。为了优化云成本,当调度程序无法向集群添加更多应用程序时,云自动缩放器会添加更多实例,因为所有现有资源都已分配。

想象一个有两个节点的集群。假设一个应用程序请求两个节点。应用程序可能最终只使用八个内核,但自动缩放器并不知道这一点。

随着越来越多的应用程序被提交请求更多的核心,自动缩放器将添加更多的实例,即使现有实例的利用率仅为 50%。如果新应用程序也只使用分配的一小部分,则新实例也将未得到充分利用。

结果是更多的浪费实例,并最终导致云计算费用膨胀。

Pepperdata Capacity Optimizer:卓越的云成本优化

Pepperdata Capacity Optimizer 将云成本优化提升到一个更高的水平。它通过使调度程序或集群管理器能够在 YARN 和 Kubernetes 中基于资源利用率而不是资源分配来调度工作负载,从而解决了云自动缩放器效率低下的问题。

一旦达到配置的资源利用率,自动缩放器就会添加更多实例。通过 Pepperdata Capacity Optimizer 进行的云成本优化不仅可以最大化每个现有实例的利用率,还可以确保仅当现有实例在自动缩放环境中得到充分利用时才添加新实例。 Pepperdata 管理云平台的自动缩放行为,因此您不必这样做。

为了优化 Kubernetes 和 YARN 中的云成本,Capacity Optimizer 执行以下操作:

同样,即使许多实例接近空闲或空闲,云平台也不会缩减实例。在这种情况下,如果一定数量实例的利用率低于特定阈值,Capacity Optimizer 会指示自动缩放器缩减。

通过 Pepperdata Capacity Optimizer 优化云成本,可以减少用于完成相同工作的实例,从而为您节省直接成本。

事实上,当在运行标准大数据分析基准的 Kubernetes 集群上启用 Capacity Optimizer 时,Pepperdata 发现查询持续时间减少了 30%,工作负载容量增加了 35%。

作者 east
云计算 5月 7,2023

IT 转型的下一步是什么?

查看成功 IT 转型的五项原则电子书,获取有关如何转型 IT 和推动业务成功的深入指导。

IT 转型描述了企业重新检查并可能全面检修其 IT 系统的计划,以系统地努力提高业务效率。在大流行等重大破坏之后,随着行业变得比平时更具竞争力,更新和现代化 IT 系统的需求就变得突出了。

这些计划通常由 CIO(首席信息官)和其他企业领导者牵头。非正式地称为“推倒重来”流程,IT 转型的目标是“推倒”过时的 IT 系统。这些系统可以包括硬件、软件、网络架构、数据访问和存储协议以及 IT 服务管理流程。然后,组织用更新、更复杂的版本“替换”这些过时的 IT 功能。

详细说明这一转型的计划已在各部门和企业中得到越来越多的重视。据 Statista 称,数字化转型计划是 56% 的组织在 2021 年的优先事项。在另一份报告中,超过 77% 的 CIO 表示将推动他们的数字化转型计划作为 2021 年的首要 IT 计划。

大数据量的增加也促使组织进行 IT 转型。最近的统计数据显示,世界在 2020 年创建、捕获和使用了 59 泽字节 (ZB) 的数据。到 2024 年,这个数字将增长到 149 ZB。

大数据为企业提供了对其运营的重要洞察、更快地推动决策制定的能力以及推动创新周期的手段。大数据使企业能够做出正确的选择并有效地实施数据驱动的战略来推动其增长。

然而,面对当今大数据的庞大数量、复杂性和多样性,过时的 IT 基础设施和系统以及传统的数据管理实践变得无效。企业收集的大数据超出了他们的需要。在许多情况下,他们获得了根本不需要的数据类型。

随着越来越多的大数据流入企业,数据分析变得越来越复杂。通过提高他们的 IT 能力,组织将能够有效地筛选、缩小和确定他们需要哪些类型的数据,以便他们的组织以最佳水平充分发挥作用,同时减少他们收集的数据量。

任何 IT 信息计划的最终目标都是增强业务流程和改进服务交付。通过使组织的 IT 现代化以满足当前的服务标准和要求,组织可以对其流程获得深入的、可操作的洞察力;找到更可行的方法来提高效率;优化性能;并降低成本。

结果?更快的上市时间、减少的延迟、愉快的客户旅程和卓越的客户满意度。

不提云计算就不可能讨论 IT 转型。云技术的出现引入了一种新的商业模式,企业将其关键流程和应用程序从现场服务器转移到云托管基础设施。这使他们能够做更多事情,而无需承担本地 IT 中心带来的成本和挑战。

基于云的分析处理的快速发展,以及获取和查询新数据源的能力,使企业能够快速分析信息并根据高质量的洞察力做出战略性业务决策。

这就是制定计划的必要性,尤其是在竞争激烈、消费者比以往任何时候都要求更高的经济环境中。

信息技术转型是一个广泛而持续的过程,包括成本和资源。 IT 专家制定的一项特殊战略是实施 IT 即服务 (ITaaS) 方法,以帮助实现转型并同时降低成本。

ITaaS 是一种变革性的运营模式,无论是来自内部 IT 部门还是来自外部 IT 服务供应商,业务部门或个人用户都可以将 IT 作为托管服务使用。在此模型中,企业只需为他们所需的 IT 服务付费,并从供应商提供的 IT 服务和功能目录中使用这些服务。这包括框架指南、配置设置和各种其他服务。

虽然 ITaaS 不是从内部部署到云的技术转移,但它可以让企业做好准备,并帮助他们在转型 IT 基础架构的过程中实现显着的业务收益。

IT 转型不仅涉及技术转变,还为新角色和职能铺平了道路。 IT 不再是 IT 部门的唯一职责。 IT 几乎存在于整个企业的每个部门或业务单元中。最重要的是,每个单位都有自己的框架来指导其使用 IT。

实施转型战略意味着企业必须将新的 IT 角色作为议程的一部分。 IT 运营中的新兴职业——如数据架构师、数据工程师、数据分析师和首席信息管理员——是对业务领域主导的分析、数据管理自主性等前所未有的增长的集体回应。

IT 格局的重大变化,加上数据和分析的重要性和战略价值不断增加,为企业及其 IT 和数据和分析领导者带来了新的挑战。

传统 IT 角色正在被非技术用户颠覆。 IT 在每个部门和整个企业中的日益普及和利用率创造了混合 IT 角色和新的运营模式。新的 IT 角色承担着与传统 IT 团队重叠的责任和职能。事实上,ITOps 现在几乎是任何处理数据的工作的一部分。因此,这种转变需要寻找“技术运动员”,即灵活、适应性强并愿意承担新的 IT 职能和责任的 IT 专家。搜索本身可能是一项具有挑战性的工作。

云计算彻底改变了企业处理大数据应用程序的方式。这可能是 IT 转型的一大挑战。随着企业转向云端,IT 支出已从资本支出 (CapEx) 转变为运营支出 (OpEx)。这意味着严重的成本管理问题。

虽然放弃数据中心、物理服务器和其他昂贵的网络设施和设备等与资本支出相关的费用有望节省大量资金,但企业必须应对运营支出的高度流动性支出模式。云中的运营费用会迅速增加,特别是如果云团队在没有上限和没有治理的情况下运作。

关键应用程序和操作所需的数据通常量大且访问频繁。为确保在需要时随时可用,此类数据被放入热云存储中。热云存储价格昂贵,因为它们包含更快、更耐用且功能强大的存储介质,如 SSD。

将热数据存储在热云存储中的问题是数据温度会在瞬间发生变化。今天的热点数据明天可能会变冷,而现在的冷数据可能会迅速变得重要。放在冷存储中的数据需要时间来访问和处理。在为冷数据支付热存储的场景中,本可以分配到其他地方的钱很容易丢失。

似乎云计算和信息技术转型还不够复杂,IT 工具和云服务的激增使情况进一步复杂化。企业可以使用大量可用的解决方案和技术。但是,拥有大量选择意味着 IT 领导者必须重新检查他们的 IT 架构和管道,以确保他们针对每个案例和/或目的使用最好的工具。

此外,它不仅限于选择和使用正确的工具和服务。与您的云或多云基础架构一起管理这些工具和服务可能会非常痛苦。您如何才能管理好这一切而又不偏离您的转型目标?

IT 团队必须能够实时无缝地沟通和协作,以便他们有效地管理 IT 基础架构、应用程序及其所有组件。他们需要在出现问题时立即收到通知和警报,以便他们可以快速查明原因并执行有效的解决方案。然而,找到并实施正确的工具并不容易。大多数协作和消息传递软件解决方案都是为企业团队而不是 IT 设计的。

开发人员通常更喜欢容器并选择它们而不是虚拟机,因为前者允许快速简单地创建和分发应用程序代码和依赖项。容器使开发人员能够快速工作并满足业务部门和客户的规范和独特需求。

虽然开发人员称赞容器的使用,但 ITOps 发现它们存在缺陷并且存在多种缺点。一方面,容器不能以裸机速度运行,由于容器和主机系统之间的接口等导致性能开销。其次,图形应用程序在容器内运行时很笨重。第三,一旦容器关闭,您将无法检索容器内的数据。而这些只是众所周知的表面上的划痕。

2021 年 IT 优先事项报告显示,由于与 COVID-19 相关的中断和紧张局势,IT 挑战已经扩大。随着转型和云采用计划的显着加速,新的 IT 问题逐渐浮出水面。

使用过时的 IT 技术是 37% 的 IT 领导者和员工的主要挫败感,其次是获得远程办公支持 (33%)。处理支持票是第三大挫折。然而,尽管最近面临挑战,但超过一半的受访者表达了对 IT 的尊重和同情。

当您的企业踏上 IT 转型之路时,您最好参考以下几点以帮助您走在正确的轨道上:

要了解更多信息,请查看我们的电子书,了解有关如何转变 IT 和推动业务走向成功的深入指导。

作者 east
云计算 4月 13,2023

AWS Glue 升级 Spark 引擎,支持 Ray 框架

AWS Glue 是 Amazon Web Services 提供的无服务器数据集成服务,在本周推出的 4.0 版本中展示了 Python 和 Apache Spark 的功能。
升级为 Python 3.10 和 Apache Spark 3.3.0 添加了引擎。这两个引擎都包括性能增强和错误修复,Spark 提供行级运行时过滤和改进的错误消息等功能。
Glue 4.0 中的新引擎插件支持 Ray 计算框架、适用于 Spark 的 Cloud Shuffle 服务和自适应查询执行。还支持基于 Python 构建的 Pandas 数据分析和操作工具。新的数据格式支持涵盖 Apache Hudi、Apache Iceberg 和 Delta Lake。 Glue 4.0 还包括 Parquet 矢量化阅读器,支持额外的编码和数据类型。
AWS Glue 提供数据发现、数据准备、数据转换和数据集成功能,并根据工作负载大小进行自动扩展。 AWS 表示,Glue 现在还为客户提供视觉转换,以便在团队之间使用和共享特定于业务的 ETL 逻辑。
AWS 宣布推出 AWS Glue for Ray 预览版作为新的引擎选项。数据工程师可以使用 AWS Glue for Ray 通过 Python 和流行的 Python 库处理大型数据集。 Python 代码的分布式处理是在多节点集群上完成的。
Glue 4.0 现已在美国的多个 AWS 区域推出,包括俄亥俄州、北弗吉尼亚州和北加利福尼亚州。

作者 east
云计算 4月 9,2023

Databricks 添加了数据治理和市场功能

除了在年度数据 + AI 峰会上开源 Delta Lake 外,数据湖库提供商 Databricks 周二还推出了一个新的数据市场以及新的数据工程功能。
该公司表示,新市场将在未来几个月推出,它将允许企业共享数据和分析资产,如表格、文件、机器学习模型、笔记本和仪表板,并补充说数据不必移动或出于共享目的从云存储中复制。
据该公司称,该市场将加速数据工程和应用程序开发,因为它允许企业访问数据集而不是开发数据集,并且还可以订阅仪表板进行分析而不是创建新的仪表板。
Databricks 表示,该市场将使共享数据资产的企业更容易将其货币化。
分析师表示,新市场在设计和战略上类似于 Snowflake 的数据市场。
“每个主要的企业平台(包括 Snowflake)都需要有一个可行的应用程序生态系统才能真正成为一个平台,Databricks 也不例外。它正在寻求成为数据资产的中心市场,应该被视为 ISV 和应用程序的直接机会寻求在 Delta Lake 之上建设的开发商,”Amalgam Insights 首席分析师 Hyoun Park 说。
Constellation Research 首席分析师 Doug Henschen 将 Databricks 的市场与 Snowflake 的市场进行比较,他表示,Databricks 数据市场目前的形式非常新,只解决内部和外部的数据共享问题,不像 Snowflake 添加了集成和支持数据货币化。
为了以安全的方式促进与其他企业的数据协作,该公司表示,它正在引入一种名为 Cleanrooms 的环境,该环境将在未来几个月内推出。
数据洁净室是一个安全的环境,允许企业匿名化、处理和存储个人身份信息,以便以后以不违反隐私法规的方式进行数据转换。
Databricks 的 Cleanrooms 将提供一种无需复制即可跨企业共享和加入数据的方法,该公司表示,并补充说,这些企业将能够与任何云上的客户和合作伙伴协作,并灵活地运行复杂的计算和工作负载SQL 和数据科学工具,包括 Python、R 和 Scala。
遵守隐私规范的承诺是一个有趣的提议,Park 说,并补充说其试金石将是它在具有严格监管准则的金融服务、政府、法律和医疗保健部门的采用。
Databricks 还推出了数项数据工程工具补充。
据该公司称,其中一种新工具 Enzyme 是一个新的优化层,用于加速 Delta Live Tables 中的提取、转换、加载 (ETL) 过程,该公司已于今年 4 月全面推出。
Ventana Research 研究总监 Matt Aslett 表示:“优化层专注于通过结合查询计划和数据变更需求分析,使用 Delta Live Tables 支持自动化增量数据集成管道。”
根据 Henschen 的说法,这一层有望“检查另一组客户期望的功能,这将使其作为传统数据仓库和数据集市平台的替代品更具竞争力。”
Databricks 还在其 Delta Lake 平台上宣布了下一代 Spark Structured Streaming,称为 Project Lightspeed,它声称将通过使用扩展的连接器生态系统来降低成本和延迟。
Databricks 将 Delta Lake 称为数据湖屋,建立在提供存储和分析功能的数据架构之上,这与以本机格式存储数据的数据湖和存储结构化数据(通常以 SQL 格式)的数据仓库形成鲜明对比快速查询。
“流数据是 Databricks 有别于其他一些数据湖屋提供商的一个领域,并且随着基于流数据和事件的实时应用程序变得更加主流而受到更多关注,”Aslett 说。
根据 Park 的说法,Spark 的第二次迭代表明 Databricks 对支持用于分析和机器学习的较小数据源越来越感兴趣。
“机器学习不再只是海量大数据的工具,而是实时和分布式数据的有价值的反馈和警报机制,”分析师说。
此外,为了帮助企业进行数据治理,该公司还推出了Data Lineage for Unity Catalog,未来几周内将在AWS和Azure上普遍可用。
“Unity Catalog 的普遍可用性将有助于改善 Lakehouse 资产的安全性和治理方面,例如文件、表格和 ML 模型。这对于保护敏感数据至关重要,”前大数据和分析研究副总裁 Sanjeev Mohan 说在 Gartner。
该公司还发布了 Databricks SQL Serverless(在 AWS 上)以提供完全托管的服务来维护、配置和扩展 lakehouse 上的云基础设施。
其他一些更新包括 Databricks SQL 的查询联合功能和 SQL CLI 的新功能,所有用户都可以直接从其本地计算机运行查询。
该公司表示,联合功能允许开发人员和数据科学家查询远程数据源,包括 PostgreSQL、MySQL、AWS Redshift 等,而无需先从源系统提取和加载数据。

作者 east
云计算 4月 8,2023

使用适用于 Cassandra 的 Azure 托管实例

大规模构建云原生应用程序需要谨慎选择堆栈。一个流行的工具是 Apache 的 Cassandra 项目,这是一个 NoSQL 数据库,旨在快速扩展而不影响应用程序性能。它是处理大数据的理想平台,内置基于 Hadoop 的 map-reduce 工具,以及它自己的查询语言。它最初由 Facebook 开发,后来被用于 CERN、Netflix 和 Uber。
Azure 最初通过 Azure Marketplace 中的 DataStax 产品提供 Cassandra 支持,然后将 Cassandra API 支持添加到其自己的分布式 Cosmos DB,并为希望在 Azure VM 上构建和部署自己的 Cassandra 系统的用户提供指导。它现在正在开发自己的 Cassandra 实现,公开预览一组 Cassandra 托管实例,旨在与 Cosmos DB 一起工作。
Cassandra 是一个分布式数据库,每个节点通过八卦协议相互连接。节点在多台机器上运行,组织为数据中心并部署为节点环。所有节点都是对等节点,因此如果任何一个节点丢失,系统可以在替换开始时继续运行。环也可以与其他环对等,允许您让本地系统与云托管系统一起工作,或者一个区域与其他区域一起工作以实现全球弹性。可以根据需要在环中添加或删除节点,提供线性缩放。要使性能或容量翻倍,您需要做的就是将节点数量翻倍。
微软的 Azure Managed Instance for Apache Cassandra 最好被认为是将本地数据扩展到 Cosmos DB 的一种方式。本地 Cosmos DB 自发布后不久就一直存在需求,但它与 Azure 平台的深度集成使得微软很难将其分离。通过提供其 Azure 实施和 Cosmos DB 之间的集成,现在可以设置一个 Azure 托管的 Cassandra 环,并将其与本地和 Cosmos DB 对等。您现在可以在本地和云之间复制数据,利用 Cosmos DB 的功能运行全球规模的分布式应用程序,同时使用本地 Cassandra 实例在您自己的数据中心处理受监管的数据操作。
使用托管实例还有其他优势,因为您可以将 Cassandra 环的大部分日常操作移交给 Azure。它将自动提供升级和更新,处理补丁,使您的数据库始终运行最安全的软件版本。由于管理开销较少,您可以专注于构建应用程序而不是维护堆栈。
设置和运行 Azure 的 Apache 及其任何其他托管开源数据库之间没有太大区别。首先登录到 Azure 门户,然后搜索 Managed Instance for Apache Cassandra 以创建集群。
您需要执行将 Azure 服务添加到订阅的大部分步骤,从将其添加到资源组和选择位置。同时,选择名称并选择主机 VM 类型。在当前预览版中,您仅限于连接到四个 P30 磁盘的 DS14_v2 服务器。这些是非常强大的基于 Xeon 的系统,具有 16 个 vCPU、112GB 内存和 224GB SSD。支持多达 64 个数据盘和 8 个网卡,带宽为 12,000 Mbps。预计每台服务器每小时至少支付 2.11 美元,具体取决于您提供服务的位置。 P30 磁盘每个磁盘提供 1TB 的存储空间,每月至少花费 122.88 美元(装载额外费用)。
在 Azure 中运行 Casandra 并不便宜,但它不适合小型应用程序。即使您仅将应用程序用作通向 Cosmos DB 的网关,您也会围绕应用程序转移大量数据。
下一步将您的实例链接到新的或现有的 Azure 虚拟网络。任何 VNet 都需要具有 Internet 访问权限,因为它需要链接到多个不同的 Azure 服务。其中包括支持虚拟机扩展、管理加密密钥和证书,以及与 Azure 的安全和身份验证服务集成。如果要连接到现有 VNet,则必须从 Azure CLI 添加适当的权限,否则部署将失败。
您现在已准备好创建集群。一旦部署完毕,下一步就是创建一个支持 Cassandra 库的管理虚拟机。这将允许您使用 Cassandra 查询工具来管理您的数据库,使用您在创建集群时设置的管理员密码。您现在可以开始使用 Cassandra。
如果您考虑使用 Azure 中的 Cassandra 作为 Cosmos DB 的桥梁,您需要将 Azure 资源配置为混合集群。和以前一样,在 Azure 中创建和部署 Cassandra 集群,设置其名称并将其连接到 Azure VNet。您需要为节点到节点加密配置 Cassandra,因此如果您的本地安装未使用它,请启用它。导出加密证书并使用 Azure CLI 将它们安装在 Azure 托管的群集中。这些将使您的两个站点能够通过加密的八卦连接进行通信。
VNet 需要通过专用的 Express Route 连接或使用站点到站点 VPN 连接到本地网络。你使用什么取决于你打算发送到 Azure 的数据量,尽管实验集群可能会使用 VPN 来避免设置专用多协议标签交换 (MPLS) 连接的成本。
您将需要在托管集群中创建一个新的数据中心,使用 Azure CLI 获取其种子节点的详细信息。这些被添加到您的本地系统的配置详细信息,以及定义您的站点到站点复制策略。这个过程非常简单,只需要用 Cassandra 的查询语言编写几行代码。
该服务的一个有趣方面是支持 Azure 基于 Apache Spark 的分析工具 Databricks。如果您在与托管 Cassandra 服务相同的 VNet 中安装 Databricks,然后使用 Apache Spark Cassandra 连接器链接到您的端点,则您可以使用 Spark 和 Databricks 笔记本对 Cassandra 托管的数据运行分析。
有趣的是,微软对混合云运营的承诺如何转化为数据处理。通过提供运行 Cassandra 的托管路径,该公司为您的本地工具和云之间的 NoSQL 数据提供了一个天然的桥梁。这是一种双向连接,可以在本地处理敏感数据,同时利用应用程序的云规模(并最终扩展到 Cosmos DB 的全球规模)。
Cassandra 自己的复制协议提供了桥梁,而 Azure 确保它是最新的和安全的。结果是一组有效的工具解决了与链接云和数据中心相关的许多问题,这些工具可以利用 Apache Spark 等工具将数据交付给依赖大数据的其他 Azure 服务。

作者 east

上一 1 2

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。回复”chatgpt”获取免注册可用chatgpt。回复“大数据”获取多本大数据电子书

标签

AIGC AI创作 bert chatgpt github GPT-3 gpt3 GTP-3 hive mysql O2O tensorflow UI控件 不含后台 交流 共享经济 出行 图像 地图定位 外卖 多媒体 娱乐 小程序 布局 带后台完整项目 开源项目 搜索 支付 效率 教育 日历 机器学习 深度学习 物流 用户系统 电商 画图 画布(canvas) 社交 签到 联网 读书 资讯 阅读 预订

官方QQ群

小程序开发群:74052405

大数据开发群: 952493060

近期文章

  • 如何在Chrome中设置启动时自动打开多个默认网页
  • spark内存溢出怎样区分是软件还是代码原因
  • MQTT完全解析和实践
  • 解决运行Selenium报错:self.driver = webdriver.Chrome(service=service) TypeError: __init__() got an unexpected keyword argument ‘service’
  • python 3.6使用mysql-connector-python报错:SyntaxError: future feature annotations is not defined
  • 详解Python当中的pip常用命令
  • AUTOSAR如何在多个供应商交付的配置中避免ARXML不兼容?
  • C++thread pool(线程池)设计应关注哪些扩展性问题?
  • 各类MCAL(Microcontroller Abstraction Layer)如何与AUTOSAR工具链解耦?
  • 如何设计AUTOSAR中的“域控制器”以支持未来扩展?

文章归档

  • 2025年7月
  • 2025年6月
  • 2025年5月
  • 2025年4月
  • 2025年3月
  • 2025年2月
  • 2025年1月
  • 2024年12月
  • 2024年11月
  • 2024年10月
  • 2024年9月
  • 2024年8月
  • 2024年7月
  • 2024年6月
  • 2024年5月
  • 2024年4月
  • 2024年3月
  • 2023年11月
  • 2023年10月
  • 2023年9月
  • 2023年8月
  • 2023年7月
  • 2023年6月
  • 2023年5月
  • 2023年4月
  • 2023年3月
  • 2023年1月
  • 2022年11月
  • 2022年10月
  • 2022年9月
  • 2022年8月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年9月
  • 2021年8月
  • 2021年7月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年6月
  • 2020年5月
  • 2020年4月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年2月
  • 2019年1月
  • 2018年12月
  • 2018年7月
  • 2018年6月

分类目录

  • Android (73)
  • bug清单 (79)
  • C++ (34)
  • Fuchsia (15)
  • php (4)
  • python (45)
  • sklearn (1)
  • 云计算 (20)
  • 人工智能 (61)
    • chatgpt (21)
      • 提示词 (6)
    • Keras (1)
    • Tensorflow (3)
    • 大模型 (1)
    • 智能体 (4)
    • 深度学习 (14)
  • 储能 (44)
  • 前端 (5)
  • 大数据开发 (491)
    • CDH (6)
    • datax (4)
    • doris (31)
    • Elasticsearch (15)
    • Flink (78)
    • flume (7)
    • Hadoop (19)
    • Hbase (23)
    • Hive (41)
    • Impala (2)
    • Java (71)
    • Kafka (10)
    • neo4j (5)
    • shardingsphere (6)
    • solr (5)
    • Spark (100)
    • spring (11)
    • 数据仓库 (9)
    • 数据挖掘 (7)
    • 海豚调度器 (10)
    • 运维 (34)
      • Docker (3)
  • 小游戏代码 (1)
  • 小程序代码 (139)
    • O2O (16)
    • UI控件 (5)
    • 互联网类 (23)
    • 企业类 (6)
    • 地图定位 (9)
    • 多媒体 (6)
    • 工具类 (25)
    • 电商类 (22)
    • 社交 (7)
    • 行业软件 (7)
    • 资讯读书 (11)
  • 嵌入式 (71)
    • autosar (63)
    • RTOS (1)
    • 总线 (1)
  • 开发博客 (16)
    • Harmony (9)
  • 技术架构 (6)
  • 数据库 (32)
    • mongodb (1)
    • mysql (13)
    • pgsql (2)
    • redis (1)
    • tdengine (4)
  • 未分类 (7)
  • 程序员网赚 (20)
    • 广告联盟 (3)
    • 私域流量 (5)
    • 自媒体 (5)
  • 量化投资 (4)
  • 面试 (14)

功能

  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

All Rights Reserved by Gitweixin.本站收集网友上传代码, 如有侵犯版权,请发邮件联系yiyuyos@gmail.com删除.