-
不良数据会造成更严重后果的几个原由
所属栏目:[大数据] 日期:2022-06-27 热度:173
现在回想起来,这是有道理的。当时不仅存在基础设施方面的挑战,而且使用网络的人并不多,网站也没有那么有价值。随着云计算、电子商务和SaaS的兴起,这种情况发生了变化,确保可靠性成为企业的关键任务,站点可靠性工程(SRE)应运而生。 数据如今处于相似[详细]
-
数据分析常见的误区有哪几种
所属栏目:[大数据] 日期:2022-06-27 热度:60
数据分析常见的误区有哪些? 1、盲目的收集数据 一个正常运营的产品每天会产生大量的数据,如果把这些数据都收集起来进行分析,不仅会使工作量增加,浪费大量时间,很可能还会得不到想要的分析结果。作为一名数据分析人员,更不应该为了分析而分析,而是应[详细]
-
如何管理高度可扩大系统中的元数据
所属栏目:[大数据] 日期:2022-06-27 热度:82
元数据过去对数据中心架构的影响很[详细]
-
做数据治理前 应该明白并避开的几大坑
所属栏目:[大数据] 日期:2022-06-27 热度:67
Gartner 的一项调查显示,超过90%的数据治理项目都以失败告终。 这个数据可能会劝退一大波正准备做或者正在观望数据治理的企业:既然这笔投资90% 的概率失败,那为什么要继续。 1. 目标不明晰 数据治理是一个复杂的系统工程,一个明确合理的目标,能让数据[详细]
-
大数据平台核心架构图鉴 提议收藏
所属栏目:[大数据] 日期:2022-06-27 热度:112
大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。 所以我下面就按这张架构图上的线索,慢慢来剖析一下,大数据的核心技术都包括什么。 01数据采集 数据采集的任务就是把数据从各[详细]
-
新时代开源数据调度在1000+企业的进化之途
所属栏目:[大数据] 日期:2022-06-27 热度:139
近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。[详细]
-
为何很多人宁可用 Excel 也不用 Python
所属栏目:[大数据] 日期:2022-06-26 热度:90
有人说,Python即使不是最好的编程语言,也是最受欢迎的语言之一。因为它简洁易用,功能强大,对初学者也很友好。在众多培训机构的小广告中,学了Python就能批量处理Excel表格,Python是实现办公自动化的利器,从此告别996之类的口号随处可见。但实际工作[详细]
-
云数据仓库中的数据安全思虑
所属栏目:[大数据] 日期:2022-06-26 热度:132
近年来,由于云计算与云存储具有一定的廉价性和可扩展性,云数据仓库(Cloud data warehouses,CDW)得到了广泛的应用并飞速发展。同时,CDW不但能够存储比本地数据库更多的数据,而且可以通过现代化数据管道,简化了ETL的各种流程,因此许多企业都开始用[详细]
-
终于有人把MPP大数据系统架构讲清楚了
所属栏目:[大数据] 日期:2022-06-26 热度:127
本文首先回顾并行硬件架构的发展,并进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。数据库一体机系统在银行等大型企业中采用广泛,一体机的优点是开箱即用、功能丰富、稳定、售后服务好,缺点是价格昂贵、扩展不灵活。基于[详细]
-
数据科学家应对的几大挑战及解决方法
所属栏目:[大数据] 日期:2022-06-26 热度:94
每天,全球各地的组织都在寻找2.5万亿字节的数据,以获得对其业务的见解和价值驱动的行动。为了实现这一目标,需要高技能的科学专家或数据科学家参与开发业务中的企业AI。在不断增长的业务领域中,数据科学家的每一个行动都有助于改进业务的功能。 下面来[详细]
-
使用Java和Python进行数据统计和剖析
所属栏目:[大数据] 日期:2022-06-26 热度:83
Java 和 Python 是当今最流行的两种计算机语言。两者都非常成熟,并提供了工具和技术生态系统,帮助我们解决数据科学领域出现的挑战性问题。每种语言都各有优势,我们要知道什么时候应该使用哪种工具,或者什么时候它们应该协同工作相互补充。 Python 是一[详细]
-
云迁移之后 企业凭什么充分挖掘数据潜力
所属栏目:[大数据] 日期:2022-06-26 热度:189
近年来,基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)等业务模式正飞速发展,也推动着云投资屡创新高。根据GlobalData的报告,2024年亚太地区云计算市场规模预计将达到1918亿美元,2019至2024年期间的复合年增长率为7.7%。 然而,云迁[详细]
-
字节跳动数据平台技术揭晓
所属栏目:[大数据] 日期:2022-06-26 热度:152
ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一,拥有着同类型DBMS难以企及的查询速度。作为该领域中的后起之秀,ClickHouse已凭借其性能优势引领了业内新一轮分析型数据库的热潮。但随着企业业务数据量的不断扩大,在复杂query场景下,ClickHouse[详细]
-
大规模分布式计算学习引擎Ray在字节跳动NLP场景下的践行
所属栏目:[大数据] 日期:2022-06-26 热度:90
RayRTC 是字节基础架构组与字节 AML 组共同合作,在内部 RTC(Realtime Text Classification)文本训练平台上基于 Ray 进行的下一代 Serverless ML 的探索。RTC 文本分类平台是一个一站式的 NLP 服务平台,包括了数据预处理,标注,模型训练,打分,评估,[详细]
-
远程访问装有GPU的电脑很不方便 如今有一个值得试试的办法
所属栏目:[大数据] 日期:2022-06-26 热度:151
由于多种原因,很多人无法将在本地存储了大量文件的电脑和软件带回家,好在有办法做到从任何地方发起高质量的远程访问,而无需额外费用。下面介绍几种经过测试的方法,实现方便地远程管理办公电脑。 DOC怎么了? 普通员工只需使用远程桌面协议(RDP协议)[详细]
-
几款日常的开源无代码测试工具
所属栏目:[大数据] 日期:2022-06-26 热度:61
编程语言一直是自动化测试、自动化测试人员、框架甚至工作职责中不可或缺的一部分。如果一个遗留项目已经使用了Java进行测试,该公司会为该项目寻找具备Java专业知识的人员。同样,如果新项目需要从零开始构建测试流程,那么首要考虑的事情就是团队擅长哪[详细]
-
如何使云原生运维化繁为简
所属栏目:[大数据] 日期:2022-06-13 热度:103
云计算带来了集约化、效率、弹性与业务敏捷的同时,对云上运维提出了前所未有的挑战。如何面对新技术趋势的挑战,构建面向云时代的智能监测平台,让云上应用获得更好的保障,是如今摆在每一个企业面前的一道难题。 在日前的【TTalk】系列活动第八期中,51C[详细]
-
如何借助Python创建机器学习模型
所属栏目:[大数据] 日期:2022-06-13 热度:120
你是否会遇到这样的场景,当你训练了一个新模型,有时你不想费心编写 Flask Code(Python的web 框架)或者将模型容器化并在 Docker 中运行它,就想通过 API 立即使用这个模型? 如果你有这个需求,你肯定想了解MLServer。它是一个基于Python的推理服务器,[详细]
-
转向未来的AI自动化测试工具
所属栏目:[大数据] 日期:2022-06-13 热度:198
近年来,自动化测试已经发生了重大的迭代。它在很大程度上协助QA团队减少了人为错误的可能。虽然目前有许多工具可以被用于自动化测试,但合适的工具一直是自动化测试成败与否的关键。同时,随着人工智能、机器学习和神经网络在各个领域的广泛运用,面向人[详细]
-
微型机器学习有望让深度学习嵌入微处理器
所属栏目:[大数据] 日期:2022-06-13 热度:141
深度学习模型最初的成功归功于拥有大量内存和GPU集群的大型服务器。深度学习的前景催生了一个为深度神经网络提供云计算服务的行业。因此,在几乎无限的云资源上运行的大型神经网络变得非常流行,这对于具有充足预算的科技公司尤其如此。 但与此同时,近年[详细]
-
人工智能平台计划中的质量工程设计
所属栏目:[大数据] 日期:2022-06-13 热度:143
我们正处在人工智能的黄金时代。人工智能方案的采用使得企业更具创造性、竞争力和快速响应能力。软件即服务(software-as-a-service,SaaS)模式,加上云技术的进步,使软件生产和消费过程越来越成熟。 普遍存在的一个事实是,大多数组织更喜欢购买现成的[详细]
-
开启元宇宙的数字人之行
所属栏目:[大数据] 日期:2022-06-13 热度:145
作为构建元宇宙内容的基石,数字人是最早可落地且可持续发展的元宇宙细分成熟场景,目前,虚拟偶像、电商带货、电视主持、虚拟主播等商业应用已被大众认可。在元宇宙世界中,最核心的内容之一非数字人莫属,因为数字人不光是真实世界人类在元宇宙中的化身[详细]
-
使用机器学习重塑视频中的人脸
所属栏目:[大数据] 日期:2022-06-13 热度:90
来自于中、英两国的一项合作研究设计出了一种在视频中重塑面孔的新方法。该技术可以扩大和缩小面部结构,同时还具有高度一致性,并且没有人工修剪的痕迹 一般而言,这种面部结构的转化通过传统的 CGI 方法来实现,而传统的 CGI 方法依托详细且昂贵的运动封[详细]
-
由于智能数据库的自助式机器学习
所属栏目:[大数据] 日期:2022-06-13 热度:113
由于智能数据库的自助式机器学习 1.如何成为一个IDO? IDO(insight-driven organization)指洞察力驱动(以信息为导向)的组织。要成为一个IDO,首先需要数据以及操作和分析数据的工具;其次是具有适当经验的数据分析师或数据科学家;最后还需要找到一种技术或者[详细]
-
元宇宙在艺术领域的探索
所属栏目:[大数据] 日期:2022-06-13 热度:70
在元宇宙概念火爆的当下,各行业均开始了在这片富地中的探索。而在诸多行业之中,艺术行业与元宇宙的融合互促效果尤为明显。在不久前MetaCon元宇宙技术大会上,触角科技有限公司联合创始人、大有不言文化有限公司创始人谷强为我们带来了《元宇宙在艺术行业[详细]