为什么数据驱动的应用程序需要治理框架
在9月底,TIBCO生活在伦敦的开幕词中,TIBCO CTO NELSON PETRACEK讨论了驾驶创新的数据价值。“创新可能发生在任何地方,”他说。“创新与技术有关,您可以开发软件和文化方面的方式。但是数据驱动创新,以及推动创新的组织对数据进行句柄。“
在Petracek的经验中,不仅能够连接到数据源,还可以能够以它创建的速率处理数据。他说,公司的整体愿景是在TIBCO云中建立一个平台,以支持新的,数据驱动,云原生应用的开发和部署。
但是,具有简化数据管道的想法为组织构成风险,特别是从数据治理的角度来看。
Petracek说:每周在Tibco Live的主题演讲前,对电脑交谈“如果没有适当的小心和规划,数据将迅速成为一个无法管理的环境。我们正在看到对数据谱系,数据目录和元数据掌握的兴趣。如果没有适当的治理计划和数据管理,您将在整个地方拥有数据,它将迅速摆脱困境。“
为了一个组织变得真正的数据驱动,数据质量至关重要,Petracek表示至关重要。“我知道在Hadoop加载了一堆数据的客户,不知道他们每年加载数据是否仍然有效,谁实际使用它。如果我想寻找客户名称,我需要了解组织中的数据库是什么持有客户名称。“
Petracek表示,数据目录的概念在行业周围反弹,但它正在恢复企业的牵引力。数据目录而不是尝试识别持有客户名称字段的每个数据库,而是提供数据管理员可以转到的单个参考点。
除了数据目录之外,Petracek表示启发式 - 用于识别未知病毒签名的技术 - 可以与数据虚拟化一起使用以识别异常数据使用模式。查看此类模式不限于跟踪未经授权的访问,但可以帮助数据管理器来识别数据是否正在不必要地复制或提高性能。
当组织在其数据驱动应用程序开发过程的中心放置人工智能(AI)时,这种技术可能变得更加重要。通过数据进行创新的行业有很多谈话。
2018年,来自行业部门的AI使用的麦肯锡的AI前沿纸张的票据发现了传统分析应用程序的性能与使用深度学习AI技术来处理大数据集之间的相关性。
报告的作者指出:“在大多数应用中有效地利用神经网络需要大量标记的训练数据集,并进入足够的计算基础架构。随着培训数据集的规模增加,传统技术的性能在许多情况下倾向于高原。然而,使用深神经网络的高级AI技术的性能,CONPD和有效培训,往往会增加。
“此外,这些深度学习技术在提取来自复杂的多维数据类型的模式,例如图像,视频和音频或语音中特别强大。
鉴于深入学习算法擅长处理大型复杂的数据集,侧面越来越多的信念,即AI是在设计和构建数据驱动应用程序的新方法的核心中。在这种应用中处理数据不是硬编码 - 通过AI推断引擎处理数据,该引擎是根据IT摄取的数据学习和适应其使用的数据模型的。
在他在Tibco Live的演讲中,公司的首席运营办公室Matt Quinn要求代表考虑他们如何通过基于他们已经知道的内容来妨碍自己的创新。“今天的创新受到昨天的制约因素,”他说。“我们正在使用自从电脑黎明以来存在的原则。尽管今天的工具远远优于昔日的人,但我们仍然在今天的系统上施加了相同的原则。“
而程序员以前开发过软件“硬编码”,以根据他们预期的数据做出决策,而行业专家认为,Quinn表示,AI指示AI导致应用程序开发的新方法,加入:“我们需要重新考虑我们构建系统的方式。”