博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
开始云私有云存储系统:让数据更安全高效
阅读量:6529 次
发布时间:2019-06-24

本文共 1940 字,大约阅读时间需要 6 分钟。

企业数据中70%的数据是非结构化数据。大数据时代,企业非结构化数据的几何式增长,给企业带来了巨大的机遇和财富。许多中大型企业都希望建设自己的私有云存储系统,做好海量数据的积累与传承。

但是,企业该如何满足不断变化的存储需求,保持系统的稳定性?如何有效地规避系统运行中因各种软硬件问题而导致的数据丢失、损坏等风险?当数据增长到一定量级时,又如何对数据进行高效利用?围绕企业数据管理,又存在着一系列的难题与挑战。

但毋庸置疑的是,数据已经成为企业最重要、最具有发展价值的数字资产。统一管理与充分利用好企业数据,不仅能够提高企业日常办公效率,更为企业的长远发展提供了坚实的基础支持。

为了推动中国企业的信息化进程,实现企业向“互联网+”的产业升级转变,开始云自主研发了“KFS私有云存储系统”,帮助企业能够快速搭建私有云平台,解决海量非结构化数据的树状存储及高IO吞吐等问题。

安全、高效的数据存储平台

数据存储

KFS私有云存储系统完全基于JAVA开始,支持Linus/Windows部署。整个系统设计为无单点故障,不论是元数据还是数据块均支持多副本存储,避免因各种软硬件故障而导致的数据丢失。

在文件存储数量方面,KFS私有云存储系统采用标准树状目录结构,支持海量小文件,支持存储去重、大文件切割和冷热数据分离。海量树状结构被智能分裂为众多独立分区分散管理,每个分区掌管一部分树状结构中的元数据,每个分区可由3台名称服务器共同掌管。KFS私有云存储系统支持无限文件夹层级和无限文件及文件夹数量。每台名称服务器可参与掌管多个分区,可通过动态增加名称服务器来弹性扩展整个集群的元数据容量。KFS私有云存储系统集群可管理万台以上名称服务器,以每台名称服务器配备32G内存为例,每台名称服务器可管理约1000万个文件元数据,考虑元数据三份副本机制,整个集群可管理文件个数可达数百亿级别。

而在数据存储容量方面,物理文件按策略均匀分散在众多数据服务器中,企业可通过动态增加数据服务器来弹性扩展整个集群的物理存储容量。KFS私有云存储系统集群可管理百万台以上数据服务器,整个集群可存储数据容量可达EB级(1EB=1024PB)。

  数据传输

KFS私有云存储系统采用HTTP通信协议,支持广域网部署,信息流与数据流分离。KFS私有云存储系统将数据块均匀分散至各数据服务器,可通过增加数据服务器数量来弹性扩展传输带宽。并且,KFS私有云存储系统支持数据文件冷热分离存储,通过部分热数据服务器,实现高带宽要求的文件传输服务。

同时,由于元数据被分散至多台名称服务器管理,且单台名称服务器可并发访问能力为5000以上,因此整个KFS私有云存储系统集群的信息流并发访问能力可轻松超过一万。此外,KFS私有云存储系统支持批量读取元数据,可有效降低客户端和服务器端交互次数。

数据分析

KFS私有云存储系统兼容Hadoop,可使用KFS作为Hadoop MapReduce及Spark大数据分析的数据源,支持基于KFS私有云存储系统进行大数据分析。

帮助管好数据,实现企业数据价值

安全可靠

KFS私有云存储系统可作为企业IT应用系统的底层文件库系统,支持多副本容灾备份,无单点故障,防止数据丢失与用错。

功能强大

KFS私有云存储系统支持跨广域网部署,为企业提供非结构化数据的一站式存储、加速、备份和大数据分析服务,轻松实现数据管理与增值。

  高性价比

KFS私有云存储系统支持弹性扩展,为企业省却高额研发成本,带宽可编程控制,实现企业流量带宽成本和文件存储成本的自动调配,在确保存储容量和带宽的同时将成本降至最低。

弹性扩展

KFS私有云存储系统支持弹性扩容和接口开放,二次开发更灵活。

数据驱动企业更好发展

KFS私有云存储系统是开始云完全自主独立研发的真正具有EB级海量文件集群能力的企业级分布式文件存储系统,支持存储文件个数超过千亿,支持接入存储服务器数量超过万台。KFS私有云存储系统能够为企业实现“互联网+”提供技术支持,快速整合企业数据,帮助企业不断探索数据价值,推动企业不断向前。

亚马逊前任首席科学家Andreas Weigend曾经说过:“数据是新的石油。”在未来10年甚至20年,数据都会是企业最重要的数字财富,即使到现在,我们都还处于大数据发展的初级阶段。但是,从现在开始,从数据的获取、储存到搜索、共享、分析,每一个过程都应该被企业所重视。一个好的企业应该未雨绸缪,借助技术和数据的力量,创造新的价值。

====================================分割线================================

本文转自d1net(转载)

你可能感兴趣的文章
2016国赛小结
查看>>
Android Studio 第六十四期 - Android业务组件化之URL Scheme使用
查看>>
Hyper-V 2016 系列教程41 Windows 10 Hyper-V 系统要求
查看>>
EC2 WordPress 移动目录
查看>>
Windows Server 2008 启用公共文件夹共享
查看>>
【运维故事】职场如何领先一步?
查看>>
如何提高SEO优化团队效率
查看>>
做业务与技术之间的桥梁
查看>>
SFB 项目经验-17-Windows 2012 R2-补丁打到最新-问题-KB2982006
查看>>
用hadoop中的libhdfs和fuse-dfs构建快速云存储
查看>>
VMTools和虚拟硬件升级
查看>>
不知道自己不知道(Unknown Unknowns)的知识决定了你的发展
查看>>
Apple Watch的非“智能手表”卖点
查看>>
fedora17升级到fedora18
查看>>
单例模式(Singleton)
查看>>
函数指针和指针函数
查看>>
认识配置设置文件(INI与XML)
查看>>
Python的函数参数传递:传值?引用?
查看>>
[转]分享2011年8个最新的jQuery Mobile在线教程
查看>>
android call require api level
查看>>