分布式操作系统
分布式文件系统之前也是一个技术热点,后来随着公有云的大行其道,小公司一般都采用了某个厂商的OSS方案,刚好最近做内容大数据,因为特殊性,不能使用公有云,所以就研究了一下。
以前脑子里的TFS这些,已经少有维护了,但发现现在的一个明星产品:MinIO
其架构如图一:其接口和amazon的S3存储接口一致
项目地址:网页链接
官网地址:网页链接
#开源项目精选#
LAXCUS分布式操作系统中默认集成了分布式数据库及大数据处理组件。
分布式数据库方面,提供行存储模型NSM和列存储模型DSM,可在建立数据库的时候指定;分布式事务在原CAP理论基础上,进行了适当的调整和改进,提供了允许由用户定制和分配的CAP管理策略,这样用户能够按照自己的业务需求,在AP和CP之间进行选择切换,极大提高了系统的灵活性,同时简化了用户在应用层面的设计。特别说明的是,可调CAP策略是一个多维度多粒度的管理策略,即使在一个账号下,用户也能够针对不同业务需求,实现任意数量的可调CAP策略。在兼容SQL方面,SQL的管理控制语句、数据定义语句、数据操作语句,以及运算符、关键字、大部分SQL函数,被完整继承下来,用户依然可以按照SQL标准进行操作。
大数据支持方面,LAXCUS提供了CONDUCT、CONTACT及ESTABLISH三种模型。CONDUCT模型基于Diffuse/Converge算法,侧重用于大规模和超大规模的分布式计算,这类业务普遍特点是数据量大,计算时间长,要求更多的计算节点和更强大的计算能力。主要面向科学计算,如:工程建模、高速空气流体、仿真计算、油气资源分析等。在在一些民用领域,比如生物医药、新能源、大型航空器的设计中也在使用。
CONTACT模型基于Distant/Near算法,侧重小规模到中等规模的分布式计算,它们普遍特点是并行规模大但数据量小的计算工作,目前集中于云原生和企业业务。如早期的EJB业务,迁移到云端后,也可以采用Contact模型替换。
ESTABLISH模型基于Scan/Sift、Mashal/Educe算法,对标ETL业务,包括数据重组、数据清洗,可以提高数据检索效率。
怎么评测一个后端开发水平的差距?通过分布式系统还是楼下抽烟时间长短决定?https://codenews.cc/view/6127





