您现在的位置是:首页 >学无止境 >大数据生态数据库技术选型网站首页学无止境

大数据生态数据库技术选型

猿来如此dj 2024-06-17 10:47:05
简介大数据生态数据库技术选型

大数据生态数据库特性分析

1:hbase、es、clickhouse、hive、mysql

hbase
优点:hbase支持对数据的更新,删除和插入操作,列可以动态扩展。依赖hdfs作为底层的数据存储,具备强大的存储能力,是列式存储数据库,对于稀疏矩阵的大表,列式存储的数据库能节省空间。
缺点:不支持事务,不支持二级索引,不支持sql。查询延迟大,不支持复杂的关联等查询条件,但是可以借助phoneix实现关联查询和查询低延迟。总体延迟300ms左右。
场景:所以Hbase更适合非结构化的数据存储;在既要求随机读写又要求实时更新的场景中,比如工业互联网-煤炭行业。对设备状态的实时监控,不断的读取同时数据又在写入或更新。
es
优点:ES 是最为流行的大数据日志和搜索解决方案,支持动态schema,支持全文检索。
缺点:es返回结果的条数较少,大批量的结果返回有时延迟大,大量的写入容易报拒绝。因为基于内存管理数据不适合大量的数据存储。
场景:es多用于复杂的全文检索和日志分析。ES很多时候可以作为MySQL或HBase的索引来使用,比如对查到的结果再去hbase查数据。
clickhouse:
优点:支持sql查询,操作简单,查询性能高(很多场景略微优于es),延迟低,维护简单。和hbase一样是列式存储的数据库,比es需要更少的内存和磁盘(只有1/3以上&

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。