当数据量达到过亿级别时，数据库选择应根据具体场景进行考量。若场景侧重于OLTP，MySQL仍可胜任。对于侧重于OLAP或特定计算需求，需考虑其他选项。在实时计算场景下，例如实时性要求较高的应用，Apache Storm是一个合适选择。它专为构建实时数据流处理系统而设计，能有效应对实时数据处理需求。批处理计算场景，...
从百万级别数据的分析角度，mysql，mongodb，hbase如何选择？
百万级数据选择数据库时，需考虑数据访问模式和系统需求。对于侧重OLTP的百万级数据，MySQL是理想的解决方案，其设计旨在支持高并发和大量事务处理。
当数据量达到过亿级别时，数据库选择应根据具体场景进行考量。若场景侧重于OLTP，MySQL仍可胜任。对于侧重于OLAP或特定计算需求，需考虑其他选项。
在实时计算场景下，例如实时性要求较高的应用，Apache Storm是一个合适选择。它专为构建实时数据流处理系统而设计，能有效应对实时数据处理需求。
批处理计算场景，如大数据集分析和数据挖掘，Hadoop是首选。Hadoop采用分布式计算框架，能高效处理大量数据，支持批处理任务。
实时查询场景中，solr或elasticsearch成为关键。它们构建在分布式索引基础上，允许快速响应查询请求，适合作为数据查询入口，提高查询效率。
企业级ODS、EDW或数据集市场场景下，Greenplum是一个优秀选择。这类系统基于关系型数据库，专为大数据实时分析设计，支持业务数据集成与分析。
数据库系统主要分为两类：面向OLTP的系统，侧重于交易处理，关注高并发和即时响应，内存管理是关键；以及面向OLAP的系统，重视数据统计分析，处理大规模数据，提供多维度数据探索能力。
OLTP系统，即面向事务处理的系统，特点是事件驱动、面向应用，如电子商务交易系统。其核心特点是数据产生、基于交易处理、小量数据操作、高响应时间要求、操作人员为主要用户群体、操作基于索引。
分析型数据库，即OLAP系统，侧重数据仓库的分析处理。这类系统本身不产生数据，依赖于生产系统操作数据作为基础，支持复杂查询和数据多角度分析。其特点包括数据来源于操作数据、基于查询分析、处理大量数据、响应时间受查询影响、用户为业务与管理人员。2024-09-08
