Greenplum 7 中的资源管理控制

Resource Group (下面简称 RG) 是 Greenplum 中用于管理内存和 CPU 资源的一个资源管理器。和 Resource Queue 相比,Resource Group 除了能够限制查询语句所使用的内存资源和并发数量以外,还通过使用 Linux Control Group 限制了 CPU 资源的使用。 »

关于 Linux Cgroup 的一些个人理解

最近一直在做关于 Linux Control Group 的一些工作,包括 version 1 和 version 2,在调研的过程中发现 Linux 这部分的文档并没有解释的很清楚,其它的一些博客也只是简单的介绍如何使用 Cgroup,对其内部机理并没有做过多描述。因此,这里简单写一些个人关于 Cgroup 理解。 »

如何理解 Greenplum 中的分布式快照?

在单机的 PostgreSQL 数据库中,我们使用 xmin、xmax 以及 xip 来判断当前获取到的元组是否对我们可见。但是对于 Greenplum 这一分布式数据库而言,数据分散在不同节点上,同一个分布式事务所插入、更新的数据在不同的节点上会有不同的版本,那么此时又该如何判断元组的可见性呢? »

Greenplum 是如何实现更新分片键的?

在 Greenplum 数据库中,允许用户更新元组的分片键,使得数据从当前节点转移到另一个节点,而这项能力是绝大多数分布式数据库所不支持的,例如 MongoDB 一旦设置了分片键,便无法进行修改和删除。实际上,Greenplum 非常巧妙的利用了 Motion Node 可以在节点之间进行数据传输的特性,以及 PostgreSQL 的火山模型,实现了更新分片键的特性。 »

深入浅出 Greenplum Bitmap Index

位图(bitmap)索引是 Greenplum 中所特有(对比 PostgreSQL)的一种索引类型,非常适用于大数据量且数据修改需求不大的数据分析场景(OLAP)中使用。Bitmap 索引可以保证在提供优良查询速度的前提下,使用更小的空间开销,能够有效节省大数据量环境的硬盘空间使用,从而降低系统运行成本。 »

EXPLAIN ANALYZE 在 Greenplum 中的实现

在 PostgreSQL 中,使用 EXPLAIN ANALYZE 不仅能够打印查询优化模块的估算代价,同时也会打印出语句执行时的实际代价,当我们遇到一个 Slow Query 时,就可以使用 EXPLAIN ANALYZE 对结果进行分析。但是 Greenplum 是一个分布式数据库,每一个节点的执行时间以及处理的 tuple 数量都可能不同,那么此时 EXPLAIN ANALYZ 的结果到底表示什么? »

rr(debugging) 的配置与基本使用

当我们进行数据库等复杂应用系统时,如果出现了问题需要进行 debug 的话,gdb 就是第一选择。但是对于类似于内存等复杂问题来说,使用 gdb 进行调试颇为不便: gdb 无法“回滚”我们的操作,也就是说,当我们使用断点错过了一个非常重要的操作的话,一切就得重新开始。此时我们就可以选择 rr 这个支持反向调试的工具,一次复现,N 次调试。 »

如何开始开发 Greenplum Database

Greenplum(即 Green Plum,青梅)是一个基于 MPP 体系结构和 PostgreSQL 数据库的开源 OLAP 服务,本文主要记录下个人在安装和调试 Greenplum 所遇到的问题以及发现的好用的工具,以帮助后面的小伙伴儿少走一些弯路。 »

PostgreSQL 中的 MVCC (01)——基本可见性判断

在数据的并发读写过程中,由于写入并不是原子性的,因此当一个线程正在写时,如果另一个线程进行读操作的话就很有可能产生数据不一致的问题。 比如数据的前半部分写入了,但是后半部分尚未写入,那么在读取时就会取到中间值,也就是脏数据,典型案例就是 64 位整型的写入将会分为两次写入。 »