大数据前沿技术：基于CDC的数据捕获

在进行数据抽取时，你是否考虑过需要抽取哪部分数据加载到数据仓库？ 是完全抽取还是变化数据捕获？ 如果数据量很小，则采取完全源数据抽取；如果源数据量很大，则抽取变化的源数据，这种数据抽取模式叫做变化数据捕获，简称CDC。 当你能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显然都会变得更高效，因为要处理的数据量会小很多。 遗憾的是，很多源系统很难识别出最近变化的数据，或者必须侵入源系统才能做到。 变化数据捕获是数据抽取中典型的技术挑战。

因此掌握CDC在一定程度上提升了效率，具有较强的适用性。本课程的目的在于结合代码实现CDC，并在此基础上完成高质量的数据采集工作。