在oracle中,数据源是一种数据连接的抽象,包含了数据库位置和数据库类型等信息;数据源提供了读取和写入oracle双向通道的功能,方便可以通过向导模式和脚本模式配置数据同步任务。
本教程操作环境:windows10系统、Oracle 11g版、Dell G3电脑。
oracle的数据源是什么
数据源。数据源包含了数据库位置和数据库类型等信息,实际上是一种数据连接的抽象。
Oracle数据源为您提供读取和写入Oracle双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍,配置数据源之前需要准备的网络环境及账号权限,以及在DataWorks中如何新增Oracle数据源。
前提条件
配置数据源之前,请确保已完成以下规划与准备工作。
-
准备数据源:已购买来源数据源Oracle。
-
资源规划与准备:已购买独享数据集成资源组,并完成资源配置。详情可参见资源规划与配置。
-
网络环境评估与规划:新增数据源之前,您需根据业务情况,打通数据源、独享数据集成资源组之间的网络,并进行交换机、白名单等网络环境下的访问配置。
如果数据源和独享数据集成资源组均处于同地域的同一VPC网络中,数据源与资源组间的网络天然联通。
如果数据源和独享数据集成资源组均处于不同的网络环境中,您需要通过VPN网关等方式,将数据源与资源组间的网络打通。
-
准备账号并授权:
您需要规划一个可访问数据源的账号,用于后续数据集成过程中访问数据源并进行数据提取、写入的同步操作。
-
开启补充日志:
来源数据源为Oracle时,您需要开启数据库级别的归档日志、Redo日志及补充日志。
归档日志:Oracle通过归档日志保存所有的重做历史记录,用于在数据库出现故障时完全恢复数据库。
Redo日志:Oracle通过Redo日志来保证数据库的事务可以被重新执行,从而使得在故障(例如断电)之后,数据可以被恢复,因此您需要为数据库开启并切换Redo日志。
补充日志:补充日志是对Redo日志中信息的补充。在Oracle中,Redo日志用于记录被修改的字段的值,而补充日志是对Redo日志中变更记录的补充信息,可以确保Oracle的Redo日志包含描述所有数据更改的完整信息,以便在进行数据恢复、数据同步等操作时,可以追溯到完整的语句及相关变更。Oracle数据库的某些功能要求启用补充日志才能正常或更好的工作,因此您需要为数据库开启补充日志。
例如,如果未启用补充日志,执行UPDATE命令后,Redo日志中只会记录通过UPDATE命令更改后的字段值,启用补充日志后,则Redo日志中会记录被修改字段,修改前的值、修改后的值以及修改目标字段的条件值。当数据库发生故障(例如断电)时,您可以基于此修改信息恢复数据。
使用数据集成时推荐开启主键列或唯一索引列补充日志。
开启主键列的补充日志后,如果数据库有任何更新,则组成主键的所有列都会被记录在日志中。
开启唯一索引列的补充日志后,如果组成唯一键或位图索引的任何列被修改,则组成该唯一键或位图索引的列都会被记录在日志中。
Oracle仅支持在主库中为主库或备库开启补充日志。
-
检查数据库的字符编码格式:
您需要确保Oracle中不能包含数据集成不支持的字符编码格式,防止同步数据失败。当前数据集成同步数据时,仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。
-
检查数据库表的数据类型:
您需要确保Oracle中不能包含数据集成不支持的数据类型,防止同步数据失败。当前数据集成进行实时同步时,不支持LONG、BFILE、LONG RAW及NCLOB数据类型 。
推荐教程:《Oracle视频教程》