位置: IT常识 - 正文

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

发布时间:2024-01-17
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 系列文章目录

推荐整理分享【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:大数据在线实时分析,大数据实时查询引擎,大数据实时查询引擎,大数据实时报告,大数据在线实时分析,大数据中实时数据,实时大数据平台,大数据实时查询引擎,内容如对您有帮助,希望把文章链接给更多的朋友!

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

文章目录系列文章目录前言一、数据库配置信息二、下载OGG12C三、上传安装包到主备库并解压四、配置环境变量五、创建安装目录六、数据库配置源端库配置1、开启数据库归档2、开启强制使用日志模式3、开启日志追加4、创建ogg管理用户5、授予ogg账户权限6、修改数据库参数目标端库配置1、创建ogg管理用户2、授予ogg账户权限3、修改数据库参数总结前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。 之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写! 来弥补一下这个空白!!! 好了,扯远了,回归技术! 下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!! 注意:本部署方案分为三章节,三章节的重点分别是:

GoldenGate12C安装前,数据库层面的准备工作!!! 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!! 配置支持DDL操作的实时数据同步!!!一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档: 【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。 源端数据库配置信息: 主机名:source IP:192.168.1.6 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.AL32UTF8 目的端数据库配置信息: 主机名:ogg IP:192.168.1.10 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.ZHS16GBK UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接: 【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。 该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。 GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。 点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

四、配置环境变量

源端环境变量设置如下:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=orclexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.AL32UTF8export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看alias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=oggexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport LD_LIBRARY_PATH=$ORACLE_HOME/libalias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12六、数据库配置源端库配置1、开启数据库归档

验证是否开启

SQL> archive log list2、开启强制使用日志模式alter database force logging;

验证是否开启

select force_logging from v$database;3、开启日志追加alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui,supplemental_log_data_fkfrom v$database;4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;5、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;目标端库配置1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;2、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!

本文链接地址:https://www.jiuchutong.com/zhishi/298803.html 转载请保留说明!

上一篇:ghostnet(ghostnet改进)

下一篇:Win11装了VMware后找不到wifi网络的解决方法(虚拟机安装win11提示无法运行)

  • 苹果13是typec接口吗

    苹果13是typec接口吗

  • 鲨鱼记账怎么导入微信支付宝(鲨鱼记账怎么导入账本)

    鲨鱼记账怎么导入微信支付宝(鲨鱼记账怎么导入账本)

  • 抖音快手可以发布同一个视频么(抖音快手可以发一个视频吗)

    抖音快手可以发布同一个视频么(抖音快手可以发一个视频吗)

  • 抖音直播怎么弄管理员(抖音直播怎么弄字幕上去)

    抖音直播怎么弄管理员(抖音直播怎么弄字幕上去)

  • 抖音怎么成为铁粉(抖音怎么成为铁枌)

    抖音怎么成为铁粉(抖音怎么成为铁枌)

  • 华为nova7有耳机吗(华为nova9耳机孔在哪里)

    华为nova7有耳机吗(华为nova9耳机孔在哪里)

  • iphone双击home键分屏有什么用(iphone双击home键反应变慢)

    iphone双击home键分屏有什么用(iphone双击home键反应变慢)

  • 屏幕和手机分离怎么办(屏幕和手机分离修要多少钱)

    屏幕和手机分离怎么办(屏幕和手机分离修要多少钱)

  • 华为手机卡1卡2设置在哪里(华为手机卡1卡2在哪里查找到)

    华为手机卡1卡2设置在哪里(华为手机卡1卡2在哪里查找到)

  • 手机音量孔里的灰怎么清理(手机音量孔堵住了怎么办)

    手机音量孔里的灰怎么清理(手机音量孔堵住了怎么办)

  • 重新申请解封是什么意思(重新申请解封是啥意思)

    重新申请解封是什么意思(重新申请解封是啥意思)

  • ipad一共有几个型号(ipad一共有几款)

    ipad一共有几个型号(ipad一共有几款)

  • 手机刷屏步骤(手机刷屏步骤苹果版)

    手机刷屏步骤(手机刷屏步骤苹果版)

  • 南方cass怎么标注边长(南方cass怎么标注长度尺寸)

    南方cass怎么标注边长(南方cass怎么标注长度尺寸)

  • 计算机软件通常分为(计算机软件)

    计算机软件通常分为(计算机软件)

  • 小米如何关掉nfc(小米如何关掉游戏加速)

    小米如何关掉nfc(小米如何关掉游戏加速)

  • 7680帧是什么概念(768p和1080p游戏帧数差别)

    7680帧是什么概念(768p和1080p游戏帧数差别)

  • 苹果用流量怎么下载绝地求生(苹果用流量怎么换卡)

    苹果用流量怎么下载绝地求生(苹果用流量怎么换卡)

  • vivoy93的简易桌面怎么设置(vivoy93手机的简易桌面怎么设置)

    vivoy93的简易桌面怎么设置(vivoy93手机的简易桌面怎么设置)

  • 华为屏幕录制怎么没有声音(华为屏幕录制怎么设置出来)

    华为屏幕录制怎么没有声音(华为屏幕录制怎么设置出来)

  • 抖音蓝v号是什么(抖音蓝v号有什么好处)

    抖音蓝v号是什么(抖音蓝v号有什么好处)

  • Word如何删除空白页(word如何删除空白表格)

    Word如何删除空白页(word如何删除空白表格)

  • SSDP Discovery Service 是什么可以禁用吗

    SSDP Discovery Service 是什么可以禁用吗

  • pull.exe - pull是什么进程 有什么用(pull-hi)

    pull.exe - pull是什么进程 有什么用(pull-hi)

  • eabservr.exe是什么进程 eabservr进程是病毒吗(explorer.exe是啥意思)

    eabservr.exe是什么进程 eabservr进程是病毒吗(explorer.exe是啥意思)

  • 7.25 web前端-淘宝首页设计(淘宝前端用什么写的)

    7.25 web前端-淘宝首页设计(淘宝前端用什么写的)

  • 大二一个学期学这么点内容,没有概念,只有实操(大二一学期学分多少合适)

    大二一个学期学这么点内容,没有概念,只有实操(大二一学期学分多少合适)

  • 公转私做账麻烦吗
  • 增值税纳税申报时间
  • 运输服务的增值税是多少
  • 外经证核销反馈表
  • 凭证日期小于当前会计期啥意思
  • 企业所得税营业税金及附加包括
  • 资产负债表项目的编制方法
  • 贷款买车需要到银行去吗
  • 环保专项资金可以转让吗
  • 长期股权投资权益法下初始投资成本
  • 消防设施安装费包括哪些
  • 其他应付款转入营业外收入
  • 长期股权投资转入持有待售资产
  • 酒店怎么付钱
  • 企业因购买材料开出的商业汇票属于什么会计科目
  • 上年度的印花税怎么计算
  • 筹资活动现金净流量为正说明什么
  • 小规模纳税人如何转一般纳税人
  • 出口退税注销备注怎么填
  • 酱菜税率是多少
  • 预售 首付
  • 城镇土地使用税减免税政策
  • 金税盘服务费可以当月抵扣吗
  • 自主就业退役士兵从事个体经营的
  • 公司变更监事需要换营业执照吗?
  • 已完成认证
  • 增值税普通发票几个点
  • 水利建设基金从铁路建设基金港口建设费收入中提取5%
  • 权利,许可证照印花税
  • Win11文件资源管理器将更新
  • Win10怎么关闭搜索框
  • 在windows7是一种
  • 赔绿化损失费的法律依据
  • 高新技术企业改革
  • 房产税的征收范围为
  • pc端微信怎么更新
  • 融资租赁和经营租赁哪个更常见
  • 收到退回的保证金利息怎么入账
  • 长期借款的概念
  • 增值税跟企业所得税的关系
  • wordpress经典编辑器用法
  • 企业常见的筹资方式有几种
  • css设置3d
  • java rest接口
  • 火车票抵扣进项税需要认证吗
  • 填写发票票种核实怎么填
  • 会计实操和实际工作一样吗
  • 员工垫付公司的保险费
  • dedecms怎么改图片
  • 电子承兑汇票的承兑人是谁
  • 理财产品分红和收益
  • 增值税发票抵扣联丢失怎么办
  • 建筑工程和建筑装饰工程的区别
  • 小规模购进商品怎么做账
  • 营业税金及附加税率
  • 公司基本账户有银行卡吗
  • 建筑图纸设计费怎么收费
  • 营业外收入适用的会计准则
  • 税控设备管理办法
  • 预收款退回怎么处理
  • 港口建设费收费标准
  • ubuntul
  • 隔空传送怎样使用苹果
  • Win10 Build 17035自制64位中国版十合一ISO镜像下载地址
  • winload是什么
  • splash.exe - splash是什么进程 有什么作用
  • ntfs硬盘分区整数
  • window10快捷键不能用
  • win10安装win8双系统
  • xp装windows7
  • win7系统通知在哪
  • win7报错0xc0000428
  • win10系统玩游戏闪退怎么解决
  • win8.1备份系统还原
  • opengl读取obj文件
  • python读json文件和写json文件
  • 你必须知道的家长六种类型
  • python爬虫:入门+进阶
  • 湖南省电子税务局登录
  • 营商环境法治保障服务
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号