位置: IT常识 - 正文

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

编辑:rootadmin
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 系列文章目录

推荐整理分享【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:大数据在线实时分析,大数据实时查询引擎,大数据实时查询引擎,大数据实时报告,大数据在线实时分析,大数据中实时数据,实时大数据平台,大数据实时查询引擎,内容如对您有帮助,希望把文章链接给更多的朋友!

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

文章目录系列文章目录前言一、数据库配置信息二、下载OGG12C三、上传安装包到主备库并解压四、配置环境变量五、创建安装目录六、数据库配置源端库配置1、开启数据库归档2、开启强制使用日志模式3、开启日志追加4、创建ogg管理用户5、授予ogg账户权限6、修改数据库参数目标端库配置1、创建ogg管理用户2、授予ogg账户权限3、修改数据库参数总结前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。 之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写! 来弥补一下这个空白!!! 好了,扯远了,回归技术! 下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!! 注意:本部署方案分为三章节,三章节的重点分别是:

GoldenGate12C安装前,数据库层面的准备工作!!! 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!! 配置支持DDL操作的实时数据同步!!!一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档: 【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。 源端数据库配置信息: 主机名:source IP:192.168.1.6 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.AL32UTF8 目的端数据库配置信息: 主机名:ogg IP:192.168.1.10 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.ZHS16GBK UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接: 【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。 该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。 GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。 点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

四、配置环境变量

源端环境变量设置如下:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=orclexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.AL32UTF8export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看alias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=oggexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport LD_LIBRARY_PATH=$ORACLE_HOME/libalias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12六、数据库配置源端库配置1、开启数据库归档

验证是否开启

SQL> archive log list2、开启强制使用日志模式alter database force logging;

验证是否开启

select force_logging from v$database;3、开启日志追加alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui,supplemental_log_data_fkfrom v$database;4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;5、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;目标端库配置1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;2、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!

本文链接地址:https://www.jiuchutong.com/zhishi/298803.html 转载请保留说明!

上一篇:ghostnet(ghostnet改进)

下一篇:Win11装了VMware后找不到wifi网络的解决方法(虚拟机安装win11提示无法运行)

  • 苹果13pro怎么插卡(苹果14promax怎么插两张卡)

    苹果13pro怎么插卡(苹果14promax怎么插两张卡)

  • 三星手机怎么快速截屏(三星手机怎么快速截屏 操作)

    三星手机怎么快速截屏(三星手机怎么快速截屏 操作)

  • airpods能连接电脑吗(airpods能连接电视蓝牙吗)

    airpods能连接电脑吗(airpods能连接电视蓝牙吗)

  • 怎样关闭拼小圈不让别人看(怎样关闭拼小圈购买记录)

    怎样关闭拼小圈不让别人看(怎样关闭拼小圈购买记录)

  • 淘宝卖家用什么软件管理店铺(淘宝卖家用什么app管理店铺)

    淘宝卖家用什么软件管理店铺(淘宝卖家用什么app管理店铺)

  • 微信朋友圈为什么只有一条横线(微信朋友圈为什么只能发30秒视频)

    微信朋友圈为什么只有一条横线(微信朋友圈为什么只能发30秒视频)

  • 苹果电脑是不是typec接口(苹果电脑是不是只有一个盘)

    苹果电脑是不是typec接口(苹果电脑是不是只有一个盘)

  • 华为蓝牙耳机怎么调音量(华为蓝牙耳机怎么样)

    华为蓝牙耳机怎么调音量(华为蓝牙耳机怎么样)

  • 小米10青春版边框是什么材质(小米10青春版边框能不能换)

    小米10青春版边框是什么材质(小米10青春版边框能不能换)

  • 为什么网盘分享的文件不存在(为什么网盘分享链接打开什么也没有)

    为什么网盘分享的文件不存在(为什么网盘分享链接打开什么也没有)

  • 1080和4k哪个更清晰(1080清晰还是4k清晰)

    1080和4k哪个更清晰(1080清晰还是4k清晰)

  • 相机打不开闪退怎么办(相机打不开闪退怎么办oppo)

    相机打不开闪退怎么办(相机打不开闪退怎么办oppo)

  • i74790最高配什么显卡(i74790cpu配什么显卡)

    i74790最高配什么显卡(i74790cpu配什么显卡)

  • 微信查实名显示账户异常(微信查实名显示账号异常)

    微信查实名显示账户异常(微信查实名显示账号异常)

  • 快手注销第三条不通过怎么办(快手注销第三个条件)

    快手注销第三条不通过怎么办(快手注销第三个条件)

  • 开飞行模式能收到短信吗(开飞行模式能收到验证码吗)

    开飞行模式能收到短信吗(开飞行模式能收到验证码吗)

  • 苹果11有红外吗(无需红外线万能遥控器软件)

    苹果11有红外吗(无需红外线万能遥控器软件)

  • airpodspro耳塞怎么拔(AirPodspro耳塞怎么取)

    airpodspro耳塞怎么拔(AirPodspro耳塞怎么取)

  • 多媒体系统是指利用(多媒体系统的主要部分)

    多媒体系统是指利用(多媒体系统的主要部分)

  • ps怎么调整照片颜色(ps怎么调整照片像素大小)

    ps怎么调整照片颜色(ps怎么调整照片像素大小)

  • vivo手机volte在哪里(vivo的volte功能在哪)

    vivo手机volte在哪里(vivo的volte功能在哪)

  • 苹果11会发热吗(苹果11容不容易发热)

    苹果11会发热吗(苹果11容不容易发热)

  • 安卓手机如何打开 exe文件(安卓手机如何打开.bin文件)

    安卓手机如何打开 exe文件(安卓手机如何打开.bin文件)

  • 荣耀9x的升降摄像头是不是自动升降呢(荣耀9x升降摄像头)

    荣耀9x的升降摄像头是不是自动升降呢(荣耀9x升降摄像头)

  • ps怎么去掉图片中的物体(ps怎么去掉图片上的水印文字)

    ps怎么去掉图片中的物体(ps怎么去掉图片上的水印文字)

  • win10网络通但不能上网(win10网络正常但不能上网)

    win10网络通但不能上网(win10网络正常但不能上网)

  • LIO-SAM学习与运行测试数据集

    LIO-SAM学习与运行测试数据集

  • 计提工资时个税怎么处理
  • 小规模减免增值税要交企业所得税吗
  • 加工费怎么做账
  • 银行日记账的登记实例图
  • 香港保险代理人佣金
  • 工伤医疗费用个人社保卡支付找谁报销
  • 工业企业制造费用具体怎么摊
  • 购进客房用品取得增值税专用发票注明税额9120
  • 收到供应商违约金 发票
  • 物流公司赔付款会计分录
  • 哪些燃料油不征消费税了
  • 银行余额调节表模板
  • 发票打印机分专票和普票的吗?
  • 统一信用社会代码怎么填
  • 增值税发票时效性
  • 如何冲销账面上的资金
  • 购入材料未入库
  • 实物福利计入工资总额
  • 小规模可以不报增值税吗
  • 固定资产报废的净损失计入哪里
  • WIN10专业版永久激活
  • 苹果电脑安装了windows能取消吗
  • 先入费用后来发票怎么做账
  • mac电脑遇到问题而重新启动
  • php获取长度
  • 生产企业委外加工比例出口免抵退税
  • 员工奖励股权
  • 销售购物卡如何交税
  • 公司收入没有进项税额
  • 公司出售已经提完折旧的机器
  • win11怎么清理电脑垃圾
  • 年度企业所得税计算方法
  • 销售费用里面的支付的安装人工费汇算清缴时计入哪里
  • 限售股转让个人所得税退税
  • 收取职工交来伙食费如何入账
  • re.findall()用法
  • 行政单位捐赠收入属于什么收入
  • yolo v5超详细解析
  • php 提交表单
  • css鼠标移入移出切换事件
  • 一文通透从输入URL到页面渲染的全过程----高频面试
  • 现金日记账的结账方法
  • od输出结构
  • 电池成本什么时候能降低
  • php虚拟主机
  • 管家婆实收资本显示负数什么原因
  • dubbo 实现原理
  • 外贸企业收款有限额吗
  • 帝国cms栏目自定义字段
  • 国税联网状态怎么没显示
  • 个体工商户如何用工
  • 普通发票能不能重新开
  • 银行汇票背书
  • 付的房屋租金计入什么会计科目
  • 加权平均发计算公式
  • 专用发票丢失怎么入账
  • 原材料报废卖掉会计分录
  • 软件开发过程付什么费用
  • 存货盘盈的账务处理入什么费用
  • 土地使用权属于无形资产吗
  • 开票未收到款会计分录
  • 企业营业利润率怎么算
  • 职工教育经费如何列支
  • 不能抵扣的进项税额转出会计分录
  • mac链接其他屏幕
  • 如何关闭windows8的密码
  • 两台xp电脑怎么共享文件
  • mac safari使用技巧
  • linux中的ssh命令
  • XP下HTTP的403.9错误-禁止访问:连接的用户过多 重启iis可以解决
  • win10 屏幕键盘
  • linux中mnt
  • Linux安装配置jdk
  • nodejs nodemon
  • unity简单项目
  • unity动画教程
  • python3 heapq
  • 税务系统运维应急预案范文
  • 随申办如何缴纳社保
  • 怎么判断增值税发票是否虚开
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设