位置: IT常识 - 正文

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

编辑:rootadmin
【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 系列文章目录

推荐整理分享【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:大数据在线实时分析,大数据实时查询引擎,大数据实时查询引擎,大数据实时报告,大数据在线实时分析,大数据中实时数据,实时大数据平台,大数据实时查询引擎,内容如对您有帮助,希望把文章链接给更多的朋友!

【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(中) 【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(下)

文章目录系列文章目录前言一、数据库配置信息二、下载OGG12C三、上传安装包到主备库并解压四、配置环境变量五、创建安装目录六、数据库配置源端库配置1、开启数据库归档2、开启强制使用日志模式3、开启日志追加4、创建ogg管理用户5、授予ogg账户权限6、修改数据库参数目标端库配置1、创建ogg管理用户2、授予ogg账户权限3、修改数据库参数总结前言

博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台,源端库可能涉及Oracle、Mysql、达梦、Guassdb库。 之前写过一系列关于GoldenGate异构同步Mysql、Kafka、Kylin、Flink做实时计算的场景文章。但是突然发现,卧槽最最最应该第一个做的Oracle->Oracle的实时异构同步文档竟然没写! 来弥补一下这个空白!!! 好了,扯远了,回归技术! 下面是我给大家的生产环境下,如何部署GoldenGate12C及异构实时同步数据的解决方案。本文主要介绍如何实现实时异构的进行Oracle->Oracle的数据同步,这种数据同步适用于灾备、升级、实时ODS等场景使用。我这里给大家了三个GoldenGate部署方式,看大家喜欢用哪种吧!! 注意:本部署方案分为三章节,三章节的重点分别是:

GoldenGate12C安装前,数据库层面的准备工作!!! 给你GoldenGate12C的三种部署方式,看你喜欢哪种部署方式!!! 配置支持DDL操作的实时数据同步!!!一、数据库配置信息

此架构为ALO模式的数据同步,系统均为:OracleLinux6.8,数据库安装可以参考另一篇数据库安装文档: 【大数据开发运维解决方案】linux5 安装 oracle 11g(11.2.0.4)实验。 源端数据库配置信息: 主机名:source IP:192.168.1.6 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.AL32UTF8 目的端数据库配置信息: 主机名:ogg IP:192.168.1.10 归档位置:/u01/arch 字符集:AMERICAN_AMERICA.ZHS16GBK UTF8是GBK的超集,有可能有些utf8中有但是gbk没有的字符,就会报错,比如之前生产遇到的不间断空格(c2a0),文章连接: 【大数据实时数据同步】GoldenGate实时同步异常:OGG-03533:character ‘c2 a0‘ at offset 0 that is not available报错解决

二、下载OGG12C

GoldenGate公司成立于1995年的美国加州旧金山, 它的名称源自旧金山闻名于世的金门大桥。 该公司于2009年9月被Oracle公司收购,在此之前Oracle和GoldGate公司就有了长达超过10年的合作关系。 GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。 点击此处跳转Oracle官网下载

三、上传安装包到主备库并解压

我是通过xmanager的ftp上传的,解压命令

[oracle@source u01]$ unzip V861007-01.zip

四、配置环境变量

源端环境变量设置如下:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=orclexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.AL32UTF8export LD_LIBRARY_PATH=$ORACLE_HOME/lib--如果不配置这个,会爆缺少libnnz11.so等库文件的错。所以这里制定这些库文件,可以和后面安装过程用ldd命令验证的步骤搭配看alias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'

目的端环境变量配置:

# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then. ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATHexport ORACLE_BASE=/u01/app/oracleexport GGHOME=$ORACLE_BASE/ogg12export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=oggexport PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_BASE/ogg12:$ORACLE_HOME/OPatchexport NLS_LANG=AMERICAN_AMERICA.ZHS16GBKexport LD_LIBRARY_PATH=$ORACLE_HOME/libalias sqlplus='rlwrap sqlplus'alias rman='rlwrap rman'alias ss='sqlplus / as sysdba'alias sc='sqlplus scott/tiger'alias c='cd $GGHOME'alias g='rlwrap ./ggsci'【大数据实时数据同步】超级详细的生产环境OGG(GoldenGate)12.2实时异构同步Oracle数据部署方案(上)(大数据实时数仓)

环境变量配置完要source .bash_profile一下生效

五、创建安装目录

因为两端都指定ogg安装目录为/u01/app/oracle/ogg12,所以两边都做下面操作:

mkdir /u01/app/oracle/ogg12六、数据库配置源端库配置1、开启数据库归档

验证是否开启

SQL> archive log list2、开启强制使用日志模式alter database force logging;

验证是否开启

select force_logging from v$database;3、开启日志追加alter database add supplemental log data;

验证是否开启

select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui,supplemental_log_data_fkfrom v$database;4、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;5、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;6、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;目标端库配置1、创建ogg管理用户

创建表空间oggdata,用来存放ogg账户的相关数据

CREATE TABLESPACE OGGDATA DATAFILE '/u01/app/oracle/oradata/orcl/ogg.dbf' SIZE 200M AUTOEXTEND ON NEXT 100M MAXSIZE 1024M;create user ogg identified by ogg default tablespace oggdata;2、授予ogg账户权限GRANT CREATE TABLE,CREATE SEQUENCE TO OGG;grant connect, resource, dba to ogg;3、修改数据库参数

查看数据库版本:

select*from v$version;

Oracle 11.2.0.4需要配置参数,之前的版本不需要配置 修改参数:

alter system set enable_goldengate_replication=true scope=both;总结

本篇博客主要介绍了在安装OGG12C之前,数据库层面应该做哪些变化!

本文链接地址:https://www.jiuchutong.com/zhishi/298803.html 转载请保留说明!

上一篇:ghostnet(ghostnet改进)

下一篇:Win11装了VMware后找不到wifi网络的解决方法(虚拟机安装win11提示无法运行)

  • 华为手机怎么开启深色模式(华为手机怎么开启存储权限)

    华为手机怎么开启深色模式(华为手机怎么开启存储权限)

  • 华为mate30插u盘没反应(华为mate30插u盘在哪里打开)

    华为mate30插u盘没反应(华为mate30插u盘在哪里打开)

  • iqoo支持双扬声器吗(iqoo有没有双扬声器)

    iqoo支持双扬声器吗(iqoo有没有双扬声器)

  • 知乎是阿里的吗(知乎被阿里投资了吗)

    知乎是阿里的吗(知乎被阿里投资了吗)

  • 苹果xr相机1x怎么开(iphone xr相机1x怎么设置)

    苹果xr相机1x怎么开(iphone xr相机1x怎么设置)

  • 小米analytics是什么(小米analytics有什么用处)

    小米analytics是什么(小米analytics有什么用处)

  • 苹果蓝牙怎么接电话(苹果蓝牙怎么接微信电话)

    苹果蓝牙怎么接电话(苹果蓝牙怎么接微信电话)

  • 微信举报群群主知道吗(微信举报群群主会知道吗知乎)

    微信举报群群主知道吗(微信举报群群主会知道吗知乎)

  • 已发的朋友圈怎么修改(已发的朋友圈怎么修改内容)

    已发的朋友圈怎么修改(已发的朋友圈怎么修改内容)

  • 华硕笔记本黑屏唤不醒(华硕笔记本黑屏了怎么办)

    华硕笔记本黑屏唤不醒(华硕笔记本黑屏了怎么办)

  • ipadproa1701到底是第几代(ipadproa1701价格)

    ipadproa1701到底是第几代(ipadproa1701价格)

  • 笔记本插上电源开不了机怎么回事(笔记本插上电源不充电怎么回事)

    笔记本插上电源开不了机怎么回事(笔记本插上电源不充电怎么回事)

  • oppo恢复了出厂设置为什么还有密码(oppo手机恢复出厂设置后是什么样的)

    oppo恢复了出厂设置为什么还有密码(oppo手机恢复出厂设置后是什么样的)

  • 手机通过数据线连接电视后可以看视频吗(手机通过数据线共享网络)

    手机通过数据线连接电视后可以看视频吗(手机通过数据线共享网络)

  • 华为锁屏显示时间怎么设置(华为锁屏显示时间怎么调)

    华为锁屏显示时间怎么设置(华为锁屏显示时间怎么调)

  • 荣耀手环会出5吗(荣耀手环5i)

    荣耀手环会出5吗(荣耀手环5i)

  • 为什么抖音打不开显示网络连接错误(为什么抖音打不了视频电话)

    为什么抖音打不开显示网络连接错误(为什么抖音打不了视频电话)

  • 计算机的应用领域有哪些(计算机的应用领域极为广泛但其应用最早的领域是)

    计算机的应用领域有哪些(计算机的应用领域极为广泛但其应用最早的领域是)

  • mate30怎么调按键音(华为mate30怎样调出按键)

    mate30怎么调按键音(华为mate30怎样调出按键)

  • ssl协议工作在哪一层(ssl协议的工作流程是什么)

    ssl协议工作在哪一层(ssl协议的工作流程是什么)

  • 苹果11对比苹果x(苹果11对比苹果xs参数)

    苹果11对比苹果x(苹果11对比苹果xs参数)

  • 抖音怎么卡照片(抖音图片怎么卡点视频教程)

    抖音怎么卡照片(抖音图片怎么卡点视频教程)

  • 抖音怎么大量删除喜欢(抖音怎么大量删粉丝)

    抖音怎么大量删除喜欢(抖音怎么大量删粉丝)

  • videoleap怎么设置照片秒数(videoleap怎么设置字幕)

    videoleap怎么设置照片秒数(videoleap怎么设置字幕)

  • 华为商城如何注销账号(华为商城如何注册登录)

    华为商城如何注销账号(华为商城如何注册登录)

  • 爱奇艺截图保存在哪里(爱奇艺截图保存不能截图太多吗)

    爱奇艺截图保存在哪里(爱奇艺截图保存不能截图太多吗)

  • 揭谜一键Ghost的“恶”事 大白菜、老毛桃、通用都不干净(一键ghost软件怎么用)

    揭谜一键Ghost的“恶”事 大白菜、老毛桃、通用都不干净(一键ghost软件怎么用)

  • 一只在暴风雪中蜷缩着的雪兔,英国苏格兰凯恩戈姆斯山脉 (© Lyle McCalmont/Getty Images)(在暴风雪中翻译)

    一只在暴风雪中蜷缩着的雪兔,英国苏格兰凯恩戈姆斯山脉 (© Lyle McCalmont/Getty Images)(在暴风雪中翻译)

  • 现代服务是可以做什么的
  • 海关进口发票可以退税吗
  • 原材料盘亏自然损耗
  • 增值税科目年末结转可以吗
  • 已经验旧的发票可以作废吗
  • 自产自销农产品发票如何开具
  • 机动车丢失后怎么销户
  • 非财政拨款结余是什么科目
  • 社保扣款上月没扣本月如何做会计处理?
  • 以股东投资为基础
  • 停车场收入怎么做账
  • 简易办法征收一般纳税人开票税率
  • 哪些员工福利可以让企业合理避税
  • 水利建设专项收入怎么计算
  • 免租要怎么交税
  • 以前年度企业所得税申报表怎么查
  • 信用证和银行承兑汇票的区别如何做分录
  • 一卡通充值计入什么费
  • 房地产广告公司月费一般多少
  • 外账缺成本费用怎么处理
  • 发票总金额怎么算折扣
  • 税控盘管理费会计分录
  • 五险一金的会计分录怎么写
  • 无偿赠送的原材料怎么处理
  • 结转完工产品成本的公式
  • 预付卡销售和充值
  • 小规模纳税企业在应交增值税明细科目
  • 赊销商品应收款
  • 应收账款坏账收回影响利润么
  • 地方水利建设基金
  • macos10.15.7
  • scheduler.exe - scheduler是什么进程 有何作用
  • 合作社实际没有法人代表
  • 承租人对经营租赁的会计处,怎么快速记住方法
  • php调用图片
  • 加拿大克卢恩国家公园
  • transit code
  • 事业单位包含哪些
  • codewriter怎么运行
  • 公允价值变动损益借贷方向增减
  • 跨年调整收入增值税怎么办
  • 如何解决Vue3没有代码提示问题?
  • 小规模纳税人每月申报什么税
  • 元宇宙与nft
  • 命令行激活profile命令的格式
  • linux ar命令
  • 转出多交增值税账务处理
  • 购买的商品作为赠品怎么入账
  • sqlite3 top的查询及limit语法介绍
  • 非货币性资产交换和债务重组的区别
  • 非营利组织注册
  • 企业年度报告填报时间
  • 关于sql的问题
  • 如何填制费用报销单
  • 借管理费用贷应交税费个人所得税
  • 预付款项属于什么会计要素
  • 计提医疗保险费的会计分录
  • 施工总包能分包土方吗
  • 低预算高要求
  • 未交增值税增加记哪方
  • 人工费用和管理费用比例
  • 业务招待算什么费用
  • 个体工商户个税怎么申报
  • 企业所得税和增值税重复收税了吗
  • windows2003服务不能开启
  • win10使用技巧有什么用
  • vm虚拟机中的浏览器在哪
  • winpsd.exe - winpsd是什么进程
  • 怎么给网络设置防火墙
  • win8.1怎么用
  • linux单个文件夹文件数量
  • win10无法打开wifi列表
  • 好看的css样式代码
  • 关于js的描述错误的是
  • Android Fragment 体系 源码追踪笔记(4)
  • js水平垂直居中怎么设置
  • 安卓cts认证
  • 江西增值税发票查询
  • 怎样从增值税发票查询
  • 个税汇算清缴申报方式选哪个
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设