位置: IT常识 - 正文

数据源太多,报表工具该如何兼容?(数据源suspended)

编辑:rootadmin
现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个 应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了 现在的报表,基本都是用 ...

推荐整理分享数据源太多,报表工具该如何兼容?(数据源suspended),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:多数据源失效,数据源无法打开怎么办,数据源异常,数据源有问题,数据源出错什么意思,多数据源失效,数据源有问题,数据源有问题,内容如对您有帮助,希望把文章链接给更多的朋友!

现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个

应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了

现在的报表,基本都是用报表工具来做,很多报表工具都号称支持多数据源,是不是能解决这个问题呢?

其实只能搞定一点点

报表工具能轻松搞定的多源数据长什么样

简单的说,来自关系数据库的多源数据都比较好搞定,不管是多表,还是多库,都很简单,用SQL把各个来源的数据都取出来,放到报表中去关联、计算、呈现就可以

这样的多源数据,好一点的报表工具都可以轻松应对

报表工具不好搞定的多源数据长什么样

也可以简单的说,不是单纯的关系数据库的多源数据,报表工具都不太好做

进入大数据时代以来,数据不仅是大了,而且存储的方式也多了,除了传统的关系数据库外,还有

1.TXT/CSV、Excel、JSON/XML 等文件;2.MongoDB、Cassandra、HBase、Redis 这些 NoSQL 数据库;3.HDFS 等分布式文件系统;4.webService;5.ES、Kafka 等其他数据源形式

文件类的某些报表工具还能搞定,但也只限于读,而不会算,只能先全部读入到报表中,然后再利用报表的计算能力来计算处理,数据量大时,读取的效率和空间容量都可能会成为问题,(极个别的工具可以边读边汇总过滤,还能并行流式读取,会好很多);其它类的数据源大部分报表工具就连读都不会了,因为没有标准,每家有各自的API,想要读取,大部分都得通过JAVA自定义数据集的方式了

读取都比较费劲,而这些数据常常在业务逻辑上又有关联,做报表的时候大部分时候都会涉及到多个数据源之间的关联混算,单凭报表工具提供的多源关联能力处理起来就更困难了

报表工具解决不了只能硬编码数据源太多,报表工具该如何兼容?(数据源suspended)

报表工具解决不了,但也难不倒工程师,因为工程师会编码,没有什么是编码解决不了的,

工程师可以先把异构的数据变成同构的,比如把文件的数据先导入到RDB中,由RDB计算后再给报表用,而那些不会读的,就只能再一次依靠所有报表工具都提供的所谓自定义数据原接口了用JAVA读入并处理好,再传给报表

项目中,很多困难的多源混算情况,都是这么处理的,都能搞定,但是这么做其实弊端很多

异构变同构,其实大部分时候是把不同的数据强行装入到常见关系数据库中,然后再利用SQL的方式来处理计算,这样做,首先得考虑数据库本身的管理和压力,管理上是否允许这样操作,容量是否够,每次遇到这样的库外数据都要往数据库中放?

然后还得考虑时效,数据的导入都需要时间,量少的耗时短可能无所谓,量大的可能进度都被耽误了,而且一般业务数据都是实时变动的,导入数据的方式也基本很难保证数据的实时性,还有些变不了或者变起来极困难的,像json/xml多层数据(mongodb也是这种),要建很多表,想变都变不了

JAVA处理的话,要好很多,不用考虑入库的一系列问题,实时性也可以保证,但是开发成本高,还会破坏应用架构

JAVA开发人员的成本本身就高,然后JAVA计算数据的能力还很弱,写起来工作量很大,简单做个求和运算都需要写数行代码的循环来实现,更别说逻辑复杂的运算了,动辄几百行的代码,一个报表还可以承受,报表一多,就承受不了这样的高成本了

另外JAVA代码需要和项目应用一起编译,也会带来报表和应用高耦合的问题,还会影响报表本身热切换的能力

有没有更好的办法

如果报表工具提供处理复杂多样性数据源的能力,那问题就可以迎刃而解了,就不需要再来回倒腾数据或者JAVA硬写了

润乾报表集成SPL集算器以后就具备了这样的能力

SPL 是一款流行的专业的数据计算处理工具,很多项目开发商都在用,因为它不仅好用,而且还免费,开源,是常年做项目,总需要做数据处理的工程师的好帮手

集成 SPL 后,润乾报表相当于多了一个计算层,这个计算层支持常见的各类数据源,可以同时计算来自不同数据源的数据,不管它是同构还是异构

比如JSON和ORACLE混算

A1=json(file("/data/EO.json").read())JSON数据2=A1.conj(Orders)3=A2.select(Amount>1000 &&Amount<=3000 && like@c(Client,"s"))条件过滤4=db.query@x(“select ID,Name,Area from Client”)数据库数据5=join(A3:o,Client;A4:c,ID)关联计算再比如MongoDB和 CSV关联运算A1=mongo_open("mongodb://127.0.0.1:27017/mongo")2=mongo_shell(A1,"Orders.find()").fetch()3=file("Employee.csv").import@tc()4=mongo_close(A1)5=join(A2,SellerId;A3,EId)6=A5.new(_1.OrderID,_1.Client,_2.Name,_2.Gender,_2.Dept)

原本要做各种转换把数据导入到库里,或者用大段的JAVA来写,现在简单几行SPL代码就轻松搞定了

说在最后

集成了SPL的润乾报表,简单几行代码就可以搞定多样性数据源的难题,不仅让报表做起来更轻松,更是帮用户省下了大把的人工成本,而且润乾报表本身也好用,润乾一直都是报表行业的头部供应商,各行业的大小软件开发商们都有用润乾,现在的价格又很亲民,1W一套,3W一年随便用,也可以给项目上省出不少费用,有需要的可以收藏一下了

润乾报表资料润乾报表官网润乾报表下载

欢迎对润乾报表有兴趣的加小助手(VX号:RUNQIAN_RAQSOFT),进技术交流群

欢迎关注我的公告号:字母哥杂谈,回复003赠送作者专栏《docker修炼之道》的PDF版本,30余篇精品docker文章。字母哥博客:zimug.com

本文链接地址:https://www.jiuchutong.com/zhishi/309276.html 转载请保留说明!

上一篇:java类常量是什么(java中的常量是什么意思)

下一篇:在Python中如何合并两个数据框(python中如何合并csv)

  • vivox70怎么打开开发者模式(vivox70怎么打开nfc功能)

    vivox70怎么打开开发者模式(vivox70怎么打开nfc功能)

  • 天猫超市半日达在哪里进入(天猫超市半日达入口)

    天猫超市半日达在哪里进入(天猫超市半日达入口)

  • 抖音复制口令打不开(抖音复制口令打不开是什么原因)

    抖音复制口令打不开(抖音复制口令打不开是什么原因)

  • 网易云可以一起和好友听歌吗(网易云可以一起听播客嘛)

    网易云可以一起和好友听歌吗(网易云可以一起听播客嘛)

  • reno4是什么处理器(oppo reno4什么处理器?)

    reno4是什么处理器(oppo reno4什么处理器?)

  • 在windows中双击驱动器图标的作用是(在Windows中双击窗口的控制菜单图标实现的操作是)

    在windows中双击驱动器图标的作用是(在Windows中双击窗口的控制菜单图标实现的操作是)

  • 抖音秒赞会限流吗(抖音秒赞限流了怎么办怎么恢复限流)

    抖音秒赞会限流吗(抖音秒赞限流了怎么办怎么恢复限流)

  • 恢复出厂设置后qq启动失败(恢复出厂设置后会怎么样)

    恢复出厂设置后qq启动失败(恢复出厂设置后会怎么样)

  • iphone发烫变卡怎么办(苹果手机发烫就卡怎么办?)

    iphone发烫变卡怎么办(苹果手机发烫就卡怎么办?)

  • 快手提现验证码不出来(怎么取消快手提现验证码)

    快手提现验证码不出来(怎么取消快手提现验证码)

  • 微信零钱通明细怎么单独删除(微信零钱通明细和零钱明细在一起吗)

    微信零钱通明细怎么单独删除(微信零钱通明细和零钱明细在一起吗)

  • ps图片怎么变成黑白(ps图片怎么变成线稿)

    ps图片怎么变成黑白(ps图片怎么变成线稿)

  • 电脑键盘符号怎么转换(电脑键盘符号怎么输入)

    电脑键盘符号怎么转换(电脑键盘符号怎么输入)

  • ps反光效果怎么做(ps出反光效果)

    ps反光效果怎么做(ps出反光效果)

  • 华为mate20x5G能否双击亮屏

    华为mate20x5G能否双击亮屏

  • 更新ios13要多久(苹果13更新要多久)

    更新ios13要多久(苹果13更新要多久)

  • 多媒体的必备部件是什么(多媒体都包含什么)

    多媒体的必备部件是什么(多媒体都包含什么)

  • 拼多多0.01抽奖怎么取消(拼多多0.01抽奖老是抽不到100元)

    拼多多0.01抽奖怎么取消(拼多多0.01抽奖老是抽不到100元)

  • word占位符在哪里(word里的占位符)

    word占位符在哪里(word里的占位符)

  • 淘宝参与的盖楼活动在哪里查看(淘宝参与的盖楼游戏)

    淘宝参与的盖楼活动在哪里查看(淘宝参与的盖楼游戏)

  • 快手id号可以隐藏吗(怎么隐藏快手id不被别人看见)

    快手id号可以隐藏吗(怎么隐藏快手id不被别人看见)

  • 苹果手机里的手势是干嘛用的(苹果手机里的手电筒在哪里找)

    苹果手机里的手势是干嘛用的(苹果手机里的手电筒在哪里找)

  • 小米8刘海隐藏不见了(小米8隐藏刘海后屏幕有多大)

    小米8刘海隐藏不见了(小米8隐藏刘海后屏幕有多大)

  • Jasypt加解密(jasypt加密解密)

    Jasypt加解密(jasypt加密解密)

  • 6个点税如何计算方法
  • 聘用退休员工
  • 抽奖中的汽车需要交购置税吗
  • 奖金属于应付职工薪酬
  • 当月未收到进项票怎么处理
  • 办理异地租房提取公积金流程
  • 银行内部转账会计分录
  • 高危行业企业探索实行什么制度
  • 6月实施的新政有哪些?
  • 银行存款二级明细科目有哪些
  • 增值税发票二联折叠票样式
  • 企业汇算清缴前的票可以入账吗
  • 发出商品确认收入的条件
  • 应纳税所得额未减上季度所得税,下季度可补减吗
  • 兼营行为的含义
  • windows10如何卸载edge
  • 开发票时已交的税金怎么做帐?
  • svchost进程很多怎么办
  • navione.exe是什么意思
  • dir852迅雷路由器
  • sfx.exe
  • php pdo oracle
  • 所有者权益期末减期初等于净利润还是利润总额
  • vue打包后请求不到数据
  • 百慕大玛丽号
  • 开关电源pcb布线规则
  • 滑模控制理论与应用研究pdf
  • 自动化测试是怎样的
  • phpwhile循环多维数组
  • 小企业发票打印流程
  • 一般纳税人暂估入账的会计分录
  • 企业送的购物卡怎么退回去
  • rabbitmq如何解决消息堆积问题
  • c语言strncat函数用法
  • 购买汽车相关费用标准
  • 工资薪金和外出费用区别
  • mybatis拦截器执行顺序
  • 研发人员旅游能计入研发费用吗
  • 建筑企业工程结算账务处理
  • 本月盈利本年亏损要做分录吗
  • 小企业会计准则2023电子版
  • java的基本类型的区别
  • 并发环境下,共享资源的正确使用方式是
  • 企业如何代员工做个税汇算清缴
  • 库存股 注销
  • 报关单金额大于出口发票金额
  • 我国税收税类中的流转税
  • 直接收到货款也要走应收账款吗
  • sql server安装完 C盘空间一直减少
  • mysql中计算两个日期之间的天数
  • win10预览版怎么样
  • macos怎么操作
  • 电脑开机显示xp后无反应
  • 使用windows hello之前必须设置pin
  • linux ubuntu安装教程
  • docker部署zookeeper集群
  • SUSE Linux Enterprise Server 11 SP3安装教程详解
  • ubuntu安装lamp
  • win7无法更改设置
  • xp文件夹选项不见了怎么办
  • ubuntu命令行查找文件
  • win1020h2正式版
  • Linux上PPTP VPN的一键安装以及设置开机启动的方法
  • win8文件夹打不开
  • 举例说明什么是判断
  • cygwin下载教程
  • js根据对象的key来获取对应值
  • python遍历列表的两种方法
  • js点击按钮实现登陆网页
  • 安徽国税app
  • 异地如何拨打12393
  • 土地税源编码怎么填
  • 纳税人分类分级管理四个匹配
  • 如果我中了双色球
  • 外经证办理流程在哪个网站申请
  • 扬州国家税务学院在哪个区
  • 软件销售税率13还是6还是9
  • 城镇土地使用税的计算公式
  • 准予扣除是什么意思
  • 深圳税务局完税证明
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设