位置: IT常识 - 正文

数据源太多,报表工具该如何兼容?(数据源suspended)

编辑:rootadmin
现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个 应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了 现在的报表,基本都是用 ...

推荐整理分享数据源太多,报表工具该如何兼容?(数据源suspended),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:多数据源失效,数据源无法打开怎么办,数据源异常,数据源有问题,数据源出错什么意思,多数据源失效,数据源有问题,数据源有问题,内容如对您有帮助,希望把文章链接给更多的朋友!

现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个

应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了

现在的报表,基本都是用报表工具来做,很多报表工具都号称支持多数据源,是不是能解决这个问题呢?

其实只能搞定一点点

报表工具能轻松搞定的多源数据长什么样

简单的说,来自关系数据库的多源数据都比较好搞定,不管是多表,还是多库,都很简单,用SQL把各个来源的数据都取出来,放到报表中去关联、计算、呈现就可以

这样的多源数据,好一点的报表工具都可以轻松应对

报表工具不好搞定的多源数据长什么样

也可以简单的说,不是单纯的关系数据库的多源数据,报表工具都不太好做

进入大数据时代以来,数据不仅是大了,而且存储的方式也多了,除了传统的关系数据库外,还有

1.TXT/CSV、Excel、JSON/XML 等文件;2.MongoDB、Cassandra、HBase、Redis 这些 NoSQL 数据库;3.HDFS 等分布式文件系统;4.webService;5.ES、Kafka 等其他数据源形式

文件类的某些报表工具还能搞定,但也只限于读,而不会算,只能先全部读入到报表中,然后再利用报表的计算能力来计算处理,数据量大时,读取的效率和空间容量都可能会成为问题,(极个别的工具可以边读边汇总过滤,还能并行流式读取,会好很多);其它类的数据源大部分报表工具就连读都不会了,因为没有标准,每家有各自的API,想要读取,大部分都得通过JAVA自定义数据集的方式了

读取都比较费劲,而这些数据常常在业务逻辑上又有关联,做报表的时候大部分时候都会涉及到多个数据源之间的关联混算,单凭报表工具提供的多源关联能力处理起来就更困难了

报表工具解决不了只能硬编码数据源太多,报表工具该如何兼容?(数据源suspended)

报表工具解决不了,但也难不倒工程师,因为工程师会编码,没有什么是编码解决不了的,

工程师可以先把异构的数据变成同构的,比如把文件的数据先导入到RDB中,由RDB计算后再给报表用,而那些不会读的,就只能再一次依靠所有报表工具都提供的所谓自定义数据原接口了用JAVA读入并处理好,再传给报表

项目中,很多困难的多源混算情况,都是这么处理的,都能搞定,但是这么做其实弊端很多

异构变同构,其实大部分时候是把不同的数据强行装入到常见关系数据库中,然后再利用SQL的方式来处理计算,这样做,首先得考虑数据库本身的管理和压力,管理上是否允许这样操作,容量是否够,每次遇到这样的库外数据都要往数据库中放?

然后还得考虑时效,数据的导入都需要时间,量少的耗时短可能无所谓,量大的可能进度都被耽误了,而且一般业务数据都是实时变动的,导入数据的方式也基本很难保证数据的实时性,还有些变不了或者变起来极困难的,像json/xml多层数据(mongodb也是这种),要建很多表,想变都变不了

JAVA处理的话,要好很多,不用考虑入库的一系列问题,实时性也可以保证,但是开发成本高,还会破坏应用架构

JAVA开发人员的成本本身就高,然后JAVA计算数据的能力还很弱,写起来工作量很大,简单做个求和运算都需要写数行代码的循环来实现,更别说逻辑复杂的运算了,动辄几百行的代码,一个报表还可以承受,报表一多,就承受不了这样的高成本了

另外JAVA代码需要和项目应用一起编译,也会带来报表和应用高耦合的问题,还会影响报表本身热切换的能力

有没有更好的办法

如果报表工具提供处理复杂多样性数据源的能力,那问题就可以迎刃而解了,就不需要再来回倒腾数据或者JAVA硬写了

润乾报表集成SPL集算器以后就具备了这样的能力

SPL 是一款流行的专业的数据计算处理工具,很多项目开发商都在用,因为它不仅好用,而且还免费,开源,是常年做项目,总需要做数据处理的工程师的好帮手

集成 SPL 后,润乾报表相当于多了一个计算层,这个计算层支持常见的各类数据源,可以同时计算来自不同数据源的数据,不管它是同构还是异构

比如JSON和ORACLE混算

A1=json(file("/data/EO.json").read())JSON数据2=A1.conj(Orders)3=A2.select(Amount>1000 &&Amount<=3000 && like@c(Client,"s"))条件过滤4=db.query@x(“select ID,Name,Area from Client”)数据库数据5=join(A3:o,Client;A4:c,ID)关联计算再比如MongoDB和 CSV关联运算A1=mongo_open("mongodb://127.0.0.1:27017/mongo")2=mongo_shell(A1,"Orders.find()").fetch()3=file("Employee.csv").import@tc()4=mongo_close(A1)5=join(A2,SellerId;A3,EId)6=A5.new(_1.OrderID,_1.Client,_2.Name,_2.Gender,_2.Dept)

原本要做各种转换把数据导入到库里,或者用大段的JAVA来写,现在简单几行SPL代码就轻松搞定了

说在最后

集成了SPL的润乾报表,简单几行代码就可以搞定多样性数据源的难题,不仅让报表做起来更轻松,更是帮用户省下了大把的人工成本,而且润乾报表本身也好用,润乾一直都是报表行业的头部供应商,各行业的大小软件开发商们都有用润乾,现在的价格又很亲民,1W一套,3W一年随便用,也可以给项目上省出不少费用,有需要的可以收藏一下了

润乾报表资料润乾报表官网润乾报表下载

欢迎对润乾报表有兴趣的加小助手(VX号:RUNQIAN_RAQSOFT),进技术交流群

欢迎关注我的公告号:字母哥杂谈,回复003赠送作者专栏《docker修炼之道》的PDF版本,30余篇精品docker文章。字母哥博客:zimug.com

本文链接地址:https://www.jiuchutong.com/zhishi/309276.html 转载请保留说明!

上一篇:java类常量是什么(java中的常量是什么意思)

下一篇:在Python中如何合并两个数据框(python中如何合并csv)

  • 期初和期末余额均在借方的账户,一般属于
  • 承兑贴现几个点是月息还是年息
  • 销售人员购买的产品
  • 文化事业建设费怎么申报
  • 企业购买的财产险可以在企业所得税前扣除
  • 领用本企业生产的水泥用于在建工程
  • 建筑工人的工资应该怎样支付
  • 有限合伙企业利润先税后分
  • 进口环节应纳消费税的组成计税价格
  • 分公司怎么做
  • 外购原材料自用要进项转出吗
  • 先抵扣后付款怎么做账
  • 工商不变新股东是什么
  • 公司和员工之间
  • 应付股东款可以结转实收资本吗
  • 母子公司可以开具资金占用费
  • 企业如果亏损应该计提缴纳所得税吗
  • 小微企业几个人
  • 固定资产销售税务处理
  • 企业怎么进行税务申报
  • 营改增行业销售额的规定
  • 税种申报表样表
  • 为什么债务利息不计入资本预算的范畴
  • 购车时服务费用怎么算
  • 怎么扣除购入的物品
  • 应收账款的主要功能包括哪些
  • sysmon安装
  • 长期借款的会计处理例题
  • 公司房产处置
  • laravel怎么用
  • 小微企业延缓缴纳
  • 命令行 压缩
  • 汇票贴现是什么
  • 上月结转余额怎么做会计分录
  • 哪些收入需要交消费税
  • 事业单位结余分配的去向有
  • 经营成本包括五项内容
  • 利润与利润率之差公式
  • 当月销售次月开票怎么做账
  • 个人所得税相关会计分录
  • 预收账款指的是什么意思
  • 从厂家直接拿货需要什么条件
  • 消费税的特点及纳税环节
  • 产品成本归集和分配是哪一章的
  • 应收管理费,做应收款处理会计分录
  • 哪些合同不用交社保
  • 弃置费用预计负债的会计处理
  • 客户给的现金如何转到公司账上
  • 企业要怎样才能用到便宜的天然气
  • 招待费的增值税怎么算
  • 电信增值服务费会计科目
  • 计提社保个人部分会计分录
  • 销售现金优惠会计分录
  • 法人借给公司钱怎么写情况说明
  • 在岗职工平均工资在哪里查询
  • 可供出售金融资产属于什么科目
  • 毛利和净利的区别大白话
  • aspnet数据库访问
  • MySQL关键字执行顺序
  • Mysql 5.6.37 winx64安装双版本mysql笔记记录
  • mysql 注入漏洞
  • Win7旗舰版系统安装
  • windowsxp怎么用
  • linux怎么安装c语言编程软件
  • 还原精灵使用教程
  • win10周年更新版是什么意思
  • win8.1怎么用
  • linux定时任务实现原理
  • unity3d4个脚本
  • opengl 三角形
  • docker如何部署环境到生产
  • 网页的css
  • android手机传感器应用程序
  • javascript怎么做
  • pm2系统的操作
  • 粒子特效优化
  • js制作qq简易聊天框
  • js过滤html代码
  • 纳税人防伪税控设备未抄报怎么操作
  • 四川地方税务局官网首页
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设