位置: IT常识 - 正文

数据源太多,报表工具该如何兼容?(数据源suspended)

编辑:rootadmin
现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个 应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了 现在的报表,基本都是用 ...

推荐整理分享数据源太多,报表工具该如何兼容?(数据源suspended),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:多数据源失效,数据源无法打开怎么办,数据源异常,数据源有问题,数据源出错什么意思,多数据源失效,数据源有问题,数据源有问题,内容如对您有帮助,希望把文章链接给更多的朋友!

现代应用已经进入多数据源阶段了,不再是一个单一的数据库包打天下,一个应用中会涉及除关系数据库外各种数据源,如文本文件类数据、NOSQL、多维数据库、HTML Webservice等等,即使是关系数据库,也可能不止一个

应用这样了,那么应用中的报表自然也会涉及到多样性的数据源了

现在的报表,基本都是用报表工具来做,很多报表工具都号称支持多数据源,是不是能解决这个问题呢?

其实只能搞定一点点

报表工具能轻松搞定的多源数据长什么样

简单的说,来自关系数据库的多源数据都比较好搞定,不管是多表,还是多库,都很简单,用SQL把各个来源的数据都取出来,放到报表中去关联、计算、呈现就可以

这样的多源数据,好一点的报表工具都可以轻松应对

报表工具不好搞定的多源数据长什么样

也可以简单的说,不是单纯的关系数据库的多源数据,报表工具都不太好做

进入大数据时代以来,数据不仅是大了,而且存储的方式也多了,除了传统的关系数据库外,还有

1.TXT/CSV、Excel、JSON/XML 等文件;2.MongoDB、Cassandra、HBase、Redis 这些 NoSQL 数据库;3.HDFS 等分布式文件系统;4.webService;5.ES、Kafka 等其他数据源形式

文件类的某些报表工具还能搞定,但也只限于读,而不会算,只能先全部读入到报表中,然后再利用报表的计算能力来计算处理,数据量大时,读取的效率和空间容量都可能会成为问题,(极个别的工具可以边读边汇总过滤,还能并行流式读取,会好很多);其它类的数据源大部分报表工具就连读都不会了,因为没有标准,每家有各自的API,想要读取,大部分都得通过JAVA自定义数据集的方式了

读取都比较费劲,而这些数据常常在业务逻辑上又有关联,做报表的时候大部分时候都会涉及到多个数据源之间的关联混算,单凭报表工具提供的多源关联能力处理起来就更困难了

报表工具解决不了只能硬编码数据源太多,报表工具该如何兼容?(数据源suspended)

报表工具解决不了,但也难不倒工程师,因为工程师会编码,没有什么是编码解决不了的,

工程师可以先把异构的数据变成同构的,比如把文件的数据先导入到RDB中,由RDB计算后再给报表用,而那些不会读的,就只能再一次依靠所有报表工具都提供的所谓自定义数据原接口了用JAVA读入并处理好,再传给报表

项目中,很多困难的多源混算情况,都是这么处理的,都能搞定,但是这么做其实弊端很多

异构变同构,其实大部分时候是把不同的数据强行装入到常见关系数据库中,然后再利用SQL的方式来处理计算,这样做,首先得考虑数据库本身的管理和压力,管理上是否允许这样操作,容量是否够,每次遇到这样的库外数据都要往数据库中放?

然后还得考虑时效,数据的导入都需要时间,量少的耗时短可能无所谓,量大的可能进度都被耽误了,而且一般业务数据都是实时变动的,导入数据的方式也基本很难保证数据的实时性,还有些变不了或者变起来极困难的,像json/xml多层数据(mongodb也是这种),要建很多表,想变都变不了

JAVA处理的话,要好很多,不用考虑入库的一系列问题,实时性也可以保证,但是开发成本高,还会破坏应用架构

JAVA开发人员的成本本身就高,然后JAVA计算数据的能力还很弱,写起来工作量很大,简单做个求和运算都需要写数行代码的循环来实现,更别说逻辑复杂的运算了,动辄几百行的代码,一个报表还可以承受,报表一多,就承受不了这样的高成本了

另外JAVA代码需要和项目应用一起编译,也会带来报表和应用高耦合的问题,还会影响报表本身热切换的能力

有没有更好的办法

如果报表工具提供处理复杂多样性数据源的能力,那问题就可以迎刃而解了,就不需要再来回倒腾数据或者JAVA硬写了

润乾报表集成SPL集算器以后就具备了这样的能力

SPL 是一款流行的专业的数据计算处理工具,很多项目开发商都在用,因为它不仅好用,而且还免费,开源,是常年做项目,总需要做数据处理的工程师的好帮手

集成 SPL 后,润乾报表相当于多了一个计算层,这个计算层支持常见的各类数据源,可以同时计算来自不同数据源的数据,不管它是同构还是异构

比如JSON和ORACLE混算

A1=json(file("/data/EO.json").read())JSON数据2=A1.conj(Orders)3=A2.select(Amount>1000 &&Amount<=3000 && like@c(Client,"s"))条件过滤4=db.query@x(“select ID,Name,Area from Client”)数据库数据5=join(A3:o,Client;A4:c,ID)关联计算再比如MongoDB和 CSV关联运算A1=mongo_open("mongodb://127.0.0.1:27017/mongo")2=mongo_shell(A1,"Orders.find()").fetch()3=file("Employee.csv").import@tc()4=mongo_close(A1)5=join(A2,SellerId;A3,EId)6=A5.new(_1.OrderID,_1.Client,_2.Name,_2.Gender,_2.Dept)

原本要做各种转换把数据导入到库里,或者用大段的JAVA来写,现在简单几行SPL代码就轻松搞定了

说在最后

集成了SPL的润乾报表,简单几行代码就可以搞定多样性数据源的难题,不仅让报表做起来更轻松,更是帮用户省下了大把的人工成本,而且润乾报表本身也好用,润乾一直都是报表行业的头部供应商,各行业的大小软件开发商们都有用润乾,现在的价格又很亲民,1W一套,3W一年随便用,也可以给项目上省出不少费用,有需要的可以收藏一下了

润乾报表资料润乾报表官网润乾报表下载

欢迎对润乾报表有兴趣的加小助手(VX号:RUNQIAN_RAQSOFT),进技术交流群

欢迎关注我的公告号:字母哥杂谈,回复003赠送作者专栏《docker修炼之道》的PDF版本,30余篇精品docker文章。字母哥博客:zimug.com

本文链接地址:https://www.jiuchutong.com/zhishi/309276.html 转载请保留说明!

上一篇:java类常量是什么(java中的常量是什么意思)

下一篇:在Python中如何合并两个数据框(python中如何合并csv)

  • 红米手环首次使用怎么绑定(红米手环首次使用教程)

    红米手环首次使用怎么绑定(红米手环首次使用教程)

  • 一张身份证可以认证几个微信(一张身份证可以绑定几个抖音账号)

    一张身份证可以认证几个微信(一张身份证可以绑定几个抖音账号)

  • 腾讯会议如何无线投屏到已安装Roomms软件的设备上(腾讯会议如何无声开麦)

    腾讯会议如何无线投屏到已安装Roomms软件的设备上(腾讯会议如何无声开麦)

  • 华为 P50有几种机型(华为P50有几种截屏方式)

    华为 P50有几种机型(华为P50有几种截屏方式)

  • 小米10与红米k30pro的区别(小米10与红米k30哪个好)

    小米10与红米k30pro的区别(小米10与红米k30哪个好)

  • airpods滴滴响(airpods滴滴响怎么关)

    airpods滴滴响(airpods滴滴响怎么关)

  • ipv4地址由几位二进制数组成(ipv4地址由几位二进制数字组成)

    ipv4地址由几位二进制数组成(ipv4地址由几位二进制数字组成)

  • 联想一体机黑屏但是电源灯亮(联想一体机黑屏只有鼠标箭头)

    联想一体机黑屏但是电源灯亮(联想一体机黑屏只有鼠标箭头)

  • 华为手机屏没碎但黑屏(华为手机屏没碎怎么回事)

    华为手机屏没碎但黑屏(华为手机屏没碎怎么回事)

  • 华为mate30多长厘米(华为mate30手机有多长)

    华为mate30多长厘米(华为mate30手机有多长)

  • iphone怎么查看上次关机时间(iphone怎么查看上次连接蓝牙时间)

    iphone怎么查看上次关机时间(iphone怎么查看上次连接蓝牙时间)

  • 微信不想接收对方信息怎么办(微信不想接收对方信息又不想拉黑)

    微信不想接收对方信息怎么办(微信不想接收对方信息又不想拉黑)

  • 移动数据lte是4g吗(移动数据中的lte)

    移动数据lte是4g吗(移动数据中的lte)

  • 苹果7系统能分屏吗(苹果7能分身吗)

    苹果7系统能分屏吗(苹果7能分身吗)

  • 冗余数据存储技术分为哪几类(冗余数据是指什么数据)

    冗余数据存储技术分为哪几类(冗余数据是指什么数据)

  • 滴滴快车套餐怎么退款(滴滴出行套餐)

    滴滴快车套餐怎么退款(滴滴出行套餐)

  • 小米8nfc功能使用方法(小米8nfc功能是什么意思怎么使用)

    小米8nfc功能使用方法(小米8nfc功能是什么意思怎么使用)

  • 手淘首页流量爆发原因(手淘首页流量突然暴涨)

    手淘首页流量爆发原因(手淘首页流量突然暴涨)

  • 荣耀8x下面的返回键可以设置吗(华为荣耀8x的返回键不见了)

    荣耀8x下面的返回键可以设置吗(华为荣耀8x的返回键不见了)

  • 小米手环4nfc门禁卡怎么用(小米手环4nfc门禁卡开不了门)

    小米手环4nfc门禁卡怎么用(小米手环4nfc门禁卡开不了门)

  • vooc3.0相当多少万快充(vooc3.0相当于多少瓦)

    vooc3.0相当多少万快充(vooc3.0相当于多少瓦)

  • 苹果手机报警器怎么用(苹果手机报警器怎么关闭)

    苹果手机报警器怎么用(苹果手机报警器怎么关闭)

  • 怎么去除照片上的手机型号(怎么去除照片上的字)

    怎么去除照片上的手机型号(怎么去除照片上的字)

  • 荣耀20是华为手机吗(荣耀20就是p20吗)

    荣耀20是华为手机吗(荣耀20就是p20吗)

  • cpu和gpu已过时,npu和apu的时代开始(cpu占满gpu不工作)

    cpu和gpu已过时,npu和apu的时代开始(cpu占满gpu不工作)

  • Tauri+Rust+Vue 跨平台桌面应用简明教程(1)环境创建+系统事件+自定义菜单(rust 前端开发)

    Tauri+Rust+Vue 跨平台桌面应用简明教程(1)环境创建+系统事件+自定义菜单(rust 前端开发)

  • 按适用税率计税销售额和按简易办法计税销售额
  • 哪些税不用通过应交税费
  • 所得税交多了怎么办
  • 国债收益率如何定价
  • 生产型企业出口退税计算公式
  • 抵扣联的抵扣期限
  • 纳税人出租不动产预缴税款
  • 机动车销售统一专票有几联
  • 2020年小规模生活服务业优惠政策
  • 2017年全国税收收入是多少
  • 个人所得税的标准有几档
  • 序列号不可用怎么办
  • 企业可以用当月的进项票抵扣上月的销项吗?
  • 企业担保形成损失的原因
  • 小规模企业现金规定最新
  • 信息化生产力是指什么
  • 赠送的商品怎么入库 企业会计准则
  • 防疫物资费用会计处理
  • 实际利率是r还是i
  • php输出当月日历
  • php与mysql基础教程
  • 支付保证金需要附件
  • wifi增强器1200m的是不是比较好
  • echarts右侧y轴
  • 梅林澳大利亚信号好最好吗
  • laravel登录接口
  • html和css介绍
  • 公司股东年底分红怎么做账
  • php 封装
  • vue3.0配置
  • 出口货物不退税进项可以开具普通发票吗
  • 第一章 使用layui的表格和表单
  • ue4ui界面制作
  • 园林绿化工程公司排名
  • 增值税专用发票几个点
  • 纳税申报需要报哪些税
  • 富文本功能
  • 高新技术企业相关税收政策
  • 增值税报完了能改么
  • 新办企业装修会计分录
  • 受托方代销商品会计分录
  • 委托生产的会计分录
  • 资本化期间专门借款利息费用需将
  • 工资社保医保计算
  • 车船使用税应该怎么交
  • 随同产品销售不单独计价包装物如何进行账务处理?
  • 宣传费抵扣
  • 饭店的会计做账怎么做
  • 税务局代开发票作废可以申请退税吗?
  • 材料物资核算应由谁负责
  • sql注入神器
  • 一句命令
  • .exe是什么意思
  • 双系统没有选择
  • 笔记本摄像头摄像
  • ubuntu20.04怎么用
  • linux用户账户管理
  • linux文件系统损坏导致网络断开
  • .exe是什么软件
  • win10推送win11
  • linux0.01编译
  • lumia950升级win11
  • 微软win10专业版多少钱
  • cocos2dx 教程
  • jquery跟随鼠标移动
  • c#openxml
  • 微软早在1985年便首次使用了安卓上饱受争议的汉堡按钮
  • css标准规范
  • unity地形少了三个键
  • shell 比较大小
  • 尽有可能的拼音
  • 快速解决偏头痛的6个方法
  • python守护线程与非守护线程
  • 增值税进项发票勾选时间
  • 税务贷app
  • 深圳个税官网
  • 宁夏到新疆多少公里?
  • 出租车发票密码区被撕掉了能报销吗?
  • 纳税申报的期限是多少年
  • 人人财富最新消息
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设