用数据流处理复杂数据

什么是数据流?可以把数据流想象成一个生产流水线,可以从流水线的一头输入表单数据,经过流水线各个环节的处理,从流水线的另一端输出经过处理后的数据。

数据流



入口

分析->数据流

基本操作

界面布局

点击“创建数据流”后进入数据流设计页面。设计界面分为:节点选择区、数据流设置区和节点设置区。


数据流布局

操作方式
  • 节点选择区:可拖拽节点添加到数据流设置区 。
  • 数据流设置区:设置数据流的流转;选中一个节点名,则页面底部将显示节点设置区,可对节点进行设置。
  • 节点设置区:对节点进行详细配置,使得数据流按照既定规则处理加工数据。
节点介绍
  • 添加节点

输入节点指选择要处理的数据,即数据源,可选择单一表单作为数据源,也可选择多个表单。 点击“+数据源”则系统会自动添加一个输入节点及输出节点。点击输入节点即可选择数据表单及表单字段,如下图


添加输入节点

  • 节点连线

节点之间用连接线相连即可。

  • 节点对齐

提供水平等距、垂直等距、水平对齐、垂直对齐四种对齐方式.全选要对齐的节点后,点击任意一种对齐方式即可。


节点对齐

  • 数据预览

点击输出节点后会显示数据流的整合数据预览。


数据预览

或点击数据流卡片进入数据详情页面查看。


数据预览

输入

相当于流水线的输入。一个数据流可以有多个输入,输入均为表单数据。选择表单后,还可以选择输入的字段。子表数据也可以作为输入字段。当同时选择主表字段和子表字段作为输入字段时,数据将会将主子表展开作为普通的二维表输入


主子表为输入数据源

输出

相当于流水线的输出。一个数据流只能有一个输出。输出的数据可以理解为一个新的表单,但只能查看,不能修改。可以作为报表、仪表盘、表单填写关联的数据源。

数据处理

相当于流水线上的各处理环节。支持横向连接、追加合并、分组汇总、数据筛选和字段设置等几种数据处理方式。

横向连接

将两个表的数据左右拼接在一起。超过2个表时可通过多次拼接实现。即A1、A2拼接成A,B1、B2拼接成B,A和B再拼接成C。如果你对SQL有一定了解,可以用如下SQL进行类比:

连接方式 类似的SQL
横向连接(左连接) SELECT a.fieldA,b.fieldB FROM tableA a LEFT JOIN tableB b ON a.id=b.id
横向连接(内连接) SELECT a.fieldA,b.fieldB FROM tableA a INNER JOIN tableB b ON a.id=b.id|

横向连接

追加合并

将两个表的数据上下拼接在一起,最多支持5个表的拼接,超过5个表时可以通过多次拼接实现。如果你对SQL有一定了解,可以用如下SQL进行类比:

连接方式 类似的SQL
追加合并 SELECT a.fieldA,a.fieldB FROM tableA a
union
SELECT b.fieldC,b.fieldD FROM tableA b

追加合并

分组汇总

对输入二维表的数据进行分组汇总。如果你对SQL有一定了解,可以用如下SQL进行类比:

处理方式 类似的SQL 说明
分组汇总 SELECT fieldA,SUM(fieldB) FROM tableA GROUP by fieldA 分组字段fieldA,汇总字段fieldB,汇总方式为求和

分组汇总

过滤筛选

对输入二维表的数据进行数据筛选。支持多条件筛选,用并且(and)、或者(or)进行连接.


过滤筛选

字段设置

对字段进行一些基本的设置,如截取、转化、重命名等。支持利用函数和公式对字段进行设置。


字段设置

输出表使用

通过数据流处理后输出的表单,可以在表单中进行调用。目前支持:

1、作为填写关联数据源

和正常的填写关联设置类似。点击设置后,选择数据源时,选择数据流名称即可。


作为填写关联数据源

2、作为报表数据源

将数据流输出表作为报表的数据源,进行统计分析。


作为报表数据源

3、作为应用仪表盘数据源

数据流输出表同样可以在应用仪表盘内进行展示、统计分析。


作为应用仪表盘数据源

1、数据流设计好后需要启用才能正式生效,启用时,会对数据源中的所有数据进行初始化处理。如果原表单中的数据量较大,启用可能需要较长的时间。
2、启用后的数据流如果要修改,需要先停用。
3、如果数据源中的表单数据发生变化,数据流的数据也会相应改变
4、目前不支持在数据流中选择的字段:收费项目、商品字段、预约字段、多选框字段、上传文件字段。