添加链接 注册    登录
link管理
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
小猫猫  ·  ReadMedium+Medium ...·  1 年前    · 
淡定的橙子  ·  po文推荐《全职高手》《晨昏时见你》《小情话 ...·  1 年前    · 
文质彬彬的拐杖  ·  居延汉简是什么时期的？ - 知乎·  1 年前    · 
天涯  ·  全面了解风控决策引擎 - 开发者头条·  2 年前    · 
link管理  ›  皇帝御书争锋芒
https://www.sohu.com/a/206114954_790376
体贴的匕首
1 年前

1. 概述

在使用 FineDataLink 「数据开发」搭建数仓或者进行数据处理时，经常需要进行数据的清洗、处理、计算等，FineDataLink 提供了多种可视化算子， 用户无需编写复杂的 SQL 语句 即可快速便捷的进行数据处理，提高开发效率。

本文将全面的介绍 使用 各种可视化算子 ，对数据进行快速清洗处理，比 SQL 更快更简便的完成任务开发。

2. 索引

序号 应用场景 功能说明 文档
1 多个业务系统的表数据中存在相同字段或相同含义的字段，需要将不同的来源数据上下合并到一个表输出 「 上下合并 」 算子，可 对多张表进行上下行合并，输出一张合并表 上下合并
2 两张数据表在不同的数据库中，希望能够将两张不同来源库的表进行关联生成新表 数据关联可实现 异构数据关联 数据关联
3

  • 多个列的表头作为字段值，合并到一个新列中，实现对多种指标的归纳和总结，方便进行分析和展示。

  • 将一维表转成二维表

列转行

行转列

4

数据解 析（JSON、XML格式数据）

解析 JSON 结构的数据，输出行列格式的数据

将 XML 格式数据解析为行列格式数据

JSON解析算子功能说明

XML解析算子

5 对数据字段类型、名称等进行设置

「字段设置」算子可对接入数据的字段做以下操作：

  • 删除部分字段。

  • 字段重命名。

  • 修改字段类型。

字段设置
6 对数据按照需求进行字段拆分

  • 字段值按照特定规则（分隔符或字符数）拆分， 拆分后的结果形成新的多列字段和值

  • 按照特定规则（分隔符）拆分， 拆分后的结果形成新的一列字段和值

字段拆列

字段拆行

7 用户数据存在空值，想过滤掉空值数据

过滤指定数据

数据过滤
8 同类数据的汇总计算

「分组汇总」对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算。

分组汇总
9 常用时间数据处理 可使用 SparkSQL 算子或者新增列算子实现时间字段的处理

新增列： 常见日期公式

SparkSQL： SparkSQL日期函数

10 常用文本数据处理 可使用 SparkSQL 算子或者新增列算子实现文本字段的处理

新增列： 字符串清洗

新增列_条件赋值

新增列_分组赋值

字符串拼接和截取

SparkSQL：

SparkSQL字符串函数

11

「编码函数」、「加密函数」、「签名函数」等常用于进行API加密认证取数时的 Token 生成。

可使用 SparkSQL 算子实现 数据加密解密应 用

SparkSQL编码、加密、解密函数

最佳实践：

API取数-SHA2加密身份验证&按页数取数

API取数-易流云MD5加密



 
推荐文章
小猫猫  ·  ReadMedium+Medium Unlocker，解锁Medium付费文章 - 知乎
1 年前
淡定的橙子  ·  po文推荐《全职高手》《晨昏时见你》《小情话》《过期糖（破镜重圆）》_哔哩哔哩_bilibili
1 年前
文质彬彬的拐杖  ·  居延汉简是什么时期的？ - 知乎
1 年前
天涯  ·  全面了解风控决策引擎 - 开发者头条
2 年前
Link管理   ·   Sov5搜索   ·   小百科
link管理 - 链接快照平台