Quick BI支持将本地的Excel文件和CSV文件上传至数据库中,作为文件数据源,满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。
应用场景
使用本地文件创建数据源,并与在线数据源进行联合分析。
使用限制
文件类型 |
限制说明 |
Excel |
|
CSV |
|
注意事项
上传文件时,需要注意以下几点:
-
支持上传的字段类型包括文本、数值、日期。在配置字段时,您可以选择这些类型或在上传过程中根据数据内容自动识别,同时具备修改字段类型的功能。
-
上传CSV文件时,建议您将CSV文件的格式转换为 UTF-8格式 。
UTF-8格式的CSV文件可以准确识别编码,GBK、GB2312格式的CSV文件的编码可能不能被智能识别出来,从而导致上传的文件为乱码。
-
上传文件时,建议您使用Chrome浏览器。
-
上传的文件中,列的类型根据前100行确定:
-
如果前100行均为数字,则系统会识别此列为数值型。
-
如果有1行为字符串,则系统会识别此列为字符串型。
数值型字段不兼容字符串类型数据,字符串类型可以兼容数值型数据。
-
准备工作
功能入口
请登录 Quick BI控制台 ,并按照以下任意一种方式,进入上传本地数据。
上传文件
在 上传文件 界面中,上传并配置需作为数据源使用的本地文件,支持上传的文件类型包括Excel文件和CSV文件。本例以上传 销售样例数据 Excel文件为例,进行说明。
-
上传Excel文件时,最多支持上传5个Sheet的内容。如果您需要上传超过5个Sheet的内容,请拆分为多个Excel文件上传。
-
上传CSV文件时,CSV文件的格式推荐为 UTF-8格式 。
-
在 文件上传 页面,点击或将文件拖拽至上传区域,完成后将自动跳转至 预览数据 页面。
-
预览数据 页面中,您可以预览以下信息,并进行相关调整操作。
展示内容
配置内容
配置操作
区域 ①
上传文件的Sheet数量及标题
切换Sheet
单击页签切换Sheet以预览不同Sheet中的数据内容,数据内容(即区域 ④ )会随着页签的切换而相应调整。
重命名Sheet
双击Sheet名称以根据实际业务意义重命名当前Sheet,默认读取本地文件中的Sheet名称。
说明Sheet名称不允许使用特殊字符,且前后不能包含空格。
修改Sheet选中状态
点击Sheet名称前的
图标,调整该Sheet的选中状态。默认为选中,取消勾选后,该Sheet将不会被上传。
说明至少需要选中一个Sheet,否则将无法完成文件上传操作。
Sheet快捷操作
点击页签栏右侧
图标,在下拉列表中可以选择需要对Sheet进行的快捷操作。
-
仅选择当前Sheet :仅当前Sheet为选中状态,即文件上传后,仅有当前Sheet的数据内容。
-
选择全部Sheet :选中页签栏中展示的所有Sheet,即文件上传后,包含全部Sheet的数据内容。
-
排除当前Sheet :取消当前Sheet的选中状态,即文件上传后,将不包含当前Sheet的数据内容。
区域 ②
上传文件在不同系统中的名称
展示名称
上传文件在Quick BI系统中的展示名称。当上传文件时,系统会自动识别文件名称,并作为该文件在Quick BI系统中的展示名称,您可以根据实际需求自定义修改。
说明展示名称不允许使用特殊字符,且前后不能包含空格。
物理表名称
文件上传至数据库后,在数据库中自动创建的表的名称,您可以根据实际需求自定义物理表名称。
说明-
物理表名只能由英文、数字和下划线(_)组成,长度不超过150个字符。
-
当将文件上传至探索空间时,不需要配置该字段。
区域 ③
上传文件的标题行
标题行
您可以在此修改当前Sheet的标题行,点击 刷新 按钮即可生效。
说明-
输入的数字需为大于0的整数。
-
请确保标题行中没有空字段,否则将触发报错。
区域 ④
上传文件的数据内容
数据预览
在数据预览页签下预览数据内容,并进行以下操作。
-
修改字段名称 :单击字段名称输入框,修改字段名。
-
修改字段类型 :点击字段类型图标,在下拉列表中选择合适的字段类型。支持的类型包括文本、数值、日期。
字段详情
在字段详情页签下配置 文件字段名 、 数据库字段名称 和 字段类型 。
文件上传至数据库后,会以数据库表的形式存储,数据库字段名称和字段类型为生成数据库表的字段名和类型,而文件列名为上传文件的表头名,会变成数据库表的字段备注。
-
-
单击页面底部 确认并上传 按钮,在提示弹窗中可查看每个Sheet页的上传进度。
-
完成文件上传后即可点击 返回数据源列表 ,查看已上传的文件数据源。
修改上传文件
在完成第一次的业务数据文件上传后,如果由于业务变化,产生了新的业务数据文件,您可以追加、替换新文件,或删除不再需要使用的旧文件,实现对业务数据连贯的、长期的跟踪分析需求。
单击目标文件右侧的
图标,进入
修改文件上传
界面,您可以在此进行以下操作。
配置内容 |
配置操作 |
|
展示名称 |
当前文件在Quick BI系统中的展示名称,支持自定义修改。
说明
展示名称不允许使用特殊字符,且前后不能包含空格。 |
|
数据预览 |
展示数据 |
在 追加历史 面板中切换需要查看的文件 |
修改字段 |
|
|
字段详情 |
修改字段 |
|
添加字段 |
单击表格右上方 添加字段 按钮,在 添加字段 弹窗中维护新增字段的信息,点击 确定 完成添加。
说明
只有当查看的文件为 整体数据 时,才支持添加字段。
|
|
追加历史 |
查看追加历史 |
在 追加历史 面板中以列表形式展示了追加文件,您可以通过点击文件卡片查看对应的追加内容。 |
追加文件 |
由于业务增长,产生了新的业务数据文件,您可以将新文件追加到已有的文件数据源所对应的表中。具体操作请参见 追加文件 。 |
|
替换文件 |
由于业务变更,新的业务数据需要取代旧的业务,您可以更换旧文件。具体操作请参见 替换文件 。 |
|
删除文件 |
如果某个业务数据文件存在脏数据,您可以在表对应的上传文件列表中删除有脏数据的文件。具体操作请参见 删除文件 。 |
追加文件
当在原有文件内容的基础上产生了新的业务数据,您可以继续追加文件内容,以确保业务数据的实时性与完整性。具体操作说明如下。
-
登录 工作台 > 数据源 页面,在 上传文件 列表中找到目标文件,点击文件名称(③)或操作栏
图标(④)。
-
在跳转的 修改文件上传 页面中,点击右侧 追加 按钮。
-
在 追加文件 面板中,点击或将追加文件拖拽至红框区域上传。
说明仅支持单Sheet追加文件,如果您上传的文件有多Sheet,请在预览页选择对应的Sheet并上传。
-
在 数据预览 页面中,切换至需要追加到原文件中的Sheet页签(①),您可以在此按需修改 标题行 ( ② )及 字段类型 (③),完成后点击 下一步 (④)。
-
在 字段匹配 环节,进行追加文件与原始文件之间的字段匹配。系统默认匹配名称相同的字段,您可以手动修改匹配关系;同时,对于名称不同的字段,您也可以手动从 待匹配字段 区域拖拽至 字段匹配 区域进行匹配。
说明-
请确保原始文件与追加文件的字段类型相匹配,否则将触发报错,匹配规则如下:
-
如果原始字段为 文本 :可以与 任意 字段类型相匹配。
-
如果原始字段为 数值 :只能与 数值 类型相匹配。
-
如果原始字段为 日期 :只能与 日期 类型相匹配。
-
-
如果追加文件中的字段多于原始文件,您可以通过点击 添加字段 ,在原始文件中创建相关字段以进行匹配;当多出字段不需要被使用,您也可以直接进行下一步。
-
如果追加文件中的字段少于原始文件,原始文件中的多出字段可以保持无匹配状态,直接进行下一步。
-
如果追加文件中有重复字段,则系统默认会尝试按顺序匹配名称相同的字段。这种情况下,您需要在 字段匹配 环节手动调整匹配关系,确保每个原表字段只与追加文件中的一个相应字段匹配。对于重复的字段,您可以根据业务需求选择其中一个进行匹配。
-
-
点击 确认并上传 ,成功后即可在追加历史面板中查看到追加的文件。
-
(可选)如果您需要替换已追加的文件,在 追加历史 面板中点击待替换文件右侧的
图标,即可进入 替换文件 界面进行相关操作。
替换文件
当原有文件需要更换部分数据,其他数据仍然有效时,您可以将新数据替换到现有数据源中,以保持数据的准确性。具体操作说明如下。
-
在 修改文件上传 页面的 追加历史 面板中,选中待替换文件,点击卡片中的
图标,或点击数据表格右上方 替换数据 按钮。
-
在 替换文件 页面中,点击或拖拽新文件至红框区域进行上传。
说明仅支持单Sheet替换文件,如果您上传的文件有多Sheet,请在预览页选择对应的Sheet并上传。
-
在 数据预览 页面中,切换至需要替换原文件的Sheet页签(①),您可以在此按需修改 标题行 ( ② )及 字段类型 (③),完成后点击 下一步 (④)。
-
在 字段匹配 环节,进行替换文件与原始文件之间的字段匹配。系统默认匹配名称相同的字段,您可以手动修改匹配关系;同时,对于名称不同的字段,您也可以手动从 待匹配字段 区域拖拽至 字段匹配 区域进行匹配。
说明-
请确保原始文件与替换文件的字段类型相匹配,否则将触发报错,匹配规则如下:
-
如果原始字段为 文本 :可以与 任意 字段类型相匹配。
-
如果原始字段为 数值 :只能与 数值 类型相匹配。
-
如果原始字段为 日期 :只能与 日期 类型相匹配。
-
-
如果替换文件中的字段多于原始文件,您可以通过点击 添加字段 ,在原始文件中创建相关字段以进行匹配;当多出字段不需要被使用,您可以直接进行下一步。
-
如果替换文件中的字段少于原始文件,原始文件中的多出字段可以保持无匹配状态。完成替换后,整体数据中依旧会保留多出字段。您可以在整体数据的 字段详情 中查看。
-
如果替换文件中有重复字段,则系统默认会尝试按顺序匹配名称相同的字段。这种情况下,您需要在 字段匹配 环节手动调整匹配关系,确保每个原表字段只与追加文件中的一个相应字段匹配。对于重复的字段,您可以根据业务需求选择其中一个进行匹配。
-
-
点击 确认并上传 ,成功后即可在追加历史面板中查看到替换的文件。
删除文件
当您不再需要使用某个业务数据文件,或该文件存在脏数据时,您可以在
修改文件上传
的
追加历史
面板中,选中并删除对应的文件。
本地文件数据源学习示例
销售数据的结构如下表所示。
字段名称 |
字段类型 |
字段描述 |
order_id |
varchar |
订单编号 |
report_date |
datetime |
订单日期 |
customer_name |
varchar |
客户名称 |
order_level |
varchar |
订单等级 |
order_number |
double |
订单数量 |
order_amt |
double |
订单金额 |
back_point |
double |
折扣点 |
shipping_type |
varchar |
运输方式 |
profit_amt |
double |
利润金额 |
price |
double |
单价 |
shipping_cost |
double |
运输成本 |
area |
varchar |
区域 |
province |
varchar |
省份 |
city |
varchar |
城市 |
product_type |
varchar |
产品类型 |
product_sub_type |
varchar |
产品小类 |
product_name |
varchar |
产品名称 |
product_box |
varchar |
产品包箱 |
shipping_date |
datetime |
运输日期 |
常见问题
1. 上传后的CSV文件字段内容为乱码,该如何操作?
目前UTF-8格式的CSV文件可以准确识别编码。GBK、GB2312格式的CSV文件的编码一般也能智能识别出来,但是某些特殊情形下,可能不能被智能识别出来,需要转换编码格式为UTF-8。
-
用 记事本 工具打开一个CSV文件。
-
选择 另存为 。
-
单击 编码 的下拉箭头。
-
从 编码 列表中,选择 UTF-8 。
2. 追加文件报错“字段类型不一致”,该如何操作?
原因1 :源表和追加表的字段类型存在明显不一致,需要手动修改其中的一个表的数据类型或重新匹配字段;
原因2 :追加表的Excel字段若存在数据为空的字段,Quick BI则会默认判别将此字段判别为文本型,若原表对应字段为数值型,则会报错字段类型不一致。您可以在追加的Excel表全部为空的字段列下面随意加一个数值,即可上传追加成功。
3. 上传文件不成功,报错“Excel文件解析失败”,或者上传文件后数据不准确?
原因 :上传的文件格式或者内容不符合上传要求,因此此类问题对照上传文件注意事项进行检查:
解决方案 :
-
检查1:可上传的文件类型是否为CSV、Excel两种类型,如果是Excel的话,Excel格式是否为xls、xlsx两种格式,以及上传的文件是否满足 注意事项 中提到的内容。
-
检查2:确认上传文件格式与大小是否满足以下 使用限制 中说明的标准。
4. 找不到上传文件的按钮或者按钮为灰色,无法点选?
原因1 :上传文件需要有新建文件数据源的权限,您的用户类型需要为开发者且需要具备空间开发者及以上权限,或被协同授权了该数据源的使用/编辑权限,才具备上传文件数据源的权限与入口;
原因2 :无目标数据源的读写权限,请确认用于Quick BI的数据源中的数据库账号具备该数据库的读写权限。无读写权限将导致无法上传。需联系数据库管理员授予相应权限。
5. 追加文件/追加新字段后,新字段在数据集中不显示?
原因 :原表没有该字段,在新增加字段后,该字段默认在数据集中是没有选择的,需要在数据集编辑页的模型配置界面,手动勾选才可显示。
6. 点击上传文件后,选择文件时无法显示CSV文件?
原因 :点击上传文件按钮,windows环境在选择文件时当前默认只显示本地xlsx格式的文件,需要您在文件类型的选项中选择所有文件才能找到CSV格式的文件。