Amazon S3
源将从存储在
Amazon S3
存储段中的文件中读取记录,并在
ArcGIS Velocity
中执行分析。
示例
以下是
Amazon S3
源的用例:
-
一位研究人员希望将
Amazon S3
存储段中的数百个分隔文本文件加载到
Velocity
中以执行分析。
-
GIS 部门将常用的边界 shapefile 存储在
Amazon S3
存储段中,并希望将县边界 shapefile 作为聚合边界加载到
Velocity
中。
用法说明
使用
Amazon S3
源时,请谨记以下信息:
-
在
Amazon S3
存储段中,通过
数据集
参数中指定的命名模式标识的所有文件必须具有相同的方案和几何类型。 如果为
数据集
参数指定一个文件夹名称,则目录中的所有文件必须具有相同的文件类型和方案。
-
密钥将在首次保存分析时加密,并以加密状态存储。
-
指定文件夹路径时,请使用正斜线(
/
)。
-
配置源连接属性后,请参阅
配置输入数据
以了解如何定义方案和关键属性。
-
当使用
公共
访问模式通过
Velocity
连接到公共
Amazon S3
存储段时,公共
Amazon S3
存储段必须在存储段访问控制列表下将
List
操作授予给
所有人(公共访问)
。
-
对于与提供的
Amazon
密钥相关联的用户策略,需要执行特定
Amazon S3
操作,才能使
Velocity
成功连接到
Amazon S3
存储段以及提供的存储段和文件夹路径中的数据。
-
对于指定的存储段,需要执行
s3:ListBucket
操作。
-
在指定文件夹路径和子资源 (
arn:aws:s3:::yourBucketName/*
) 上,需要执行
s3:GetObject
操作,以便
Amazon S3
源读取数据。
参数
参数
|
描述
|
数据类型
|
访问密钥
|
S3
存储段的
Amazon
访问密钥 ID,例如
AKIAIOSFODNN7EXAMPLE
。
Velocity
将使用访问密钥将指定的数据源加载到应用程序中。
有关
Amazon
访问密钥的详细信息,请参阅
AWS
文档中的
使用您的 AWS 凭证访问 AWS
。
|
字符串
|
密钥
|
S3
存储段的
Amazon
保密访问密钥,例如
wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
。
Velocity
将使用访问密钥将指定的数据源加载到应用程序中。
密钥将在首次保存分析时加密,并以加密状态存储。
有关
Amazon
机密访问密钥的详细信息,请参阅
AWS
文档中的
使用您的 AWS 凭证访问 AWS
。
|
字符串
|
S3 存储段名称
|
包含要读取文件的
Amazon S3
存储段的名称。
|
字符串
|
文件夹路径
|
包含要加载到
Velocity
中的文件的文件夹的文件夹路径。
-
如果要从
Amazon S3
存储段的根级别加载文件,请输入一个正斜线 (
/
)。
-
如果要从
Amazon S3
存储段中的文件夹加载文件,请输入一个正斜线,后跟文件夹的路径,例如
/gis_data_folder/folder_containing_desired_dataset
。
|
字符串
|
数据集
|
加载单个文件时要读取的文件名,或指示一组文件的模式,后跟文件类型扩展名。
要构建一个指示一组文件的模式,可将星号 (
*
) 单独作为通配符或与部分文件名一起使用。
命名模式标识的所有文件必须具有相同的方案和几何类型。
或者,如果加载多个文件或嵌套文件夹,也可以将包含文件的文件夹名称指定为数据集名称,而不是具有扩展名的文件名。 如果指定包含文件的文件夹名称作为数据集,则无法使用通配符或限制文件类型。 系统将获取指定文件夹中的所有文件,这些文件应全部具有相同的文件类型。
以下为示例:
-
文件夹中的单个文件 -
filename.csv
-
文件夹中的所有文件 -
*.shp
-
选择文件夹中的文件 -
sensor_data_201*.json
-
目录或多个目录(子目录)的目录中的所有文件: -
containingFolderName
|
字符串
|
仅加载最新文件
|
指定
Amazon S3
源将加载所有文件,还是仅加载自上次分析运行以来创建或修改的文件。
-
默认值为
false
,这意味着每次运行分析时,都会加载指定存储段和路径中具有所提供数据集名称的所有文件。
-
设置为
true
时,每次运行分析时,将仅加载经过修改或创建的文件。
对于计划大数据分析,参数只能设置为
true
。
首次在参数设置为
true
的情况下运行计划大数据分析时,大数据分析不会加载任何文件,分析运行便会完成。 后续分析运行将加载具有自该分析上次计划运行以来的最后修改日期的文件。
|
布尔
|
注意事项和限制
使用
Amazon S3
源时,需要牢记几点注意事项:
-
在
Amazon S3
存储段中,通过数据集属性中的命名模式标识的所有文件必须具有相同的方案和几何类型。
-
Amazon S3
或
Azure
Blob 存储当前不支持使用由根节点引用的对象数组来获取 JSON。