跳转至

端点页

存储库 > 端点

页面用途

此页面允许通过定义端点来配置对应用程序外部资源的访问。这些端点可在从作业 ETL 和 Tagetik Software S.r.l. 的其他模块读取/写入时使用。

属性

页面字段

以下是最重要的字段。

字段 描述
Code 指定唯一标识符,使用它的 Tagetik Software S.r.l. 模块将通过该标识符引用该端点。
Description 完整显示描述。
Endpoint type 指示对资源的访问模式,可从 URL、Tagetik Data Loader、Tagetik Application、OData V2 service、OData V4 service、REST API、SharePoint、Google BigQuery、Snowflake、MS Fabric 中选择。

URL

通过选择 URL 类型,可以根据 URL 字段中输入的语法,通过某些协议引用资源。

默认端点

它指示系统,CCH Tagetik 工具(如应用程序导入/导出)生成的、需要长期存储的文件必须保存到端点所报告的远程 URL。如果未对任何端点启用此选项,则 CCH Tagetik 工具生成的文件将保存到设置为可写文件夹的目录。此选项只能在一个端点上启用。

受管协议

以下是受管协议的列表,并附有相关示例。

协议 Windows URL 示例 Unix URL 示例
File - file://localhost/c /WINDOWS/ - file:///c
Ftp ftp://host[:port]/url-path
Ftp (secure) ftps://host[:port]/url-path
Http http://webdav/files
Https https://webdav/files
Sftp sftp://host[:port]/url-path
Smb smb://host/shared-folder-path

SFTP 协议

CCH Tagetik 使用的 'Key Exchange'(协商用于在会话期间加密数据的密钥的过程)是 'diffie-hellman-group-exchange-sha256'。

CCH Tagetik 管理的 'host key' 算法(在密钥交换期间用于验证客户端确实在与正确的服务器通信的算法)如下:ssh-ed25519,ecdsa-sha2-nistp256,ecdsa-sha2-nistp384,ecdsa-sha2-nistp521,rsa-sha2-512,rsa-sha2-256,ssh-rsa

注意ossh-rsa 算法是一种弱算法,不建议使用(该算法已被 OpenSSH 弃用)

Tagetik Application

通过选择 Tagetik Application 类型,可以通过其特定的数据源引用 Tagetik 应用程序。

配置需要以下字段:

字段 描述
Tagetik Application
URL Tagetik 应用程序 URL
Application datasource 为 Tagetik 应用程序定义的数据源之一中的标识符

Tagetik Data Loader

通过选择 Tagetik Data Loader 类型,可以引用先前在 CCH Tagetik 上注册的 Tagetik Data Loader。

配置需要:

字段 描述
Tagetik Data Loader
Tagetik Data Loader Name 从已定义的名称中选择。
Tagetik Data Loader source type 必须从中提取/上传数据的源类型,可以是 From databaseFrom file

注意:指定必须从中提取/上传数据的源类型后,单击 Update Tagetik Data Loader 数据按钮将更新在指定 Tagetik Data Loader 上配置的数据源或路径列表。

数据库

选择 From database 类型会告知 Tagetik Data Loader 将其上配置的数据库用作资源。

配置需要:

字段 描述
Tagetik Data Loader Datasource 必须从中提取/上传数据的数据源的逻辑名称

文件

选择 From file 类型会告知 Tagetik Data Loader 将其上配置的存储库用作资源。

配置需要:

字段 描述
Tagetik Data Loader path 应用程序可在其上运行读/写操作的路径的逻辑名称。

OData 服务

通过选择 OData V4 serviceOData V2 service 类型,可以引用 OData 服务以读取实体集合(服务根实体的 Entity Data Model 中定义的 EntitySets)。对于 OData V4 服务类型,还可以引用服务以从函数(FunctionImport)读取实体集合。

配置需要:

字段 描述
URL OData 服务根 URL
Use direct connection (only for instances in the same region) 它允许对同一云区域中的 saastagetik 服务使用直接连接。该标志仅在以下情况下存在: - 它是云环境 - 系统属性 'it.grupposervizi.easy.api.internal.host' 可用 - url 主机以 ".saastagetik.com" 结尾 。在上述条件下,默认情况下该标志处于启用状态
Pagination size 要加载到 CCH Tagetik 的每个数据包中的最大记录数。 - > 0:启用基于数据包的读取 - 0:同时读取所有数据

如果要传输大量数据,并且在 CCH Tagetik 应用程序服务器端观察到显著的内存占用,可以通过将 pagination size 属性设置为 >0 的值来启用数据包传输。

即使在 CCH Tagetik 上启用了数据包传输,系统也会处理 OData 服务的任何服务器端分页(通过标题 @odata.nextLink 执行)。

REST API

通过选择 REST API 类型,可以引用通过 RESTfull API 公开数据的服务。

配置需要:

字段 描述
URL REST API 根 URL
Use direct connection (only for instances in the same region) 它允许对同一云区域中的 saastagetik 服务使用直接连接。该标志仅在以下情况下存在: - 它是云环境 - 系统属性 'it.grupposervizi.easy.api.internal.host' 可用 - url 主机以 ".saastagetik.com" 结尾 。在上述条件下,默认情况下该标志处于启用状态
Response type 响应格式(JSON 和 CSV)。
JSON:
路径 使用 JSONPath 语法指向包含待读取数据列表的对象的路径。
托管数组层级 结果中要包含的嵌套数组数量。
CSV:
表头 指示是否存在表头行
列分隔符 指示列的分隔字符:"," - ";" - "
值定界模式 指示值定界模式:None、Minimal、Non Numeric、All
值定界符 指定值定界符:None、", '
行分隔符 指定行分隔字符:回车 + 换行 (\r\n)、回车 (\r)、换行 (\n)
分页
用法 指示在何处指定分页属性:None、Header、Query param
属性名称 指示管理分页大小的属性名称。
大小 指定分页大小
下一页
响应中的位置 指示在响应中从何处获取所定义的属性以访问下一页:None、Header、Body attribute
属性名称 指示响应中包含用于获取下一页信息的属性名称。如果所选位置为 Body attribute,则必须使用 JSONPath 语法指示路径。
请求中的位置 指示在请求中应在何处指定属性以访问下一页:None、Header、Query param、Complete URL
属性名称 指示请求中应指定的、包含用于获取下一页信息的属性名称。

示例 - JSON

端点配置:

URL:https://company.com/api/employees

响应类型:JSON

路径:data.employees

托管数组层级:0

分页:

用法:Query param

属性名称:maxSize

大小:3

下一页:

响应中的位置:Body attribute

属性名称:nextPage

请求中的位置:Query param

属性名称:next

系统发出的第一个请求为:https://company.com/api/employees?maxSize=3

返回的响应体为:

{ "data":{ "employees":[ {"name":"Shyam", "email":"shyamjaiswal@gmail.com", "role":{"name":"Developer", "level":"Senior"}, "qualifications":[{"id": "AAA","details":{"id":"001", "list":["A01","A02"]}}]}, {"name":"Bob", "email":"bob32@gmail.com", "role":{"name":"Developer", "level":"Junior"}, "qualifications":[{"id": "BBB","details":{"id":"002", "list":["B01"]}}]}, {"name":"Jai", "email":"jai87@gmail.com", "role":{"name":"Manager", "level":"Senior"}, "qualifications":[{"id": "CCC","details":{"id":"003", "list":["C01","C02"]}}]} ] }, "nextPage":"adWOdawe1" }

系统发出的第二个请求将为:https://company.com/api/employees?maxSize=3&next=adWOdawe1

将读取每位员工的属性并展开复合对象:

  • "name"
  • "email"
  • "role.name"
  • "role.level"

而数组("qualifications")将被忽略

如果 托管数组层级 属性设置为 1,则还将添加 qualifications. id 和 qualifications.details.id 字段

如果 托管数组层级 属性设置为 2,则还将添加 qualifications. id、qualifications.details.idqualifications.details.list 字段

注意:处理嵌套数组会导致结果行中产生更多记录,因为它们是通过笛卡尔积获得的。

示例 - CSV

端点配置:

URL:https://company.com/api/employees

响应类型:CSV

表头:true

列分隔符:,

值定界模式:All

值定界符:'

行分隔符:回车 + 换行 (\r\n)

分页:

用法:Header

属性名称:maxSize

大小:3

下一页:

响应中的位置:Header

属性名称:nextPage

请求中的位置:Complete URL

属性名称:

系统发出的第一个请求为:https://company.com/api/employees,带有 Header:maxSize: 3

返回的响应体为:

"name","email","role.name","role.level"\r\n "Shyam","shyamjaiswal@gmail.com","Developer","Senior"\r\n "Bob","bob32@gmail.com","Developer","Junior"\r\n "Jai","jai87@gmail.com","Manager","Senior"\r\n

返回的响应头为:

Connection: keep-alive Content-Type: text/csv ... nextPage: https://company.com/api/employees?next=adWOdawe1

系统发出的第二个请求将为:https://company.com/api/employees?next=adWOdawe1,带有 Header:maxSize: 3

SharePoint

通过选择 SharePoint 类型,可以引用一个 SharePoint 站点。 配置需要:

字段 描述
租户 ID SharePoint 租户 ID
客户端 ID SharePoint 应用程序客户端 ID
站点名称 SharePoint 上的站点名称。名称区分大小写,必须保留空格、大小写。
租户名称 (可选)从 SharePoint URL 中获取的租户名称:.sharepoint.com/sites/ 示例:从 URL mytenant.sharepoint.com/sites/mysite 中获取的 "mytenant"

注意:要通过 CCH Tagetik 连接到 SharePoint,必须满足以下要求:

  • 与所配置客户端关联的最低权限(Microsoft Graph 范围)必须为:

  • 如果填写了 '租户名称' 字段:Site.Selected

  • 如果未填写 '租户名称' 字段:Site.FullControl.All
  • 所配置的权限必须为 'Application' 类型
  • 身份验证可以通过密钥或证书进行

有关 SharePoint 配置的更多详细信息,请参阅 Microsoft 官方文档

Google Big Query

通过选择 Google Big Query 类型,可以引用一个 Google Big Query 项目。

配置需要:

字段 描述
项目 ID Google Cloud Platform 上的资源项目标识符

Snowflake

通过选择 Snowflake 类型,可以引用一个 Snowflake 数据库。

配置需要:

字段 描述
URL 访问 Snowflake 服务的 URL。必须采用以下格式:https://..snowflakecomputing.com 例如:https://xx12345.eu-central-1.snowflakecomputing.com
用户 Snowflake 用户标识符
仓库 资源所在仓库的标识符
数据库 资源所在数据库的标识符
方案 资源所在方案的标识符
角色 Snowflake 用户访问资源所使用的角色

MS Fabric

通过选择 MS Fabric 类型,可以引用一个 MS Fabric 数据库

配置需要:

字段 描述
SQL 端点 SQL 端点可直接从要管理的 Warehouse Fabric 的设置中获取。必须完全按照 Fabric 提供的内容填写。
仓库 Warehouse Fabric 的名称。
租户 ID 已为其定义服务主体的租户 ID,该租户已添加到要管理的仓库所属的 Workspace Fabric 中。

注意:要通过 CCH Tagetik 连接到 MS Fabric,需要一个满足以下要求的 服务主体

  • 对要使用的 仓库 所在的 工作区 具有访问权限,授权级别至少等于 参与者
  • 仅支持 密钥 身份验证。

有关 MS Fabric 配置的更多详细信息,请参阅 Microsoft 官方文档。

Pretty Good Privacy (PGP) 加密

如果 URL 端点和 Tagetik Data Loader 使用 PGP 加密,则可以在 数据加密 部分配置其功能。

启用 PGP 选项允许启用 PGP 加密,以便使用此标准在读取时解密文件、在写入时加密文件。

所需信息:

字段 描述
公钥 由客户端生成的密钥对中的公钥
密钥 由 CCH Tagetik 生成的密钥对中的私钥
密钥口令 用于生成 CCH Tagetik 密钥的口令(字段值已隐藏)

要成功上传加密文件,必须遵守某些限制:

  • 加密后不得应用签名;
  • 加密文件只能包含一个收件人。

如果端点仅用于读取数据,则只需配置 密钥密钥口令 对;如果仅用于写入数据,则只需配置 公钥

身份验证

如果服务提供身份验证模式,则可以在身份验证选项卡的 可用身份验证类型 字段中选择一种类型。

当前支持以下身份验证类型:

字段 描述
适用于所有类型的端点,当远程资源不需要任何身份验证类型时
基本身份验证
适用于 URL 类型端点(不适用于 "file")、OData 服务 类型和 REST API,当远程资源需要由用户名和密码组成的身份验证时。对于使用 'smb' 协议的 URL 类型 端点,用户名必须包含域引用(例如 \
用户名 标识可访问所请求资源的用户名
密码 标识与上一点中定义的用户名关联的密码
OAuth 2
适用于 OData 服务REST APISnowflake 类型的端点,允许使用 OAuth2 标准配置授权服务器向第三方客户端颁发访问令牌,但须经所访问资源的所有者用户批准。请参阅 OAuth 网站
授权类型 可以是:客户端凭据或密码凭据
客户端身份验证 指示是在标头、正文中发送身份验证(使用客户端凭据或密码凭据),还是使用带私钥的签名 JWT 进行身份验证(仅限客户端凭据)
令牌端点 用于获取令牌的 URL
客户端 ID OAuth2 客户端 ID
客户端密钥 OAuth2 客户端密钥
用户名 密码凭据流程的用户名
密码 密码凭据流程的密码
Kid 表示当身份验证服务器上有多个密钥时用于获取带私钥的签名 JWT 的密钥标识符
有效期 指示为配置 JWT 令牌的 EXP 字段而添加到当前时间的时间(以秒为单位)。可能的值为 [1 - 3600] 范围内的值。
PEM 格式的私钥 包含 PEM 格式私钥的文件,用于获取带私钥的签名 JWT。私钥必须使用 RS256 算法以 PEM 格式生成,且不带口令,并必须采用以下格式: -----BEGIN PRIVATE KEY----- MII... -----END PRIVATE KEY---- JWT 令牌中包含的声明为:isssubaudexpiatjti(请参阅 RFC7523)。
范围 OAuth2 范围
资源 OAuth2 资源
使用代理配置获取令牌 指示是否需要代理配置才能访问用于获取令牌的 URL
使用已配置的证书获取令牌 指示是否需要通过证书进行身份验证才能访问用于获取令牌的 URL
密钥对
仅对 Snowflake 端点有效。允许使用自己的私钥配置身份验证。
账户标识符 Snowflake 账户标识符
密钥文件 账户的私钥文件
口令 (可选)用于打开私钥的口令
公钥指纹 Snowflake 上关联公钥的指纹。指纹必须采用 SHA256: 格式。
Json 密钥
仅对 BigQuery 类型的端点有效。允许配置用于连接的 ADC 密钥
ADC Json 密钥 用于连接的服务账户的 Json 格式 ADC 密钥(保存后,私钥字段将被隐藏)
底层
仅对 BigQuery 类型的端点有效。允许使用安装 CCH Tagetik 的 Google Cloud 环境连接到 Google BigQuery。 重要:必须启用测试版功能才能使用此身份验证模式。

SharePoint 类型端点的身份验证选项卡

以下是最重要的字段。

字段 描述
范围 SharePoint 权限范围。如果未指定,则使用默认值:https://graph.microsoft.com/.default
可用身份验证类型 可以是:通过密钥通过证书。 通过 密钥 - 密钥值:客户端密钥值 通过证书,提供以下选项: 证书类型:可以是:PEM (.cer .crt .pem .key) 或 PKCS#12 (.pfx .p12) 证书文件:包含 PEM 或 PKCS#12 格式的证书 密钥文件:包含证书的密钥(仅当证书类型为 PEM 时该字段才存在) 口令:用于生成证书(仅当证书类型为 PKCS#12 时该字段才存在)

MS Fabric 端点的身份验证选项卡

字段 描述
客户端 ID 为主服务定义的 Azure 应用程序的客户端属性 ID
密钥 Azure 应用程序(服务主体)的客户端密钥值

代理

如果端点 OData 服务REST APISnowflake 通过代理服务器公开,则可以在 代理 部分进行配置。

字段 描述
服务器 代理服务器标识符
端口 代理服务器端口
用户 用于在代理服务器上进行身份验证的用户名
密码 用于在代理服务器上进行身份验证的密码

自定义标头

如果端点 OData 服务、 REST APISnowflake 要求在请求中发送额外的标头,则可以在 标头 部分进行配置。

字段 描述
自定义标头的键
自定义标头的值

证书

如果 OData 服务REST API 端点需要通过证书进行身份验证,则可以在 证书 部分进行配置。 仅当 URL 中使用的协议为 https 时,此部分才可见。

字段 描述
证书颁发机构
CA 文件 包含 PEM 格式 CA 证书的文件
客户端
证书类型 可以是:PEM (.cer .crt .pem .key)PKCS#12 (.pfx .p12)
证书文件 包含 PEMPKCS#12 格式证书的文件
密钥文件 包含 PEM 格式证书密钥的文件(仅当证书类型为 PEM 时该字段才存在)
口令 用于生成证书的口令。(该字段的值已隐藏)

高级

对于某些端点类型,可以设置以下附加连接参数

字段 描述
端点类型:Snowflake
查询超时 Snowflake 查询超时设置(以秒为单位)。此选项指 Snowflake 处理查询的时间。
端点类型:Google Big Query
使用目标表 为查询结果使用目标表。重要:如果查询的压缩结果超过 10GB,则此设置为必填项)
使用现有项目 ID 对于目标表的定义,使用 Big Query 端点属性中指定的项目 ID
项目 ID 目标表项目 ID 的定义。如果已设置必须使用现有项目 ID,则该字段不可编辑。
数据集名称 目标表数据集名称的定义
表名称 目标表名称的定义
写入模式 根据 Google BigQuery 定义数据写入临时表的方式: - Write Truncate:如果表已存在,BigQuery 会覆盖数据、移除限制并使用查询给定的方案。 - Write Truncate Data:如果表已存在,BigQuery 会覆盖数据,但保留现有表的限制和方案。 - Write Append:如果表已存在,BigQuery 会向表中添加新数据并返回表的结果。 - Write Empty:如果表已存在且包含数据,则数据处理会返回 'duplicate' 类型的错误。

连接

对于每个端点,在 连接 部分,可以使用 测试 按钮检查所输入信息的有效性并测试与远程资源的连接。测试结束时,下方区域会显示包含测试结果详细信息的消息。