Back to Data Formulator

数据源连接与导入指南

docs/docs-cn/1-data-source-connections.md

0.7.05.6 KB
Original Source

数据源连接与导入指南

适用版本: Data Formulator 0.7+ 面向读者: 使用 Data Formulator 连接数据库、文件存储或 BI 系统的用户与管理员


1. 功能简介

Data Formulator 的 Load Data 页面会把已经配置或已经连接的数据源显示为独立卡片。 用户不再需要进入旧的 "Database" 标签页逐层选择数据源,而是直接点击对应卡片浏览、 预览并导入数据。

常见入口包括:

  • 本地数据:示例数据、上传文件、粘贴数据、从 URL 加载。
  • 数据源连接:MySQL、PostgreSQL、Superset、S3、BigQuery 等连接卡片。
  • Add Connection:新增一个数据库或数据服务连接。
  • Connect Local Folder:本地模式下连接本机目录。

2. 新增连接

在 Load Data 页面点击 Add Connection

  1. 选择数据源类型,例如 PostgreSQL、MySQL、Superset。
  2. 填写显示名称和连接参数。
  3. 点击 Add & Connect
  4. 连接成功后,新的数据源卡片会出现在 Load Data 页面。

如果连接失败,请检查主机、端口、数据库名、用户名、密码或 token 是否正确。部分数据源还 需要管理员先安装对应依赖包。


3. 数据源卡片

每个连接实例都会显示为一张卡片,例如:

text
PostgreSQL · analytics
MySQL · staging
Superset · prod

同一种数据源可以有多个连接。例如你可以同时保留 MySQL · prodMySQL · staging。它们是两个独立连接,互不共享连接状态和凭证。

管理员预配置的数据源也会显示为卡片,但普通用户不能删除这类连接。


4. 浏览、预览与导入

点击一个数据源卡片后,会进入该连接的数据浏览界面:

  1. 左侧展开目录树,例如 database、schema、table,或 dashboard、dataset。
  2. 选择一个表、文件或数据集。
  3. 右侧查看预览数据、列信息和行数。
  4. 设置行数上限、排序或筛选条件。
  5. 点击导入按钮,把数据加载到当前 workspace。

导入后的表会进入 Data Formulator 的普通数据表列表,可以继续用于可视化、清洗和 Agent 分析。


5. 筛选与列值提示

支持智能筛选的数据源会在预览面板中显示筛选控件。用户可以按文本、数值、日期或布尔值 添加条件。导入时,筛选条件会尽量下推到外部数据源执行,减少导入的数据量。

当前主要支持:

  • PostgreSQL
  • MySQL
  • Superset

其他数据源可能只支持预览和导入,不一定支持源端筛选。若某个连接器不支持筛选,筛选控件 可能不会显示或不会生效。


6. Dashboard / Table Group 导入

BI 系统可以把一个 dashboard 表示为一个可批量导入的数据包。以 Superset 为例:

  1. 点击 Superset 连接卡片。
  2. 选择一个 dashboard。
  3. 右侧会显示该 dashboard 包含的数据集。
  4. 勾选需要导入的数据集。
  5. 设置每个数据集的行数上限。
  6. 点击导入,Data Formulator 会把每个数据集作为独立表导入 workspace。

如果某个数据集导入失败,其他数据集仍可能成功导入。完成后请查看提示信息中的成功和失败 明细。


7. 刷新数据

从连接器导入的表会记录来源信息。只要连接仍然可用,就可以在数据表上执行刷新,重新从外部 数据源拉取数据。

刷新会使用导入时保存的源表、行数、排序和筛选条件。若外部系统权限变化、表被删除或凭证 过期,刷新可能失败,需要重新连接或重新导入。


8. 断开与删除

操作适用场景结果
Disconnect临时断开、切换账号、清理当前登录状态卡片保留,但当前连接状态和保存的服务凭证会被清除
Delete不再需要这个连接卡片移除,用户连接配置和保存凭证被删除

管理员预配置的数据源通常不能删除。用户只能删除自己创建的连接。


9. 凭证保存

连接数据库或外部系统时,密码、token 等敏感信息不会写入前端,也不会写入普通连接配置。 后端会通过凭证保险箱加密保存这些信息。

本地模式下系统会自动创建:

text
DATA_FORMULATOR_HOME/.vault_key
DATA_FORMULATOR_HOME/credentials.db

服务器迁移、备份或 Docker 部署时,这两个文件需要和用户数据一起保留。更多说明见 docs/docs-cn/6-credential-vault.mddocs/docs-cn/7-server-migration-guide.md


10. Local Folder

Connect Local Folder 只在本地模式可用。它允许 Data Formulator 直接读取本机某个目录 中的文件,适合桌面或个人使用场景。

在多人服务器或云部署中,本机目录连接会被禁用,避免用户读取服务器上的任意文件。


11. 常见问题

为什么看不到某种数据源?

可能是对应 Python 依赖未安装。管理员可以查看 /api/data-loaders 返回的 disabled 列表, 或查看服务端启动日志中的安装提示。

为什么点击卡片后需要重新连接?

可能是服务重启、token 过期、手动断开或凭证已被清除。重新输入凭证或通过 SSO 登录即可。

Delete 和 Disconnect 有什么区别?

Disconnect 适合临时断开,连接卡片仍会保留;Delete 会删除用户创建的连接卡片和保存凭证。

为什么筛选控件不是所有连接都有?

不同数据源支持能力不同。PostgreSQL、MySQL 和 Superset 已支持主要的源端筛选;其他数据源 需要等待对应 connector 实现。