在许多情况下，你可能需要迁移和/或转换应用程序中的数据：例如提高数据库性能、整合数据、为组织中其他团队安全地查询数据提供访问权限，以及其他与具体使用案例相关的原因。虽然这些设置看似简单，但如果没有正确处理，可能会对生产数据库造成影响，并且整个过程可能相当繁琐复杂。通过使用处于Beta阶段的PlanetScale Connect，你可以轻松地执行数据的ELT操作（提取、加载、转换），以满足你的应用程序需要。

什么是PlanetScale Connect？

PlanetScale Connect能够与现有的ELT平台集成，从你的PlanetScale数据库中提取数据，并安全地加载到其他目标地点以供分析、转换等等。在这一功能的初期版本中，我们支持选择Airbyte开源平台作为首选的ELT工具，并计划未来扩展支持范围。

在Airbyte中，你可以选择将你的PlanetScale数据库作为数据源。然后，你可以从数百个连接器（完整的Airbyte连接器列表）中进行选择，包括Google BigQuery、AWS Redshift、Snowflake等。在配置过程中，你可以在数据加载至最终目标之前对其进行转换。这使你能够完全掌控数据的迁移、转换和上传，只需几次点击和简单设置即可完成。

ELT管道的好处

为进一步了解PlanetScale Connect的功能，我们来探讨实施既定ELT管道的一些关键优势。

上下文

将应用程序数据卸载到合适的存储库可以提升维护和查询历史数据的能力。例如，你的生产应用程序可能只需要过去两个月内的数据可随时使用。这意味着你可以将更早的数据卸载到其他数据存储库，在不影响主应用程序性能的情况下查询这些数据。

数据整合

通常情况下，并不是每一条存储在数据库中的数据都需要长期保留。在这种情况下，ELT提供了一种理想机会，允许你在转换阶段删除不必要的数据，然后加载到新的数据源中。

数据丰富化

除了整合数据外，你可能还需要在转换数据的过程中对它进行丰富化处理。例如，你可以从内部和/或外部API中获取额外数据，为现有数据添加更多上下文信息和细节。

提高生产力

一旦创建了能够生成预期结果的ELT管道，这一过程将不再需要人工干预。你的团队可以专注于最高优先级的任务，同时确保数据管道持续运行。

数据准确性

通过利用ELT管道，你可以确保数据始终保持一致和准确。这为上游应用程序架构的变化提供了灵活性，同时确保下游应用程序能够使用一致的数据格式。

工作原理

为了使PlanetScale Connect能够作为ELT平台的数据源，它需要解决三个关键问题。

架构发现

ELT数据源应支持发现PlanetScale数据库中所有关键空间的架构，并以ELT工具所需的多种格式返回数据（通常是特定格式的JSON文档）。

初始数据导出

ELT数据源应能够高效地返回PlanetScale数据库的完整数据导出。这一点非常重要，因为低效率的解决方案会对生产数据库产生负面影响。

增量数据同步

ELT数据源应支持“增量同步”的概念，维护一个游标以描述数据最近一次同步的时间和位置。然后，它会查询自上一次同步以来发生变化或新增的数据。


使用PlanetScale Connect提取、加载和转换你的数据插图

关注公众号：程序新视界，一个让你软实力、硬技术同步提升的平台

除非注明，否则均为程序新视界原创文章，转载必须以链接形式标明本文链接

本文链接：https://www.choupangxia.com/2025/08/02/planetscale-connect/