20TB 零误差迁移，存储成本减半：天合富家的TDengine 2.6→3.3 进化记

小T有着这样的导读：天合富家身为分布式光伏领域里的领军企业，它的光伏数据量从最开始那每日百万级别的数量，一路飙升到了千万级。原来靠 MongoDB 构建的架构，在面对海量的时序数据之际，整个彻底“卡壳”啦，其查询很慢，存储成本还极其高昂，根本就难以对业务增长起到支撑作用。而转机是源于 TDengine TSDB 的，它靠着高压缩比以及毫秒级的查询性能，成功达成了数据零延迟入库，并且存储成本还减少了一半。后续，天合富家又毫无保留地全面升级到了 3.3 版本，这一版本为其构建零碳生态体系给予了具备高性能特点的、能够进行扩展的、值得信赖的数据底座，进而持续推动企业在分布式能源数字化的道路上加快速度向前行进。

为何选择 TDengine TSDB

作为在全球处于领先地位的光伏智慧能源整体解决方案的提供商，在2018年到2022年这个时间段内，我们的光伏系统每日所产生的数据量，从百万级别的规模跳跃式提升到了千万级别的规模。由于数据规模呈现出指数式的增长态势，这就对存储以及实时计算的能力提出了更高的要求，原来基于MongoDB构建的架构，已经很难去支撑业务的进一步发展了。

MongoDB，是一种文档型的 NoSQL 数据库，在处理大数据场景之时，针对多样化的数据格式，有着很强的灵活性，特别是在 IoT 数据采集以及分析这个领域，应用十分广泛。然而，针对我们这样的场景来讲，MongoDB 的特性却和需求存在着一定的错位，主要在以下三方面体现出来：

于这般背景情形之下，TDengine TSDB身为新一代的时序数据库，依靠以下这些优势，牵引了我们的目光注意：

针对存储成本、读写性能以及实施难度等诸多方面的因数，进行全面综合的考量，最终，我们在众多选择中，挑选出将数据库替换成为 TDengine TSDB。

时序数据处理技术架构

光伏时序数据的主要应用场景，集中于我司的能源管理系统，这里面包含数据采集模块，有着接入模块，还有存储模块、处理模块以及应用模块，它能为企业提供全流程数字化支撑，从实时监控开始提供，其后是数据分析，再到运维管理，接着是能源优化，最后是安全管理。

采集端借助 TCP 协议，上报光伏组件、逆变器、电池等设备的运行数据，这些数据经清洗后，以结构化格式暂存于 Kafka，且仅保留近期时间数据。数据写入应用从 Kafka 消费后，会把数据写入 TDengine TSDB 进行持久化存储。之后，系统针对数据展开计算，比如当日发电量、实时功率等，并且将降采样结果存入结果库，以此支持后续的统计分析与可视化展示。

虽说采集端那儿的数据能够直接写入 TDengine TSDB，然而鉴于整体架构的稳定性这一因素，我们依旧留存了 Kafka。如此这般的设计给系统提供了一个实时数据方面的冗余缓冲区，它不但在一定周期之内达成了数据的高可用存储，还为后续的处理环节预留出了维护窗口，进而显著地提升了整体架构的可靠性以及可用性。

项目刚开始实施的时候，采用的是TDengine TSDB 2.6版本，安排部署了3个数据库节点，有数据采集与处理应用，它通过RESTful连接到TDengine TSDB集群，这个集群采用的是高效云盘跟普通云盘相结合的多级存储架构，在兼顾性能的情况下，有效控制了整体存储成本。

TDengine 应用效果

项目实施历经半年时间，其中涵盖采集设备改造、应用开发以及数据库适配等方面，之后能源管理系统得以顺利上线运行。系统达成了千万级数据，且是每日数据的零延迟入库，数据分析，像设备日发电量统计这种响应时间被控制在秒级以内。与此同时呀，依靠高效云盘与普通云盘分层存储方案，整体存储成本降低了大约50%。该系统成功投产给我司业务发展提供了有力支撑。

TDengine 3.0 升级经验分享

伴随业务持续扩张，系统遭遇两大挑战，其一乃接入设备数量持续攀升，致使子表数量创建达千万级别，其二是元数据体量急剧增多，引发数据库启动迟缓，维护窗口持续延长。

为把这些问题给解决掉，我们在2024年做出决定，要把TDengine TSDB升级成3.3企业版，这个版本具备快速的启动速度，还有更为海量的数据管理能力。

能够支持达到亿级别的时间线；数据库具备“秒级”启动的特性；多级存储可对对象存储予以支持，进而能够进一步降低存储成本。

因系统要在不停机状况下达成版本升级，所以我们跟 TDengine 专业服务团队展开了深入沟通，最终决定采用 taosX 数据同步迁移工具，还结合镜像集群与程序双写的方案来完成升级，具体步骤如下：

在数据库开展升级之际，我们与此同时同步着手实行了应用层的升级以及适配工作。鉴于 TDengine TSDB 3.0 以及高于 3.0 的版本具备更为丰富的功能，我们主要达成了以下这些优化：

提供海量、可扩展、高可靠性存储服务的，是云服务商所提供的 Object Storage Service（对象存储服务），其简称为 OSS，它主要被用于存储图片、视频、文档等非结构化数据。相比于高效云盘而言，OSS 的价格降低了至少 60%。还有升级后的运行表现。

通过进行数据迁移以及展开严格校验，我们成功地把将近 20TB 的数据丝毫不差地迁移到了新集群，并且整个过程中业务没有出现中断的情况，凭借应用层实施的优化与适配，系统于新集群之上达成了高效且稳定的运行状态。

为了让数据库集群的高可用性能够得到更进一步的提升，我们在集群的前端部署了负载均衡服务器，借助合理的负载均衡策略，如此达到精细化控制不同应用的资源占用的目的。在确保系统具备高可用性的这个时候，与此同时也达成的各应用之间的有效隔离以及性能优化。

我们借助多级存储的对象存储功能，把大量历史数据迁移到对象存储之上，使得本地磁盘占用量降低了大概50%，进而压缩了整体存储成本。

自 2022 年开始合作，一直到现在，随着 TDengine TSDB 从 2.6 版本不断迭代到 3.3 版本，我们一直都觉得，这款时序数据库虽然不是毫无瑕疵，但是由于它对能源行业业务场景进行了深度适配，所以成为了和天合富家需求相互高度契合的技术工具。

天合富家是一家有着相关致力于的企业，相关致力于即“提供智能清洁能源解决方案，构建零碳生活与零碳生产新生态”，在迈向零碳这个目标的进程当中，其依托 TDengine TSDB 稳定的时序数据存储能力，还依托 TDengine TSDB 高效的分析性能，为能源管理、设备监控等核心业务提供了坚实的数据底座，也为公司实现零碳生态落地注入了持续的技术动力。

关于天合富家

天合富家能源股份有限公司，于2016年10月成立，是一家专注分布式能源市场的系统解决方案提供商，作为分布式光伏行业领军企业，围绕品牌、产品、服务三大核心战略，建立了含产品研发、市场销售、安装售后、智能运维的完整体系，构建了数字化、全渠道的生态网络，以原装为基本战略，持续创新，不断提升产品与服务体验，致力于打造智慧分布式能源第一品牌，为客户提供最佳的清洁能源体验。

相关标签： # 光伏 # TDengine # 时序数据库 # 数据迁移 # 存储成本