归档: 2023/10 | zenartsky

2023

10

27

我们面临一个棘手的工程问题：如何将一个高频更新的MySQL产品信息表，实时、可靠地同步到Pinecone向量数据库中，以支持最新的语义搜索。直接的双写方案在生产环境中是脆弱的，应用层的bug可能导致数据不一致。而定期的批处理任务，其延迟对于

2023-10-27 数据工程与存储

Pinecone XState MySQL ActiveMQ Debezium CDC

27

一切始于一个看似简单的需求：一个金融数据看板需要展示复杂的K线图，不仅包含基础的开盘、收盘、最高、最低价，还需要叠加多种技术指标，如布林带（Bollinger Bands）、移动平均线（MA）和成交量。前端团队最初尝试使用JavaScrip

2023-10-27 后端架构

Vercel Functions Vitest Matplotlib Serverless API

27

项目里一个看板应用的数据刷新机制让我头疼了很久。它展示的是一些关键业务实体的状态，后端用的是一套标准的 Spring Boot + JPA 技术栈。最初的实现简单粗暴：前端每5秒轮询一次后端接口，拉取全量数据。数据量不大时相安无事，但随着业

2023-10-27 后端架构

Java Debezium CDC JPA/Hibernate Server-Sent Events

27

我们数据湖平台的元数据管理一直依赖于一个单点的、基于关系型数据库的 Metastore。随着业务规模的扩大，这个架构的瓶颈愈发明显：并发的 DDL 操作（例如，ETL 任务同时创建数百个分区）会造成严重的锁竞争，数据库的单点故障风险也成了悬

2023-10-27 分布式系统

状态管理 ActiveMQ Data Lake Raft 协议 C++

27

在Kubernetes环境中部署有状态的消息中间件（如ActiveMQ Artemis），其挑战远不止于编写一个StatefulSet。真正的难点在于如何确保部署过程是声明式的、可重复的，并且在网络层面是零信任的。配置漂移、繁琐的证书管理、

2023-10-27 云原生

GitOps Kubernetes mTLS ActiveMQ Flux CD Caddy