zenartsky
本站致力于IT相关技术的分享
构建基于CDC与状态机的MySQL到Pinecone实时向量同步管道 构建基于CDC与状态机的MySQL到Pinecone实时向量同步管道
我们面临一个棘手的工程问题：如何将一个高频更新的MySQL产品信息表，实时、可靠地同步到Pinecone向量数据库中，以支持最新的语义搜索。直接的双写方案在生产环境中是脆弱的，应用层的bug可能导致数据不一致。而定期的批处理任务，其延迟对于
2023-10-27 数据工程与存储
Pinecone XState MySQL ActiveMQ Debezium CDC
Vercel Functions 驱动 Matplotlib：构建与测试一个生产级无服务器图表生成 API Vercel Functions 驱动 Matplotlib：构建与测试一个生产级无服务器图表生成 API
一切始于一个看似简单的需求：一个金融数据看板需要展示复杂的K线图，不仅包含基础的开盘、收盘、最高、最低价，还需要叠加多种技术指标，如布林带（Bollinger Bands）、移动平均线（MA）和成交量。前端团队最初尝试使用JavaScrip
2023-10-27 后端架构
Vercel Functions Vitest Matplotlib Serverless API
构建从数据库到前端的实时数据流 JPA变更通过CDC与SSE直达UI 构建从数据库到前端的实时数据流 JPA变更通过CDC与SSE直达UI
项目里一个看板应用的数据刷新机制让我头疼了很久。它展示的是一些关键业务实体的状态，后端用的是一套标准的 Spring Boot + JPA 技术栈。最初的实现简单粗暴：前端每5秒轮询一次后端接口，拉取全量数据。数据量不大时相安无事，但随着业
2023-10-27 后端架构
Java Debezium CDC JPA/Hibernate Server-Sent Events
基于 C++ Raft 实现与 ActiveMQ 的分布式数据湖元数据管理日志 基于 C++ Raft 实现与 ActiveMQ 的分布式数据湖元数据管理日志
我们数据湖平台的元数据管理一直依赖于一个单点的、基于关系型数据库的 Metastore。随着业务规模的扩大，这个架构的瓶颈愈发明显：并发的 DDL 操作（例如，ETL 任务同时创建数百个分区）会造成严重的锁竞争，数据库的单点故障风险也成了悬
2023-10-27 分布式系统
状态管理 ActiveMQ Data Lake Raft 协议 C++
在Kubernetes上利用Flux CD与Caddy实现ActiveMQ的自动化mTLS与GitOps部署 在Kubernetes上利用Flux CD与Caddy实现ActiveMQ的自动化mTLS与GitOps部署
在Kubernetes环境中部署有状态的消息中间件（如ActiveMQ Artemis），其挑战远不止于编写一个StatefulSet。真正的难点在于如何确保部署过程是声明式的、可重复的，并且在网络层面是零信任的。配置漂移、繁琐的证书管理、
2023-10-27 云原生
GitOps Kubernetes mTLS ActiveMQ Flux CD Caddy
5 / 5