归档: 2023/10 | zenartsky

2023

10

27

我们数据湖平台的元数据管理一直依赖于一个单点的、基于关系型数据库的 Metastore。随着业务规模的扩大，这个架构的瓶颈愈发明显：并发的 DDL 操作（例如，ETL 任务同时创建数百个分区）会造成严重的锁竞争，数据库的单点故障风险也成了悬

2023-10-27 分布式系统

状态管理 ActiveMQ Data Lake Raft 协议 C++

27

我们团队的看板（Kanban）系统最近在引入语义搜索功能时，遇到了一个棘手的性能瓶颈。需求很简单：当用户在看板上创建、移动或编辑卡片时，这些变更需要被实时地索引到向量数据库 Qdrant 中，以便用户可以进行“查找与这张卡片相似的任务”之类

2023-10-27 后端架构

Qdrant Redis Flask Kanban 异步处理

27

一个看似简单的用户证件上传与验证流程，在后端拆分为多个微服务后，其数据一致性保障立刻变得棘手。用户通过SwiftUI客户端提交图片，请求进入系统后，需要依次触发：1) 申请记录创建服务；2) 一个耗时较长的CV（计算机视觉）分析服务，用于提

2023-10-27 分布式系统

SwiftUI Saga Pattern Spring Boot CV Docker Swarm

27

一个在全球范围内部署的WebRTC服务，其数据生产的速度和复杂性是惊人的。每一条媒体流都会持续不断地吐出关于网络抖动、丢包率、RTT、编解码器性能的指标；每一次信令交互都会产生状态变更事件；每一个会话的建立与终结都伴随着丰富的元数据。当系统

2023-10-27 后端架构

WebRTC NoSQL SQL Data Warehouse 可观测性数据工程

27

我们面临一个棘手的工程问题：如何将一个高频更新的MySQL产品信息表，实时、可靠地同步到Pinecone向量数据库中，以支持最新的语义搜索。直接的双写方案在生产环境中是脆弱的，应用层的bug可能导致数据不一致。而定期的批处理任务，其延迟对于

2023-10-27 数据工程与存储

Pinecone ActiveMQ XState MySQL Debezium CDC

27

当一个组织的微服务数量从几十个膨胀到几百上千个时，一个无形的、巨大的复杂性网络便开始吞噬开发效率。一个看似简单的变更，其“爆炸半径”可能横跨多个团队和数十个代码仓库。开发者花费大量时间不是在编写代码，而是在考古：这个服务谁在维护？它的下游依

2023-10-27 架构与设计

containerd NoSQL Search Valtio OpenID Connect