归档: 2023/10 | zenartsky

2023

10

27

在负责一个高频迭代的前端密集型项目时，团队面临一个日益尖锐的矛盾：开发团队追求极致的构建速度以加速迭代，而运维与安全团队则要求部署到生产环境的每一个容器镜像都必须是可追溯、最小化且经过严格扫描的。初始阶段采用的单一 Dockerfile 构

2023-10-27 DevOps

Packer 容器编排 Turbopack 依赖扫描 Azure AKS

27

我们数据湖平台的元数据管理一直依赖于一个单点的、基于关系型数据库的 Metastore。随着业务规模的扩大，这个架构的瓶颈愈发明显：并发的 DDL 操作（例如，ETL 任务同时创建数百个分区）会造成严重的锁竞争，数据库的单点故障风险也成了悬

2023-10-27 分布式系统

状态管理 ActiveMQ Data Lake Raft 协议 C++

27

我们团队的看板（Kanban）系统最近在引入语义搜索功能时，遇到了一个棘手的性能瓶颈。需求很简单：当用户在看板上创建、移动或编辑卡片时，这些变更需要被实时地索引到向量数据库 Qdrant 中，以便用户可以进行“查找与这张卡片相似的任务”之类

2023-10-27 后端架构

Qdrant Redis Flask Kanban 异步处理

27

一个在全球范围内部署的WebRTC服务，其数据生产的速度和复杂性是惊人的。每一条媒体流都会持续不断地吐出关于网络抖动、丢包率、RTT、编解码器性能的指标；每一次信令交互都会产生状态变更事件；每一个会话的建立与终结都伴随着丰富的元数据。当系统

2023-10-27 后端架构

WebRTC NoSQL SQL Data Warehouse 可观测性数据工程

27

一个看似简单的用户证件上传与验证流程，在后端拆分为多个微服务后，其数据一致性保障立刻变得棘手。用户通过SwiftUI客户端提交图片，请求进入系统后，需要依次触发：1) 申请记录创建服务；2) 一个耗时较长的CV（计算机视觉）分析服务，用于提

2023-10-27 分布式系统

SwiftUI Saga Pattern Spring Boot CV Docker Swarm

27

我们面临一个棘手的工程问题：如何将一个高频更新的MySQL产品信息表，实时、可靠地同步到Pinecone向量数据库中，以支持最新的语义搜索。直接的双写方案在生产环境中是脆弱的，应用层的bug可能导致数据不一致。而定期的批处理任务，其延迟对于

2023-10-27 数据工程与存储

ActiveMQ Pinecone XState MySQL Debezium CDC