zenartsky
本站致力于IT相关技术的分享
  文章分类
数据工程 2 DevOps 3 数据工程与存储 2 云原生 4 架构设计 2 MLOps 2 基础设施 1 分布式系统 3 分布式架构 2 架构与设计 2 后端架构 5 可观测性 1
构建从数据库到前端的实时数据流 JPA变更通过CDC与SSE直达UI 构建从数据库到前端的实时数据流 JPA变更通过CDC与SSE直达UI
项目里一个看板应用的数据刷新机制让我头疼了很久。它展示的是一些关键业务实体的状态，后端用的是一套标准的 Spring Boot + JPA 技术栈。最初的实现简单粗暴：前端每5秒轮询一次后端接口，拉取全量数据。数据量不大时相安无事，但随着业
2023-10-27 后端架构
Java Debezium CDC JPA/Hibernate Server-Sent Events
Vercel Functions 驱动 Matplotlib：构建与测试一个生产级无服务器图表生成 API Vercel Functions 驱动 Matplotlib：构建与测试一个生产级无服务器图表生成 API
一切始于一个看似简单的需求：一个金融数据看板需要展示复杂的K线图，不仅包含基础的开盘、收盘、最高、最低价，还需要叠加多种技术指标，如布林带（Bollinger Bands）、移动平均线（MA）和成交量。前端团队最初尝试使用JavaScrip
2023-10-27 后端架构
Vercel Functions Vitest Matplotlib Serverless API
构建大规模WebRTC服务的多层可观测性数据架构选型与实现 构建大规模WebRTC服务的多层可观测性数据架构选型与实现
一个在全球范围内部署的WebRTC服务，其数据生产的速度和复杂性是惊人的。每一条媒体流都会持续不断地吐出关于网络抖动、丢包率、RTT、编解码器性能的指标；每一次信令交互都会产生状态变更事件；每一个会话的建立与终结都伴随着丰富的元数据。当系统
2023-10-27 后端架构
WebRTC NoSQL SQL Data Warehouse 可观测性 数据工程
构建基于 Redis 缓冲与 Qdrant 向量化的实时看板卡片异步索引管道 构建基于 Redis 缓冲与 Qdrant 向量化的实时看板卡片异步索引管道
我们团队的看板（Kanban）系统最近在引入语义搜索功能时，遇到了一个棘手的性能瓶颈。需求很简单：当用户在看板上创建、移动或编辑卡片时，这些变更需要被实时地索引到向量数据库 Qdrant 中，以便用户可以进行“查找与这张卡片相似的任务”之类
2023-10-27 后端架构
Qdrant Redis Flask Kanban 异步处理
实现地理分布式多租户架构的数据隔离层 一次结合OAuth 2.0, CockroachDB与OpenSearch的实践复盘 实现地理分布式多租户架构的数据隔离层 一次结合OAuth 2.0, CockroachDB与OpenSearch的实践复盘
任何一个SaaS产品演进到一定阶段，都会不可避免地撞上多租户这堵墙。我们团队遇到的挑战则更为棘手：产品需要支持地理分布式部署，以满足不同国家的数据主权法规（如GDPR），同时又要保证严格的数据隔离。早期的设计简单粗暴，在每个业务表中都加入了
2023-10-27 后端架构
敏捷开发 OAuth 2.0 CockroachDB OpenSearch