zenartsky
本站致力于IT相关技术的分享
  文章分类
数据工程 2 DevOps 3 数据工程与存储 2 云原生 4 架构设计 2 MLOps 2 基础设施 1 分布式系统 3 分布式架构 2 架构与设计 2 后端架构 5 可观测性 1
构建基于CDC与状态机的MySQL到Pinecone实时向量同步管道 构建基于CDC与状态机的MySQL到Pinecone实时向量同步管道
我们面临一个棘手的工程问题：如何将一个高频更新的MySQL产品信息表，实时、可靠地同步到Pinecone向量数据库中，以支持最新的语义搜索。直接的双写方案在生产环境中是脆弱的，应用层的bug可能导致数据不一致。而定期的批处理任务，其延迟对于
2023-10-27 数据工程与存储
Pinecone XState MySQL ActiveMQ Debezium CDC
使用 Terraform 与 containerd 构建 Kubernetes-less 的高可用 TiDB 集群 使用 Terraform 与 containerd 构建 Kubernetes-less 的高可用 TiDB 集群
技术痛点：为何要绕开 Kubernetes？在生产环境中部署 TiDB 集群，官方推荐的方式是使用 TiDB Operator on Kubernetes。这套方案成熟、稳定，提供了强大的自动化运维能力。但在某些特定场景下，这并非银弹。我们
2023-10-27 数据工程与存储
TiDB containerd 基础设施即代码 (IaC) Terraform 高可用