zenartsky
本站致力于IT相关技术的分享
开始阅读
基于etcd租约与Watch机制构建跨语言服务发现与动态配置系统 基于etcd租约与Watch机制构建跨语言服务发现与动态配置系统
在一个包含 Go 和 .NET 技术栈的异构微服务环境中，服务间通信与配置管理的首要挑战是其动态性。服务的实例地址会因部署、扩缩容或故障而频繁变更，同时，功能开关、超时阈值等配置也需要能够在运行时动态调整而无需重启服务。依赖静态配置文件或硬
2023-10-27 分布式架构
etcd ASP.NET Core Go-Fiber Web API ORM
利用Zustand与Jest为基于消息队列的Saga分布式事务构建高可靠前端状态机 利用Zustand与Jest为基于消息队列的Saga分布式事务构建高可靠前端状态机
一个复杂业务流程的提交，比如包含主订单、库存扣减、积分增减的多服务协同操作，其后台处理绝不可能是瞬时完成的原子操作。在微服务架构下，这通常是一个由多个独立事务组成的分布式事务。如果采用传统的HTTP轮询方式来同步前端状态，不仅会造成服务端和
2023-10-27 分布式系统
NATS 分布式事务 Jest Zustand Pulsar
为存量Hadoop集群注入Consul Connect实现透明化mTLS加密 为存量Hadoop集群注入Consul Connect实现透明化mTLS加密
我们团队维护着一个规模不小的、基于物理机部署的Hadoop集群。安全审计提出的新要求是：所有核心组件之间的数据传输必须强制加密，尤其是NameNode与DataNode之间的RPC调用，以及YARN ResourceManager与Node
2023-10-27 基础设施
服务网格 Hadoop Consul Connect mTLS 零信任
构建从Keras模型训练到Pinecone向量索引更新的全自动化CI/CD工作流 构建从Keras模型训练到Pinecone向量索引更新的全自动化CI/CD工作流
模型和它所驱动的向量索引之间的数据一致性，是所有向量搜索应用稳定性的基石。在我的团队接手一个图像检索项目初期，这个流程是完全手动的：算法工程师在本地用Jupyter Notebook训练或微调一个Keras模型，手动运行脚本生成图像向量，然
2023-10-27 MLOps
向量 Pinecone CircleCI Keras CI/CD 自动化
使用 Haskell 构建类型安全的 Consul 配置 DSL 并通过 Argo CD 实现 GitOps 自动化部署 使用 Haskell 构建类型安全的 Consul 配置 DSL 并通过 Argo CD 实现 GitOps 自动化部署
管理一个拥有数百个微服务的 Consul 集群，其配置的复杂性会迅速失控。最初，我们使用 HCL 或 JSON 文件来定义服务、健康检查和 service-defaults。这种方式在服务数量较少时是可行的，但随着团队和业务的扩张，问题开始
2023-10-27 DevOps
Consul Haskell Argo CD Prettier GitOps
使用 DVC 与 Apache Iceberg 构建 Python 数据湖仓的事务性数据管道 使用 DVC 与 Apache Iceberg 构建 Python 数据湖仓的事务性数据管道
一个典型的周二下午，告警系统开始尖叫。我们一个核心的 Python ETL 作业失败了，这个作业负责将上游服务的 JSON 日志聚合到数据湖的 Parquet 文件中。问题不在于作业失败，这很常见。问题在于它失败在了中间步骤——它已经覆盖了
2023-10-27 数据工程
Python 数据湖与仓库 DVC Apache Iceberg
1 / 5