zenartsky
本站致力于IT相关技术的分享
  文章分类
数据工程 2 DevOps 3 数据工程与存储 2 云原生 4 架构设计 2 MLOps 2 基础设施 1 分布式系统 3 分布式架构 2 架构与设计 2 后端架构 5 可观测性 1
使用 Swift 和 SQLite 构建离线向量搜索引擎并以 Chef 实现数据管道自动化 使用 Swift 和 SQLite 构建离线向量搜索引擎并以 Chef 实现数据管道自动化
为一个纯离线的 iOS 应用实现语义搜索，同时要保证用户数据绝对不离开设备，这是我们面临的第一个挑战。传统的方案，无论是调用云端的 Embedding API 还是将查询发送到托管的向量数据库，都直接与项目的核心隐私原则相悖。因此，整个 A
2023-10-27 数据工程
AI、数据科学与大数据 Chef 向量 Swift SQLite
使用 DVC 与 Apache Iceberg 构建 Python 数据湖仓的事务性数据管道 使用 DVC 与 Apache Iceberg 构建 Python 数据湖仓的事务性数据管道
一个典型的周二下午，告警系统开始尖叫。我们一个核心的 Python ETL 作业失败了，这个作业负责将上游服务的 JSON 日志聚合到数据湖的 Parquet 文件中。问题不在于作业失败，这很常见。问题在于它失败在了中间步骤——它已经覆盖了
2023-10-27 数据工程
Python 数据湖与仓库 DVC Apache Iceberg