Production storage review

系统功能与存储盘点

核心持久化是 PostgreSQL 与 OSS。Redis 负责实时协调,另有几类容易漏算的业务副本和运行文件。

统计日期 2026-08-24 环境 生产 方式 只读查询
23.28 GB
OSS 对象数据,2,003,136 个对象
13.84 GB
PostgreSQL 表、索引与 TOAST
41.29 MiB
Redis 已用内存,358 个键
5.0+ GiB
ECS 上容易漏算的业务与运行文件

系统现在承载什么

从用户研究到后台运营,系统已经形成四个相互连接的业务面。

AI 金融研究

对话、金融数据查询、联网检索、多智能体深度研报与可恢复的长任务。

  • SSE 流式输出
  • 大纲与质量审核
  • 图表和章节生成
  • 任务停止与恢复

数据平台

金融、宏观、行业和 Mysteel 指标的目录、导入、版本及查询能力。

  • OSS CSV 与 Parquet
  • 数据 Schema
  • 增量写入与版本
  • DuckDB 查询

工作区与分析

用户文件、研报导出、Data Workspace 和 Agent Workbench 的运行资产。

  • 上传与解析
  • DOCX/PDF/PPTX/HTML
  • 数据分析项目
  • Agent 执行计划

商业化与运营

用户、租户、权限、积分、支付、订阅、内容 Feed、审计和运营后台。

  • 账号与微信身份
  • 支付和订阅
  • 资讯和首页内容
  • 敏感词审计

三层存储模型

PostgreSQL 和 OSS 是权威数据面。Redis 是控制面,不能当作最终业务存储。

DURABLE RELATIONAL
13.84 GB
PostgreSQL / RDS

用户、会话、消息、研报正文、支付、数据目录、版本、运行状态、向量与 LangGraph checkpoint。

业务关系数据的权威源
DURABLE OBJECT
23.28 GB
Aliyun OSS

市场数据、用户上传、图表、研报导出、头像和归档日志。共约 200.3 万对象。

大文件和数据对象的权威源
REALTIME CONTROL
41 MB
Redis

事件回放、租约、锁、验证码、缓存和任务状态。

可过期的实时协调层

OSS 几乎就是市场数据

六个桶合计 23.28 GB。市场数据桶占容量的 94.2%,并形成约 200 万个小对象。

market-data1,995,752 对象
21.93 GB
charts4,422 对象
524.8 MB
uploads1,644 对象
411.4 MB
reports553 对象
384.0 MB
logs752 对象
25.45 MB
avatars13 对象
0.19 MB

数据库由目录和 checkpoint 主导

两类数据合计占 PostgreSQL 的 95.8%。用户、支付和普通业务表反而只占很小部分。

80.5%

数据目录与导入平台,11.14 GB

最大表是 dataset_catalog_assets,约 5.56 GB。数据来自大规模指标目录和多轮导入历史。

2,697,211数据资产
361,026数据 Schema
568,625导入任务
1,543,259目录事件
176,997目录节点
411.9 MB历史备份表
15.3%

LangGraph checkpoint,2.11 GB

用于长研报状态、恢复和图执行中间写入。它与业务表共用 PostgreSQL,不是独立数据库。

119,468checkpoints
348,595writes
104,522blobs
3.2%

对话、研报和工作区,449 MB

包含消息、研报正文、虚拟文件及上传和生成文件的元数据。virtual_files 会直接保存文本正文。

110,965消息
1,383会话
414研报

当前业务数据量

这些数量是业务实体规模,不等同于物理存储空间。

36用户记录
1,305未归档会话
110,965会话消息
170已完成研报
15,354有效虚拟文件
9,368有效生成文件
206外部研究报告,均有向量
5,692Feed 内容
141,294Feed 用户投递
2,727积分流水
19支付订单,3 笔完成
3有效订阅

Redis 很小,但影响实时体验

它存的是短期状态和协调信息。Redis 丢失不会抹掉用户、研报或支付主数据,但会影响在途任务。

41.29

MiB 已用内存,内存上限 2 GiB。

358 个键,其中 323 个有过期时间,当前无 key 驱逐。

流式数据

SSE 事件、断线重放、事件序号和 Stream 消费。当前 28 个 sse_events 键约占 6.77 MB。

任务控制

研报 lease、停止标志、并发闸、Runner 心跳、任务认领、导出任务状态。

安全与认证

验证码、微信 OAuth state、浏览器短期证明、限流计数和一次性票据。

缓存与配置

用户信息缓存、定价配置、账单临时状态、分布式锁和定时扫描锁。

还有四类容易漏算的存储

ECS 本地文件和 LangSmith Trace 会形成真实业务副本,应纳入保留策略与合规范围。

large_tool_results/1.8 GiB505 个超大工具输出文件,可能包含用户查询结果,暂未发现明确自动清理。
data/mysteel_*/3.1 GiBMysteel 全量字典和导入源文件,是市场数据的本地副本。
backend/logs/880 MiB后端应用日志,本地保留后另有 OSS 日志归档。
supervisor logs334 MiB生产进程标准输出和错误日志。
workspace/data/67 MiB189 个本机工作区或历史沙箱 CSV。
conversation_history/28 MiB54 个历史会话 Markdown,当前代码未发现活跃写入路径。

LangSmith 云端 Trace

生产追踪已开启,可能保存用户输入、模型输出、工具返回和运行元数据。容量及保留期需在 LangSmith 后台核实。

K8s / ECI 临时盘

Data Workspace 一次性 Pod 没有持久卷。会话沙箱使用 emptyDir,Pod 删除后数据消失,持久结果必须回写 OSS 或数据库。

浏览器本地存储

保存访问令牌、审核状态、临时草稿、模型选择和界面偏好。容量小,但属于客户端认证和业务状态。

ACR 与云备份

ACR 和镜像缓存保存部署镜像,不含用户主数据。RDS、Redis、ECS 的云备份及快照容量需在阿里云控制台核实。

所以,核心不是 OSS、Redis、数据库三个并列项

权威主存储PostgreSQL 保存关系与正文,OSS 保存对象和大数据。
实时控制层Redis 保存可过期的事件、租约、锁、验证码和缓存。
业务副本与临时层ECS 本地文件、LangSmith、浏览器、K8s/ECI 临时盘。

建议先处理三件事

当前容量还不构成资源危机,但有几处增长和合规问题应尽快建立制度。

清理本地业务副本

给 large_tool_results、workspace/data、conversation_history 和日志设置保留期、归档和自动清理。

控制数据库增长

为 checkpoint、导入历史和目录事件建立清理或分区策略。确认后删除约 411.9 MB 的历史备份表。

补齐外部数据治理

核实 LangSmith Trace 的保留期与脱敏策略,同时登记 RDS、Redis、ECS 快照和 ACR 的备份容量。