Skip to content

重构数据格式从brotli格式改为parquet#14

Merged
kay-ou merged 7 commits intomainfrom
dev
Jan 30, 2026
Merged

重构数据格式从brotli格式改为parquet#14
kay-ou merged 7 commits intomainfrom
dev

Conversation

@kay-ou
Copy link
Owner

@kay-ou kay-ou commented Jan 30, 2026

牺牲一些压缩率,但加快了一些回测速度

kay-ou and others added 7 commits January 11, 2026 20:45
- 将订单对象中的stock属性替换为symbol属性,统一使用symbol进行股票标识
- 更新了批量预加载逻辑中对股票数据的访问方式
- 修改了成交量限制检查和涨跌停限制验证中的股票标识引用
- 调整了持仓管理中的股票代码处理逻辑
- 确保所有相关方法调用都使用新的symbol字段进行一致性处理
- 修改Blotter类中价格更新逻辑,仅在未清仓时更新last_sale_price,
  并添加position存在性检查避免KeyError

- 重构Portfolio类中持仓合并逻辑,改为可变模式直接修改现有position对象,
  提高性能并确保enable_amount和market_value同步更新

- 改进卖出数量验证错误信息格式,移除不必要的括号

- 在卖出操作后同步更新position的enable_amount和market_value字段
use github standard AGPL License text
- 移除DataMerger类及相关CLI命令
- 移除brotli和hashlib依赖
- 添加pandas依赖用于版本信息保存
- 简化数据包解包工具描述

perf(ptrade): 复权因子缓存改用Parquet格式存储

- 将复权因子缓存从BR格式改为Parquet格式
- 新增_adg_cache_to_parquet和_parquet_to_adj_cache辅助函数
- 优化缓存加载和保存性能
- 移除pickle和brotli依赖

refactor(ptrade): 优化API异常处理和复权计算性能

- 改进异常处理,使用具体异常类型替代通用except
- 实现向量化复权计算,提升price_history性能
- 添加OrderProcessor延迟初始化机制
- 预解析日期列优化get_Ashares性能

chore(build): 更新.gitignore配置

- 添加*.gz文件类型忽略规则
- 修改data目录忽略规则为data*/
移除了config.yaml文件中的Brotli相关配置项,包括cache_size和compression_quality设置,
以优化系统配置结构。
- 从所有工作流中移除libhdf5-dev系统依赖安装
- 更新项目版本号从2.0.0到2.1.0
- 修改README中版本显示和系统依赖说明
- 更新数据目录结构说明,移除对PTrade数据格式的具体引用
@kay-ou kay-ou merged commit fa97403 into main Jan 30, 2026
5 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant