Skip to content
/ zvt Public

Stock Market Data Fetching Project(US/China)

License

Notifications You must be signed in to change notification settings

doncat99/zvt

Repository files navigation

github image image image Build Status codecov.io HitCount

Read this in other languages: English.

ZVT 源項目地址:https://github.com/zvtvz/zvt

本项目改进点包括:

  • 增加postgresql数据库支持,允许远程数据访问,实现微服务器数据爬虫与GPU模型训练工作站逻辑分离。
  • 统一http访问入口,增加Session与请求重试逻辑(后续可通过RxPy实现响应式编程的异步模式)。
  • 增加多进程数据请求逻辑,允许数据并发请求,加快数据获取。
  • 增加数据爬取进度展示。
  • 增加joinquant账号切换功能 (被封号,代码保留但注释了,Todo:Mac地址替换和ip池)。
  • 增加log信息从控制台输出改为写文件记录。
  • 增加美股数据拉取功能(分库分表)。
  • 增加不同区域股市时区功能。
  • 修正增量数据请求的计算逻辑(原作者的 evaluate_start_end_size_timestamps() 有较大逻辑漏洞,导致重复请求较多数据)。
  • 修正800w单表数据下query.all()的数据库内存缓存溢出改写文件问题(增加window_query功能)。
  • 修正一些逻辑漏洞。

为管控界面信息输出,需要对jqdatasdk项目进行部分修改,详见:https://github.com/doncat99/jqdatasdk 为加速数据下载体验,需要对yfinance项目进行部分修改,详见:https://github.com/doncat99/yfinance

python3.8在多进程处理上有较大改动与提升,建议使用python 3.8版本运行本项目。

界面如图:

About

Stock Market Data Fetching Project(US/China)

Topics

Resources

License

Code of conduct

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages