掘金数据处理平台是一款专业性的电脑财经数据分析软件。提供一站式的数据分析,它可从网络上收集数据,并且还可以对收集来的数据进行全面的分析,让您掌握有有价值的信息!
使用流程
1.先分析网站的网页结构,来配置抓取策略(有全面的流程说明,如不懂参考视频教程)。
2.运行脚本,执行数据处理工作。
数据输出的方式包括:
1. 通过CSV文件输出
EXCEL等编辑软件
大部分数据库软件支持从CSV文件导入
2. 通过程序内置数据库(SQLITE)输出
SQLITEBrowser支持SQLITE数据库SQL语句查询:
http://sqlitebrowser.org/
https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe
支持广泛,有很多选择
3. 通过MYSQL数据库输出(通过官方的MYSQL安装包下载后,直接安装就可以),数据使用
UTF-8的方式来保存。
功能介绍
1、数据分析器(通过各种类型的算法,对数据潜在价值进行挖掘,分析)
2、网络数据收集器(包括自定义网页元素执行脚本功能)
3、数据清理器(针对于收集到数据集中处理,提出其中的关键部分),其中数据清理器,数据分析器会在专用版本中发布。
∨ 展开