数据自动化采集
小于 1 分钟
陈旸老师极客时间《数据分析实战45讲》笔记
有哪些数据源?
- 开放数据源:单位维度(政府、企业、高校)、行业维度(交通、金融、能源等)
- 爬虫抓取:自己写代码(Requests、XPath、Pandas、Selenium、PhantomJS、Puppteteer)、使用第三方抓取工具(火车采集器、八爪鱼、搜集客、)
- 传感器采集:采集设备
- 日志采集:Web服务器采集(httpd、Nginx、Tomcat)、自定义采集(埋点)
注:埋点即在有需要的位置采集相应的信息,进行上报。可以使用自己写代码也可以使用第三方工具。推荐使用第三方工具,比如:友盟、Google Analysis、Talkingdata