本文共 2104 字,大约阅读时间需要 7 分钟。
1654715-1754715 数据下载
2017年3月15日10时49分33秒
早晨8:06下载了数据。
不到三个小时,完成了下载的任务。
**************************************************
2017年3月15日10时49分57秒
第二步,准备用filelocation软件初步清洗。一下。
今天,不小心看到了这个软件,一下子,matlab不用编程了。
**************************************************
2017年3月16日11时03分28秒
早晨6点多,就好了。
**************************************************
2017年3月20日14时32分23秒
再次下载一些数据。
1000000--1654715
下载这些数据。
**************************************************
2017年3月20日15时39分18秒
提取字数的研究
(中医里面讲,望闻问切,其实可能会从一些外部的特征上面,找到规律。)
第二种办法,采有时间切片研究。 金融数学里面有一个这样的研究。可以从中研究一下。
前一时间,看的一个研究。能否参考这个研究。
**************************************************
2017年3月20日17时08分22秒
由于担心研究的数据量不足,又重新下载数据。看来,以后,下载数据时,不能手软。
**************************************************
2017年3月21日08时52分39秒
今天,突然,发现了可以同时,运行多个爬虫。
**************************************************
2017年3月23日11时04分34秒
编程完毕,将文件提取成功。
**************************************************
2017年3月23日11时17分24秒
下面的工作,看一下,这2万条数据是否够用。
先提取一下数据,看一下每个文件的回复量是多少。
**************************************************
2017年3月26日12时20分02秒
下载完所有的数据,并且,提取的数据。文件名+19条相关的数据。
**************************************************
2017年3月27日09时01分04秒
修正了pachong 直接下载军事广角。
**************************************************
2017年3月27日09时01分41秒
到目前为止,爬虫的事情,全部处理完毕。
**************************************************
2017年3月27日09时10分16秒
爬虫的功能,更新了一下。
**************************************************
2017年3月27日09时50分02秒
可以进入第二步大项的工作,下载,回复量,点击量大的文献,从中,寻找规律。
**************************************************
2017年3月27日15时22分27秒
artid 就是文件名,所以,不用考虑,这个代码。
上次修改的代码是因为,我忘记了,这个代码中,其实已经包含了这个数据。
下面,就是下载一部分,验证一下,文字,如果有炒作,则可能是图形方式不同。
**************************************************
2017年3月27日15时41分01秒
首先,我们会想到的是,利用点击数量来说明是热帖。但是,这个爬虫抓不到这个数据。如果服务器上面,能得到这个数据,可能会有用。如果,非要用爬虫,也可以,相当于每秒钟,抓一个快照。(这是以后可以研究的内容。)
由于,人们浏览BBS时,如果想顶帖,则一定要注意一下。
**************************************************
2017年3月28日11时10分43秒
准备提取,数据。目前,电子表格,不能用了。超过了范围。
2017年4月2日09时59分16秒
如果能识别出炒作的帖子来,就可以再次研究 炒作帖子出现的规律。
非常漏骨的炒作,可以已经删除了,现在就是从中,找到不漏骨的炒作 。
**************************************************
2017年4月4日07时45分20秒
145430 零点的帖子算哪一天的?
这是需要解决的问题。
转载地址:http://hftnx.baihongyu.com/