今天我发现了个能实时监控世界上所有网站流量的办法

dongzide

看到一条WB，一个公司专门做这个，把他们对国内大站，百度腾讯12306等等这类大战，的访问流量信息获取到然后分析得出一些结论，例如今天12306没人上了，明天百度流量跌多少了等等。

我发信问他们怎么做到的，怎么能监控到这些不属于他们的网站的流量和访问信息。

人家回了，说他们是通过直接采用isp上的访问信息统计分析得出数据的。延时一般是6个小时。

==========================

比较奇怪，isp都是中国电信、联通等这种国有大企业，他们服务器上的网站流量信息，一般的商业公司可以随便获取吗？？？

那岂不是泄密？？？百度等大公司能同意？？？

那这些公司能随便获取isp的访问流量信息，我是不是也能啊，花点钱就行？？？

wdlth

dongzide 发表于 2013-2-21 14:05
alex不实时啊，我觉得我写程序，每秒钟刷新一下推特，然后判断新增的推文数量就差不多了 ...

老实说连推自己都不知道有多少条发出，大网站的架构根本就弄不了什么实时的，有队列，有事务，POST到推了算发了吧，但是没入库没展示也不算发对不对。

dongzide

wdlth 发表于 2013-2-21 14:04
那你去看alexa就够了

alex不实时啊，我觉得我写程序，每秒钟刷新一下推特，然后判断新增的推文数量就差不多了

wdlth

dongzide 发表于 2013-2-21 14:02
看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特 ...

凑热闹的话那你去看alexa就够了

dongzide

wdlth 发表于 2013-2-21 13:20
这是QQ在线好不好……再说这个也不是实时的。

看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特为例，我不要推特的访问流量数据了，

我只要监控推特的发帖量，比较精确的，实时的知道推特某分钟、某小时发了多少贴，这个可以得到吧，用自动采集、监控之类的手段，个人也能获取到这种数据吧

dongzide

404 发表于 2013-2-21 13:44
1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发 ...

看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特为例，我不要推特的访问流量数据了，

我只要监控推特的发帖量，比较精确的，实时的知道推特某分钟、某小时发了多少贴，这个可以得到吧，用自动采集、监控之类的手段，个人也能获取到这种数据吧

404

dongzide 发表于 2013-2-20 23:16
有这么复杂么？
http://im.qq.com/online/index.shtml

1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发现qq上下(包括超时)线状态的时候向归并服务器(组)发生状态而已, 但是你需要的是挖掘日志
3, 就算这样qq也得延时1分钟出结果


1, ISP不可能给你剥离出你需要的日志., 因为开销太大,  各级ISP raw logs总量可能是pb/秒这个级别, 不说分析， 怎么传输想过么.......
2, 假设ISP给你剥离出你需要的。  就你看上的那些站, 日志加起来每秒也几十G～几百G这个量吧 , 国内几个重部署hadoop的公司， 比如度娘，阿里啊， 秒处理量也就在x Gb/s.....


话说不差钱不差人的alexa摸了那么多年都没敢搞的东西， 你怎么想得出来.......

wdlth

dongzide 发表于 2013-2-21 13:18
，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

这是QQ在线好不好……再说这个也不是实时的。

dongzide

wdlth 发表于 2013-2-21 13:04
http://www.seolion.com/how-web-beacons-work/
大网站的数据岂是你能分析的？你是数据挖掘工程师么？
ht ...

，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

要是其他大站也出个这功能就爽了，真正实时

dongzide

404 发表于 2013-2-21 11:44
我的问题是， 就算各级ISP给你数据， 你准备投资几个机房来做这种分析?

有这么复杂么？
http://im.qq.com/online/index.shtml

这qq不是做了