今天我发现了个能实时监控世界上所有网站流量的办法

dongzide

wdlth 发表于 2013-2-20 13:38
现在都是放beacons了，统计意义不大了。

搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非死不可，推特之类的，访问量信息，越细越好，最好精确到分钟、秒

404

dongzide 发表于 2013-2-20 21:37
搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非 ...

我的问题是， 就算各级ISP给你数据， 你准备投资几个机房来做这种分析?

wdlth

dongzide 发表于 2013-2-21 11:37
搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非 ...

http://www.seolion.com/how-web-beacons-work/
大网站的数据岂是你能分析的？你是数据挖掘工程师么？
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&passwd=
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&operation=ipcache&auth=
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&operation=vm_objects&auth=
给你这个台中大的squid，你分析分析。

dongzide

404 发表于 2013-2-21 11:44
我的问题是， 就算各级ISP给你数据， 你准备投资几个机房来做这种分析?

有这么复杂么？
http://im.qq.com/online/index.shtml

这qq不是做了

dongzide

wdlth 发表于 2013-2-21 13:04
http://www.seolion.com/how-web-beacons-work/
大网站的数据岂是你能分析的？你是数据挖掘工程师么？
ht ...

，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

要是其他大站也出个这功能就爽了，真正实时

wdlth

dongzide 发表于 2013-2-21 13:18
，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

这是QQ在线好不好……再说这个也不是实时的。

404

dongzide 发表于 2013-2-20 23:16
有这么复杂么？
http://im.qq.com/online/index.shtml

1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发现qq上下(包括超时)线状态的时候向归并服务器(组)发生状态而已, 但是你需要的是挖掘日志
3, 就算这样qq也得延时1分钟出结果


1, ISP不可能给你剥离出你需要的日志., 因为开销太大,  各级ISP raw logs总量可能是pb/秒这个级别, 不说分析， 怎么传输想过么.......
2, 假设ISP给你剥离出你需要的。  就你看上的那些站, 日志加起来每秒也几十G～几百G这个量吧 , 国内几个重部署hadoop的公司， 比如度娘，阿里啊， 秒处理量也就在x Gb/s.....


话说不差钱不差人的alexa摸了那么多年都没敢搞的东西， 你怎么想得出来.......

dongzide

404 发表于 2013-2-21 13:44
1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发 ...

看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特为例，我不要推特的访问流量数据了，

我只要监控推特的发帖量，比较精确的，实时的知道推特某分钟、某小时发了多少贴，这个可以得到吧，用自动采集、监控之类的手段，个人也能获取到这种数据吧

dongzide

wdlth 发表于 2013-2-21 13:20
这是QQ在线好不好……再说这个也不是实时的。

看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特为例，我不要推特的访问流量数据了，

我只要监控推特的发帖量，比较精确的，实时的知道推特某分钟、某小时发了多少贴，这个可以得到吧，用自动采集、监控之类的手段，个人也能获取到这种数据吧

wdlth

dongzide 发表于 2013-2-21 14:02
看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特 ...

凑热闹的话那你去看alexa就够了