全球主机交流论坛

标题: 今天我发现了个能实时监控世界上所有网站流量的办法 [打印本页]

作者: dongzide 时间: 2013-2-19 16:45
标题: 今天我发现了个能实时监控世界上所有网站流量的办法
看到一条WB，一个公司专门做这个，把他们对国内大站，百度腾讯12306等等这类大战，的访问流量信息获取到然后分析得出一些结论，例如今天12306没人上了，明天百度流量跌多少了等等。

我发信问他们怎么做到的，怎么能监控到这些不属于他们的网站的流量和访问信息。

人家回了，说他们是通过直接采用isp上的访问信息统计分析得出数据的。延时一般是6个小时。

==========================

比较奇怪，isp都是中国电信、联通等这种国有大企业，他们服务器上的网站流量信息，一般的商业公司可以随便获取吗？？？

那岂不是泄密？？？百度等大公司能同意？？？

那这些公司能随便获取isp的访问流量信息，我是不是也能啊，花点钱就行？？？

作者: woyo 时间: 2013-2-19 16:46
标题是世界上，正文是国内

作者: dongzide 时间: 2013-2-19 16:47

woyo 发表于 2013-2-19 16:46
标题是世界上，正文是国内

原理一样吧

要监控国外的，那就找国外isp要资料好了

作者: 卡恩 时间: 2013-2-19 16:48
黑掉整个网路
控制所有流量

作者: xiasl 时间: 2013-2-19 16:48
检测域名解析量吧

作者: 随风舞 时间: 2013-2-19 16:49
人家说我逗你玩！！！

作者: 我是人 时间: 2013-2-19 16:50

dongzide 发表于 2013-2-19 16:47
原理一样吧

要监控国外的，那就找国外isp要资料好了

这类的统计和电视节目收视率一样。。。基本上都是抽样的。

作者: dongzide 时间: 2013-2-19 16:50

xiasl 发表于 2013-2-19 16:48
检测域名解析量吧

不清楚具体技术，他们就说是通过isp的信息分析。

反正所有用户访问网络都得通过isp，获取这个信息应该不难。

我奇怪的是这种信息isp可以轻易给别人？？？

那我能要份吗？？？

我真的挺需要的

作者: dongzide 时间: 2013-2-19 16:53

我是人发表于 2013-2-19 16:50
这类的统计和电视节目收视率一样。。。基本上都是抽样的。

是抽样，但他们是先获取到全部信息再抽样吧。

总之我觉得除了这种找isp要访问量的方法貌似没其他方法能获取到不属于你的网站的流量信息了。

我非常需要那些国际大战，谷歌，非死不可，推特，有图比之类的访问流量信息，要实时的，有办法吗？

作者: wormcy 时间: 2013-2-19 16:54
呵呵你信么

作者: ekucn 时间: 2013-2-19 16:59
提示: 作者被禁止或删除内容自动屏蔽

作者: dongzide 时间: 2013-2-19 17:03

ekucn 发表于 2013-2-19 16:59
我发现你每次都发些愚蠢的问题。。。。。他能获取isp数据那又怎么样。。。

你没人脉你没权限你没关系， ...

又不是国企，和人脉有毛关系。

我就是问问，既然有公司可以获得这种技术，说明isp是出卖这种技术的，那其他人获取也不是难事。

作者: ekucn 时间: 2013-2-20 00:03
提示: 作者被禁止或删除内容自动屏蔽

作者: vagaa 时间: 2013-2-20 00:17
除非楼主大喊一声一声！我爸是李刚
ISP同意批准啦。

作者: 恋上秋风 时间: 2013-2-20 02:06
反正我不信

作者: wdlth 时间: 2013-2-20 03:55
ISP解析数据肯定占一部分，还有某些公共DNS比如114也可能卖数据，有的CDN数据也会有，但是所有网站这个明显就夸大了。

作者: dongzide 时间: 2013-2-20 08:40

wdlth 发表于 2013-2-20 03:55
ISP解析数据肯定占一部分，还有某些公共DNS比如114也可能卖数据，有的CDN数据也会有，但是所有网站这个明显 ...

有道理，所有dns服务商理论上都有这种数据，也可以出卖，什么dnspod之流更是。。

但感觉还是全球那十几台根域名服务器资料最全面，因为一般dns只能解析一部分域名，这种根服务器可以解析多有域名吧。

作者: lgsr 时间: 2013-2-20 08:45
抽样调查

作者: mapleaf 时间: 2013-2-20 09:45
跟某信某通有女干情吧

作者: 恋花 时间: 2013-2-20 10:02
不明觉厉

作者: wdlth 时间: 2013-2-20 12:53

dongzide 发表于 2013-2-20 08:40
有道理，所有dns服务商理论上都有这种数据，也可以出卖，什么dnspod之流更是。。

但感觉还是全球那十几 ...

根不会解析域名，只会解析根。而且很多都缓存了，看根还不如不看。

作者: wvidc 时间: 2013-2-20 12:57
随便找个理由搪塞你

作者: gaomanxiang 时间: 2013-2-20 12:58

不错的技术呀！！

作者: dongzide 时间: 2013-2-20 13:37

wdlth 发表于 2013-2-20 12:53
根不会解析域名，只会解析根。而且很多都缓存了，看根还不如不看。

楼上很懂行啊。

我想问下，这种监控某网站流量的方法，除了上面说的监控dns服务器之外有其他方法吗？

在页面放统计js不算。

只是理论上，有没有其他方法，要比较实时的

作者: wdlth 时间: 2013-2-20 13:38
本帖最后由 wdlth 于 2013-2-20 13:39 编辑

dongzide 发表于 2013-2-20 13:37
楼上很懂行啊。

我想问下，这种监控某网站流量的方法，除了上面说的监控dns服务器之外有其他方法吗？

现在都是放beacons了，统计意义不大了。

作者: 天际行星 时间: 2013-2-20 13:57
国外不是有那么多在线调查的站么。。很多应该是做这个相关的

作者: icebin 时间: 2013-2-20 14:55
你要了干嘛

作者: amo 时间: 2013-2-20 16:15

你想干嘛

作者: dongzide 时间: 2013-2-21 11:25

天际行星发表于 2013-2-20 13:57
国外不是有那么多在线调查的站么。。很多应该是做这个相关的

1，数据不详细，我要精确到分钟的
2：数据部实时。我要精确到分钟的

作者: dongzide 时间: 2013-2-21 11:33

amo 发表于 2013-2-20 16:15
你想干嘛

我发现了个靠这个赚钱的办法，海量赚钱。
但找不到实时的数据，没办法

作者: dongzide 时间: 2013-2-21 11:37

wdlth 发表于 2013-2-20 13:38
现在都是放beacons了，统计意义不大了。

搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非死不可，推特之类的，访问量信息，越细越好，最好精确到分钟、秒

作者: 404 时间: 2013-2-21 11:44

dongzide 发表于 2013-2-20 21:37
搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非 ...

我的问题是，就算各级ISP给你数据，你准备投资几个机房来做这种分析?

作者: wdlth 时间: 2013-2-21 13:04
本帖最后由 wdlth 于 2013-2-21 13:08 编辑

dongzide 发表于 2013-2-21 11:37
搜了下，不知道beacons是啥意思，望解答。
我主要想要一些大网站的流量信息，例如谷歌，百度，腾讯qq，非 ...

http://www.seolion.com/how-web-beacons-work/
大网站的数据岂是你能分析的？你是数据挖掘工程师么？
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&passwd=
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&operation=ipcache&auth=
http://163.28.49.4/cgi-bin/cachemgr.cgi?host=localhost&port=3128&user_name=&operation=vm_objects&auth=
给你这个台中大的squid，你分析分析。

作者: dongzide 时间: 2013-2-21 13:16

404 发表于 2013-2-21 11:44
我的问题是，就算各级ISP给你数据，你准备投资几个机房来做这种分析?

有这么复杂么？
http://im.qq.com/online/index.shtml

这qq不是做了

作者: dongzide 时间: 2013-2-21 13:18

wdlth 发表于 2013-2-21 13:04
http://www.seolion.com/how-web-beacons-work/
大网站的数据岂是你能分析的？你是数据挖掘工程师么？
ht ...

，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

要是其他大站也出个这功能就爽了，真正实时

作者: wdlth 时间: 2013-2-21 13:20

dongzide 发表于 2013-2-21 13:18
，其实，我是想要这种的，人类一眼就能看明白的

http://im.qq.com/online/index.shtml

这是QQ在线好不好……再说这个也不是实时的。

作者: 404 时间: 2013-2-21 13:44

dongzide 发表于 2013-2-20 23:16
有这么复杂么？
http://im.qq.com/online/index.shtml

1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发现qq上下(包括超时)线状态的时候向归并服务器(组)发生状态而已, 但是你需要的是挖掘日志
3, 就算这样qq也得延时1分钟出结果

1, ISP不可能给你剥离出你需要的日志., 因为开销太大, 各级ISP raw logs总量可能是pb/秒这个级别, 不说分析，怎么传输想过么.......
2, 假设ISP给你剥离出你需要的。就你看上的那些站, 日志加起来每秒也几十G～几百G这个量吧 , 国内几个重部署hadoop的公司，比如度娘，阿里啊，秒处理量也就在x Gb/s.....

话说不差钱不差人的alexa摸了那么多年都没敢搞的东西，你怎么想得出来.......

作者: dongzide 时间: 2013-2-21 14:01

404 发表于 2013-2-21 13:44
1, 数据是qq自己的, 而且这部分只是统计qq在线
2, 统计qq在线人数只需要那几(十/百/千)组服务器在用户发 ...

看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特为例，我不要推特的访问流量数据了，

我只要监控推特的发帖量，比较精确的，实时的知道推特某分钟、某小时发了多少贴，这个可以得到吧，用自动采集、监控之类的手段，个人也能获取到这种数据吧

作者: dongzide 时间: 2013-2-21 14:02

wdlth 发表于 2013-2-21 13:20
这是QQ在线好不好……再说这个也不是实时的。

作者: wdlth 时间: 2013-2-21 14:04

dongzide 发表于 2013-2-21 14:02
看来这个确实难，其实我也不是真的需要流量信息，我就是想知道网站某时间的热闹程度

那换种说法，以推特 ...

凑热闹的话那你去看alexa就够了

作者: dongzide 时间: 2013-2-21 14:05

wdlth 发表于 2013-2-21 14:04
那你去看alexa就够了

alex不实时啊，我觉得我写程序，每秒钟刷新一下推特，然后判断新增的推文数量就差不多了

作者: wdlth 时间: 2013-2-21 14:11

dongzide 发表于 2013-2-21 14:05
alex不实时啊，我觉得我写程序，每秒钟刷新一下推特，然后判断新增的推文数量就差不多了 ...

老实说连推自己都不知道有多少条发出，大网站的架构根本就弄不了什么实时的，有队列，有事务，POST到推了算发了吧，但是没入库没展示也不算发对不对。

欢迎光临全球主机交流论坛 (https://loc.010206.xyz/)