全球主机交流论坛

标题: 请教下这种网页如何获取源代码，要用来采集 [打印本页]
作者: 蓝洛水深    时间: 2015-7-17 11:26
标题: 请教下这种网页如何获取源代码，要用来采集
本帖最后由 蓝洛水深 于 2015-7-17 11:33 编辑

(, 下载次数: 0)

Flash: http://www.lpsggzy.com/Template/list.html?module_class=4A&inf_type=4A1
想采集gov的招标信息，但是获取不了源码，求教下各位前辈，给点思路。谢谢！

打电话请教过别的公司，他们之前做爬虫，很多政府网站都是JS，不能获取，最后是请了广州的一家公司帮忙协助，但具体怎么弄的没有明说，还请各位大神不吝赐教！感谢！
作者: 有容乃大    时间: 2015-7-17 12:23
火车头不可以么？
作者: 蓝洛水深    时间: 2015-7-17 12:40
有容乃大 发表于 2015-7-17 12:23
火车头不可以么？

- - 不知道怎么表述，你右键查看源代码基本上没内容，机器人也识别不了
作者: Meiam    时间: 2015-7-17 12:41
  1. POST http://www.lpsggzy.com/www/ajax_list.php HTTP/1.1
  2. Accept: */*
  3. Content-Type: application/x-www-form-urlencoded
  4. X_REQUESTED_WITH: XMLHttpRequest
  5. X-REQUESTED-WITH: XMLHttpRequest
  6. Referer: http://www.lpsggzy.com/Template/list.html?module_class=4A&inf_type=4A1
  7. Accept-Language: zh-cn
  8. Accept-Encoding: gzip, deflate
  9. User-Agent: Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
  10. Host: www.lpsggzy.com
  11. Content-Length: 60
  12. DNT: 1
  13. Connection: Keep-Alive
  14. Pragma: no-cache

  16. module_class=4A&inf_type=4A1&titlelen=60&pageno=1&row_num=12
  17. HTTP/1.1 200 OK
  18. Date: Fri, 17 Jul 2015 04:54:52 GMT
  19. Server: Apache/2.4.9 (Win32) mod_fcgid/2.3.9
  20. X-Powered-By: PHP/5.4.28
  21. Keep-Alive: timeout=5, max=98
  22. Connection: Keep-Alive
  23. Transfer-Encoding: chunked
  24. Content-Type: text/html; charset=UTF-8

  26. 235a
  27. {"con":" <li><span>2015-07-16<\/span><a title="\u5927\u6cb3\u7ecf\u6d4e\u5f00\u53d1\u533a\u5929\u6e56\u5357\u8def\u5efa\u8bbe\u5de5\u7a0b\u8bbe\u8ba1\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002352">\u5927\u6cb3\u7ecf\u6d4e\u5f00\u53d1\u533a\u5929\u6e56\u5357\u8def\u5efa\u8bbe\u5de5\u7a0b\u8bbe\u8ba1\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-15<\/span><a title="\u6c34\u57ce\u53bf\u5357\u5f00\u81f3\u8463\u5730\u516c\u8def\u9752\u6797\u6bb5\u6539\u6269\u5efa\u9879\u76ee\u65bd\u5de5\u62db\u6807\uff08\u4e8c\u6b21\uff09\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002350">\u6c34\u57ce\u53bf\u5357\u5f00\u81f3\u8463\u5730\u516c\u8def\u9752\u6797\u6bb5\u6539\u6269\u5efa\u9879\u76ee\u65bd\u5de5\u62db\u6807\uff08\u4e8c\u6b21\uff09\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-15<\/span><a title="\u6c34\u57ce\u53bf\u5357\u5f00\u4e61\u5357\u5f00\u81f3\u53d1\u4ef2\u516c\u8def\u6539\u9020\u5de5\u7a0b\u65bd\u5de5\u62db\u6807\uff08\u4e8c\u6b21\uff09\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002348">\u6c34\u57ce\u53bf\u5357\u5f00\u4e61\u5357\u5f00\u81f3\u53d1\u4ef2\u516c\u8def\u6539\u9020\u5de5\u7a0b\u65bd\u5de5\u62db\u6807\uff08\u4e8c\u6b21\uff09\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-15<\/span><a title="\u6c34\u57ce\u53bf\u82b1\u560e\u81f3\u7f57\u62d6\u8c37\u901a\u6751\u6cb9\u8def\u5efa\u8bbe\u9879\u76ee (\u4e8c\u6b21)\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002349">\u6c34\u57ce\u53bf\u82b1\u560e\u81f3\u7f57\u62d6\u8c37\u901a\u6751\u6cb9\u8def\u5efa\u8bbe\u9879\u76ee (\u4e8c\u6b21)\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-13<\/span><a title="2015\u5e74\u548c2016\u5e74\u7b2c\u516d\u6279\u4e2d\u592e\u8d22\u653f\u5c0f\u578b\u519c\u7530\u201c\u4e94\u5c0f\u201d\u6c34\u5229\u5de5\u7a0b\u8bbe\u8ba1 (\u4e8c\u6b21)(\u4e8c\u6b21\u62db\u6807)\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002342">2015\u5e74\u548c2016\u5e74\u7b2c\u516d\u6279\u4e2d\u592e\u8d22\u653f\u5c0f\u578b\u519c\u7530\u201c\u4e94\u5c0f\u201d\u6c34\u5229\u5de5\u7a0b\u8bbe\u8ba1 (\u4e8c\u6b21)(\u4e8c\u6b21\u62db\u6807)\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-13<\/span><a title="\u76d8\u53bf2015\u5e74\u9a6c\u573a\u4e61\u3001\u65e7\u8425\u4e61\u7b4914\u4e2a\u4e61\u954752\u6761491.51\u516c\u91cc\u901a\u6751\u6ca5\u9752\uff08\u6c34\u6ce5\uff09\u8def\u5efa\u8bbe\u5de5\u7a0b\u6295\u8d44\u65bd\u5de5\u603b\u627f\u5305(\u4e8c\u6b21\u62db\u6807)..." \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002341">\u76d8\u53bf2015\u5e74\u9a6c\u573a\u4e61\u3001\u65e7\u8425\u4e61\u7b4914\u4e2a\u4e61\u954752\u6761491.51\u516c\u91cc\u901a\u6751\u6ca5\u9752\uff08\u6c34\u6ce5\uff09\u8def\u5efa\u8bbe\u5de5\u7a0b\u6295\u8d44\u65bd\u5de5\u603b\u627f\u5305(\u4e8c\u6b21\u62db\u6807)...<\/a><\/li> <li><span>2015-07-10<\/span><a title="\u516d\u76d8\u6c34\u5e08\u8303\u5b66\u9662\u6559\u804c\u5de5\u516c\u79df\u623f\u5efa\u8bbe\u9879\u76ee\uff08\u4e8c\u671f\uff09\u7535\u68af\u62db\u6807\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002308">\u516d\u76d8\u6c34\u5e08\u8303\u5b66\u9662\u6559\u804c\u5de5\u516c\u79df\u623f\u5efa\u8bbe\u9879\u76ee\uff08\u4e8c\u671f\uff09\u7535\u68af\u62db\u6807\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-10<\/span><a title="\u7389\u820d\u6d77\u576a\u5f5d\u65cf\u6587\u5316\u5c0f\u9547\u571f\u53f8\u5e84\u56ed\u5efa\u8bbe\u9879\u76ee\u8bbe\u8ba1\u62db\u6807\u4e8c\u6b21\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002318">\u7389\u820d\u6d77\u576a\u5f5d\u65cf\u6587\u5316\u5c0f\u9547\u571f\u53f8\u5e84\u56ed\u5efa\u8bbe\u9879\u76ee\u8bbe\u8ba1\u62db\u6807\u4e8c\u6b21\u516c\u544a<\/a><\/li> <li><span>2015-07-10<\/span><a title="\u7389\u820d\u6d77\u576a\u5f5d\u65cf\u6587\u5316\u5c0f\u9547\u571f\u53f8\u5e84\u56ed\u5efa\u8bbe\u9879\u76ee\u52d8\u5bdf\u62db\u6807\u4e8c\u6b21\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002317">\u7389\u820d\u6d77\u576a\u5f5d\u65cf\u6587\u5316\u5c0f\u9547\u571f\u53f8\u5e84\u56ed\u5efa\u8bbe\u9879\u76ee\u52d8\u5bdf\u62db\u6807\u4e8c\u6b21\u516c\u544a<\/a><\/li> <li><span>2015-07-08<\/span><a title="\u516d\u76d8\u6c34\u5e02\u949f\u5c71\u533a\u9526\u745e\u82d1\u4e00\u671f\u5de5\u7a0b\u76d1\u7406\u62db\u6807\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002312">\u516d\u76d8\u6c34\u5e02\u949f\u5c71\u533a\u9526\u745e\u82d1\u4e00\u671f\u5de5\u7a0b\u76d1\u7406\u62db\u6807\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-08<\/span><a title="\u516d\u76d8\u6c34\u5e02\u949f\u5c71\u533a\u9526\u745e\u82d1\u4e00\u671f\u5de5\u7a0b\u65bd\u5de5\u62db\u6807\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002311">\u516d\u76d8\u6c34\u5e02\u949f\u5c71\u533a\u9526\u745e\u82d1\u4e00\u671f\u5de5\u7a0b\u65bd\u5de5\u62db\u6807\u62db\u6807\u516c\u544a<\/a><\/li> <li><span>2015-07-08<\/span><a title="\u4e25\u5bb6\u5be8\u519c\u6c11\u96c6\u4e2d\u4f4f\u623f\u5b89\u7f6e\u9879\u76ee\u4e8c\u671f\u5de5\u7a0b\u5b89\u7f6e\u623f\u5efa\u8bbe\u62db\u6807\u516c\u544a" \r\n\t\t\t\t\thref="\/Template\/content.html?module_class=4A&inf_type=4A1&list_id=2INF1500002310">\u4e25\u5bb6\u5be8\u519c\u6c11\u96c6\u4e2d\u4f4f\u623f\u5b89\u7f6e\u9879\u76ee\u4e8c\u671f\u5de5\u7a0b\u5b89\u7f6e\u623f\u5efa\u8bbe\u62db\u6807\u516c\u544a<\/a><\/li>","pagenumber":"<ul><li>\u5171<font style="color:red;">760<\/font>\u6761\u4fe1\u606f&nbsp;&nbsp;\u6bcf\u9875<font style="color:red;">12<\/font>\u6761&nbsp;&nbsp;\u5f53\u524d<font style="color:red;">1<\/font>\/<font style="color:red;">64<\/font>\u9875<\/li><li style='color:#eee'>\u7b2c\u4e00\u9875<\/li><li style='color:#eee'>\u4e0a\u4e00\u9875<\/li><li><a href='javascript:change_page(2)' >\u4e0b\u4e00\u9875<\/a><\/li><li><a href='javascript:change_page(64)'>\u672b\u4e00\u9875<\/a><\/li><li><select onchange ='change_page(this.value)'><option value=1>\u7b2c1\u9875<\/option><option value=2>\u7b2c2\u9875<\/option><option value=3>\u7b2c3\u9875<\/option><option value=4>\u7b2c4\u9875<\/option><option value=5>\u7b2c5\u9875<\/option><option value=6>\u7b2c6\u9875<\/option><option value=7>\u7b2c7\u9875<\/option><option value=8>\u7b2c8\u9875<\/option><option value=9>\u7b2c9\u9875<\/option><option value=10>\u7b2c10\u9875<\/option><option value=11>\u7b2c11\u9875<\/option><option value=12>\u7b2c12\u9875<\/option><option value=13>\u7b2c13\u9875<\/option><option value=14>\u7b2c14\u9875<\/option><option value=15>\u7b2c15\u9875<\/option><option value=16>\u7b2c16\u9875<\/option><option value=17>\u7b2c17\u9875<\/option><option value=18>\u7b2c18\u9875<\/option><option value=19>\u7b2c19\u9875<\/option><option value=20>\u7b2c20\u9875<\/option><option value=21>\u7b2c21\u9875<\/option><option value=22>\u7b2c22\u9875<\/option><option value=23>\u7b2c23\u9875<\/option><option value=24>\u7b2c24\u9875<\/option><option value=25>\u7b2c25\u9875<\/option><option value=26>\u7b2c26\u9875<\/option><option value=27>\u7b2c27\u9875<\/option><option value=28>\u7b2c28\u9875<\/option><option value=29>\u7b2c29\u9875<\/option><option value=30>\u7b2c30\u9875<\/option><option value=31>\u7b2c31\u9875<\/option><option value=32>\u7b2c32\u9875<\/option><option value=33>\u7b2c33\u9875<\/option><option value=34>\u7b2c34\u9875<\/option><option value=35>\u7b2c35\u9875<\/option><option value=36>\u7b2c36\u9875<\/option><option value=37>\u7b2c37\u9875<\/option><option value=38>\u7b2c38\u9875<\/option><option value=39>\u7b2c39\u9875<\/option><option value=40>\u7b2c40\u9875<\/option><option value=41>\u7b2c41\u9875<\/option><option value=42>\u7b2c42\u9875<\/option><option value=43>\u7b2c43\u9875<\/option><option value=44>\u7b2c44\u9875<\/option><option value=45>\u7b2c45\u9875<\/option><option value=46>\u7b2c46\u9875<\/option><option value=47>\u7b2c47\u9875<\/option><option value=48>\u7b2c48\u9875<\/option><option value=49>\u7b2c49\u9875<\/option><option value=50>\u7b2c50\u9875<\/option><option value=51>\u7b2c51\u9875<\/option><option value=52>\u7b2c52\u9875<\/option><option value=53>\u7b2c53\u9875<\/option><option value=54>\u7b2c54\u9875<\/option><option value=55>\u7b2c55\u9875<\/option><option value=56>\u7b2c56\u9875<\/option><option value=57>\u7b2c57\u9875<\/option><option value=58>\u7b2c58\u9875<\/option><option value=59>\u7b2c59\u9875<\/option><option value=60>\u7b2c60\u9875<\/option><option value=61>\u7b2c61\u9875<\/option><option value=62>\u7b2c62\u9875<\/option><option value=63>\u7b2c63\u9875<\/option><option value=64>\u7b2c64\u9875<\/option><\/select><\/li><\/ul>"}
  28. 0

复制代码



只能帮你到这里了
作者: SKIDROW    时间: 2015-7-17 13:24
Notice: Undefined offset: 0 in E:\phpserver\pss080a5202\www\ajax_content.php on line 45
我只能帮你到这里了
作者: sun2008    时间: 2015-7-17 16:32
我只能帮你到这里了
作者: 蓝洛水深    时间: 2015-7-17 17:00
Meiam 发表于 2015-7-17 12:41
只能帮你到这里了

谢谢！



欢迎光临 全球主机交流论坛 (https://loc.010206.xyz/) Powered by Discuz! X3.4