http采集远程数据,增加缓存功能

发布:2018-09-07 21:58   点击:14次   回复:0

贴心猫:http采集远程数据,增加缓存功能; (在下一版本v4.4提现)

代码


    comHttp::setCache(30); // 缓存30分钟

    $url = "http://imcat.txjia.com/chn.php?news-n1012";
    $data = comHttp::curlCrawl($url);
    $url = "http://imcat.txjia.com/chn.php?news-n1014";
    $data = comHttp::socketCrawl($url);
    $url = "http://imcat.txjia.com/chn.php?news-n1022";
    $data = comHttp::fileCrawl($url);

    $url = 'https://www.baidu.com/s?ie=utf-8&f=8&wd=php';
    comHttp::doGet($url);
    $url = 'https://linzhi.haofang.net/sale/a2467-b27128-c2-e3-f2/';
    comHttp::doGet($url);
    $url = 'http://auto.08cms.com/index.php?caid=1&ccid1=167&addno=2&jiebei=12&searchword=%B6%AB';
    comHttp::doGet($url);

http采集数据,缓存作用:

  1. 采集初始调试阶段;总要不断的修改代码,调试... 如果不缓存,每次刷新调试,都要等待获取远程数据,明显卡一下; 而且有些站,因为不断采集被封ip(如fang.com)[我就确实遇到过]

  2. 有些接口,限制调用频率(如好房通,限制3min调用一次) 你每次修改代码调试,难道要等3min???

  3. 呵呵,节外生枝(广告)
    • 在后续不久的版本:贴心猫 会增加:好房通(二手/出租)扩展!
    • 我的python辅助系统:微爬(Wepy),首先使用了采集缓存,思想从那里沿用过来的! 微爬(Wepy): http://imcat.txjia.com/chn.php?topic.2018-3j-g9b1
状态:开放 Makedown 有用   bug编号: ---
回复(0条)   >>我来回复 回复列表

关于 GitHub 导航 部门 反馈

提示:`/chn.php`入口数据仅为演示功能,不构成任何交易凭证,也不承担相关风险和责任!

Copyright © 2011-2018 xxxxx.com All rights reserved. 粤ICP备07020797号.

Done:310.949/86.538(ms); 6(queries)/2.407(MB); Tpl:faqs/detail; Upd:2018-10-20 19:42:25