1. 竹筠Take说道：

   8月 17, 2016 3:13 上午

   感谢，用心又新的教程

   回复
   1. hi,I'm frank说道：

      8月 17, 2016 3:23 下午

      感谢支持：0

      回复
      1. 竹筠Take说道：

         8月 17, 2016 4:28 下午

         鱼哥，请问，用redis+requests实现分布式的话．最简单的就是主从？slaver从master直接读取redis里的url就好了么？意思是redis链接的时候直接指定远程redis服务器读数据？这方面不太了解，感觉什么redis锁啊什么啊好玄乎啊，鱼哥知道那些git上redis+requests分布式实现的开源项目么ＱＡＱ，打扰你啦，

         回复
         1. hi,I'm frank说道：

            8月 17, 2016 6:04 下午

            是这样，我们从逻辑上区别，redis集群，在对外看来也是一台机器。redis 只是一个存队列库的容器，所有机器然后从里面取自己要跑的队列，这个写起来很快呀，非常简单。

            回复
            1. 竹筠Take说道：

               8月 17, 2016 6:10 下午

               恩，谢谢你啦redis自己的集群讲解看上去好高大上的样子，再加上我半吊子的英语能力，所以总觉得玄乎的慌．麻烦你啦

            2. hi,I'm frank说道：

               8月 17, 2016 6:12 下午

               先不要上集群，你先上单实例模式，如果真要集群的时候在考虑集群。

2. 石经纬说道：

   8月 24, 2016 2:10 下午

   您好,能请教一个问题吗?

   回复
   1. hi,I'm frank说道：

      8月 24, 2016 3:55 下午

      请讲

      回复
3. 石经纬说道：

   8月 25, 2016 4:42 下午

   之前的项目是根据用户需求生成要爬取的url,将url push到redis里,然后python项目将redis列队里的url依次爬取.问题就是列队url多的话 爬取时间过长 用户体验不好. 我的想法是生成url后,python那边直接调java接口,得到url直接解析,不用push到redis里去.这种方法可行不?

   回复
   1. hi,I'm frank说道：

      8月 25, 2016 4:45 下午

      你这么做是要解决什么问题？

      回复
4. 石经纬说道：

   8月 25, 2016 4:48 下午

   之前的爬虫url都是push到redis里面的,如果缓存的url列队过多的话,解析时间过长,用户的体验受到影响.

   回复
5. 石经纬说道：

   8月 25, 2016 4:49 下午

   之前的项目都是基于服务的形式运行的

   回复
   1. hi,I'm frank说道：

      8月 25, 2016 4:53 下午

      缓存和取的速度过慢造成用户体验不好？我想你的耗时最多的应该是直接跑爬虫的时间吧，而且不是这些存和取的过程。

      回复
      1. 石经纬说道：

         8月 25, 2016 5:04 下午

         需求那边可能要的就是一个即时爬虫,用户的需求生成url后,后台能够立马解析返回数据...

         回复
6. 石经纬说道：

   8月 25, 2016 5:11 下午

   生成链接后再用多线程去爬,这种方式应该也是可行的,省去了中间的多余的事务.

   回复
   1. hi,I'm frank说道：

      8月 25, 2016 5:15 下午

      这种及时性的有弊端，一是登录，二是验证码，三是js渲染，总的来说时时性不算特别的高。

      回复
      1. 石经纬说道：

         8月 25, 2016 5:31 下午

         恩恩 项目主要抓取百度等搜索引擎的新闻,不需要登录验证之类的.

         回复
         1. hi,I'm frank说道：

            8月 25, 2016 10:02 下午

            如果是简单的一个reqeusts 过去就可以了，然后将内容组装一下就返回给前端，尽量简单化。

            回复
7. __i1l__说道：

   9月 12, 2016 1:59 上午

   这套教程算是完结了吗？

   回复
   1. hi,I'm frank说道：

      9月 12, 2016 11:41 上午

      还有很多的内容，你想听哪段？

      回复
      1. __i1l__说道：

         9月 12, 2016 11:50 下午

         我想听 scrapy-redis 那段。

         回复
         1. hi,I'm frank说道：

            9月 13, 2016 7:29 下午

            我没用过，不过大致思想都是替换队列。

            回复
         2. 樊樊樊Kai说道：

            12月 12, 2016 6:59 下午

            哎，怎么都在问这个啊，我的项目已经实现了，可以去参考。。。https://github.com/ForkEyes/generic

            回复
            1. mosson说道：

               8月 16, 2017 11:13 上午

               404

8. Class说道：

   11月 21, 2016 5:11 下午

   [调度]可视化的调度架构-Dagobah

   回复
9. hi,I'm frank说道：

   11月 23, 2016 11:37 上午

   没有呀，http://brucedone.com/archives/865，迁移的时候链接可能变了。动手搜搜找的到。

   回复
10. hi,I'm frank说道：

    11月 23, 2016 11:50 上午

    稍微动手就能解决的问题，把我的想的这么小气何必呢。

    回复
11. Class说道：

    11月 23, 2016 5:38 下午

    scrapy-redis +1 资料基本好少.

    回复
    1. hi,I'm frank说道：

       11月 23, 2016 7:01 下午

       我是挑自己感兴趣的玩。

       回复
12. 樊樊樊Kai说道：

    12月 12, 2016 7:00 下午

    鱼哥上次我提的那个问题解决了没？ 我还是不会弄？如果可以我愿意有偿。

    回复
    1. 哈哈说道：

       12月 30, 2016 1:56 下午

       暂时还没有进一步的深入

       回复
13. 独步剑笑说道：

    12月 30, 2016 2:13 下午

    不错，收藏了！

    回复
14. Kevin说道：

    2月 24, 2017 9:23 下午

    感谢。大鱼~

    回复
    1. hi,I'm frank说道：

       2月 27, 2017 10:40 上午

       客气客气

       回复
15. e说道：

    10月 24, 2017 4:32 下午

    

    回复
16. 学习学习说道：

    11月 14, 2018 5:02 下午

    厉害了 学习了

    回复
17. 678说道：

    2月 16, 2022 8:35 下午

    

    回复

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据。