大鱼的鱼塘

  • 所有
  • 爬虫
  • linux
  • .net
  • 杂记
    • 分享
  • 关于我
linux

[python基础]关于包,类,模块的那些事儿

在理解python的包,类,模块之前,我一直是将他类比为dll,C#的类,命名空间的这种参照,这其实和C#还是存在差异的,我们先从宏观上来看这些单位.   一,类 关于类的定义出现在各个语言之中,在OOP中几乎…

十二月 9, 2015 0 Comments 1,155 Views 0 Times 阅读全文
linux

[python IDE] 舒服的pycharm设置

  个人使用的IDE有国产的ulipad,sublime text 3 ,或者vs集成下的,不过讲到好用跨平台,还真是只有pycharm 写python最舒服,一个是因为有社区版,免费,不存在版权问题,另外跨平…

十二月 8, 2015 0 Comments 5,011 Views 2 Times 阅读全文
linux

[python基础]关于中文编码和解码那点事儿

我们在用python处理中文的时候,或多或少会遇到这样一些错误   常见错误1: [crayon-5adae5f6bfe2f331851597/] 常见错误2: [crayon-5adae5f6bfe37742…

十二月 3, 2015 0 Comments 2,694 Views 1 Times 阅读全文
linux

[python基础]关于装饰器

在面试的时候,被问到装饰器,在用的最多的时候就@classmethod ,@staticmethod,开口胡乱回答想这和C#的static public 关键字是不是一样的,等面试回来一看,哇,原来是这样,真佩服我当时厚…

十二月 2, 2015 0 Comments 1,301 Views 0 Times 阅读全文
linux

从.net转型,聊聊最近一些面试,薪资和想法

   上一个星期,一篇名为《.net估计要写在你手里了》几乎点燃了整个园子,有人群情激愤了,有人点赞的,有人上去打算喷博主个体无完肤的,总之,这篇博客很成功的引起一些.net 从业者的思考,也包括我。…

十二月 1, 2015 1 Comments 1,144 Views 2 Times 阅读全文
linux

(9)分布式下的爬虫Scrapy应该如何做-关于ajax抓取的处理(1)

转载请注明出处:http://www.cnblogs.com/codefish/p/4993809.html   最近在群里频繁的被问到ajax和js的处理问题,我们都知道,现在很多的页面都是用动态加载的技术,…

十一月 25, 2015 4 Comments 13,048 Views 7 Times 阅读全文
linux

数学之美--关于图论引申出来的爬虫构想

 转载请注明出处:http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前,我一直认为是简单的对单一网站的采集,无非就是对于一个域名内定点的数据抓取而已,2012年买了…

十一月 17, 2015 0 Comments 1,794 Views 0 Times 阅读全文
linux

(8)分布式下的爬虫Scrapy应该如何做-图片下载(源码放送)

转载主注明出处:http://www.cnblogs.com/codefish/p/4968260.html   在爬虫中,我们遇到比较多需求就是文件下载以及图片下载,在其它的语言或者框架中,我们可能在经过数据…

十一月 16, 2015 0 Comments 3,133 Views 3 Times 阅读全文
linux

【转】Bloom Filter布隆过滤器的概念和原理

转自:http://blog.csdn.net/jiaomeng/article/details/1495500     之前看数学之美丽,里面有提到布隆过滤器的过滤垃圾邮件,感觉到何其的牛,竟然有这…

十一月 13, 2015 0 Comments 1,253 Views 0 Times 阅读全文
linux

【转】Python中的GIL、多进程和多线程

转自:http://lesliezhu.github.io/public/2015-04-20-python-multi-process-thread.html 目录 1. GIL(Global Interpretor …

十一月 13, 2015 0 Comments 1,341 Views 0 Times 阅读全文
  • «
  • <
  • 2
  • 3
  • 4
  • 5
  • >
  • »

搜索内容

近期更新

  • [tmux] version 2.1 存在缓存bug 三月 20, 2018
  • [工程] python下的测试利器pytest 三月 3, 2018
  • 29之前,29之后 二月 10, 2018
  • [可视化抓取]portia2.0尝鲜体验以及自动化畅想-数据存储入mongodb 十月 9, 2017
  • [经验]如何优雅的在docker下断点调试debug 九月 28, 2017

近期评论

  • [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘发表在《[渲染利器]Google官方出品的js渲染环境》
  • [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘发表在《(13)分布式下的爬虫Scrapy应该如何做-分布式架构》
  • [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘发表在《(7)分布式下的爬虫Scrapy应该如何做-关于伪装和防Ban的那点事儿》
  • [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘发表在《(2)分布式下的爬虫Scrapy应该如何做-关于对Scrapy的反思和核心对象的介绍》
  • [置顶]scrapy爬虫教程导航 - 大鱼的鱼塘发表在《scrapy下的一些常见错误处理》

文章归档

友情链接

  • 懒执事
  • 技术栈
  • 灯塔水母
  • 烂笔头
  • 网站运营培训

好用工具

  • 代理IP

Copyright 2018 大鱼的鱼塘. All Rights Reserved.
Theme Kratos made by Vtrois
粤ICP备15115182号-1