Scrapyd运行流程总结
执行入口入口程序在Scrapyd源代码的setup.py中指定：Github - Scrapyd1234setup_args['entry_points'] = {'console_scripts': [ # 打包后命令执行入口 'scrapyd = scrapyd.scrip
...
《绝对自控》读书笔记
上周读完了美国作家瑞安·霍利迪的《绝对自控》，读完最深刻的就是书中描述“自我”对个人成长、发展的不容忽视的影响。求索路上，严控自我；要谦逊、勤勉、自省，从自我中脱离出来，懂得自我批判，知道自我激励，在个人成长的过程中如何处理“自我”，与自己很好的相处。生活不是为了和其他人较劲，意义不在于拥有的比别人
...
Airflow安装使用
介绍Airflow 是 Airbnb 使用Python开发的用于工作流管理的开源项目，简单说就是管理和调度定时任务，可以替代Linux的crontab。如果你的crontab很多，不好管理，那么airflow对你来说就是救星。它自带简洁的UI，现在 Apache 下做孵化，地址是https://gi
...
Scrapy下载流程解析
对照下面的脑图，理解整个Scrapy下载流程：
首先接着上篇，Engine中注册到事件循环的_next_request_from_scheduler()方法开始。
实际上注册的是_next_request()，但_next_request()中真正执行的是_next_request_from_sc
...
Kubernetes入门
Kubernetes是一个完备的分布式系统支撑平台，具有完备的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力，透明的服务注册和服务发现机制，内建智能负载均衡器，强大的故障发现和自我修复能力，服务滚动升级和在线扩容能力，可扩展的资源和自动调度机制，以及多粒度的资源配额管理能力。所以，
...
Scrapy整体抓取流程
看代码过程中整理的一张思维导图，对理解整个流程有帮助。
从启动示例说起：123456789101112131415import scrapyfrom scrapy.crawler import CrawlerProcessclass MySpider1(scrapy.Spider): # Yo
...
使用Scrapyd部署爬虫
一、概念Scrapyd是可以运行Scrapy爬虫的服务，允许我们部署Scrapy项目并且可以使用Http来控制爬虫。Scrapyd能够管理多个项目，并且每个项目可以有多个版本，但只有最新的版本才是有效的。Scrapyd-client是Scrapyd的客户端，主要提供一种部署Scrapy项目到Scra
...
四种基本的I/O模型
常用的四种IO模型：1）blocking IO（阻塞IO模型）客户端需要等待服务端返回数据，整个过程是串行的
2）non-blocking IO(非阻塞IO)服务端立即相应客户端，数据没有准备好就返回Error，客户端需要轮询服务端获取想要的数据，直到数据准备好并返回
3）IO multiplexi
...
阿里云分布式存储系统的研究与分享
云计算介绍云计算是一种弹性的计算模式，以虚拟化为基础，以网络为中心，为用户提供安全、快速、便捷的数据存储和网络计算服务， 包括所需要的硬件、平台、软件及服务等资源，而提供资源的网络就被称为“云”。达到让用户像使用水、电、煤气等资源一样便捷、高效。服务类型：
IaaS（基础设施即服务）
PaaS（平
...
Linux TC限流
流量控制的一个基本概念是队列(Qdisc)，每个网卡都与一个队列(Qdisc)相联系， 每当内核需要将报文分组从网卡发送出去， 都会首先将该报文分组添加到该网卡所配置的队列中， 由该队列决定报文分组的发送顺序。因此可以说，所有的流量控制都发生在队列中.
在Linux中，流量控制都是通过TC这个工具来
...