本書的基本框架分為八個項(xiàng)目，項(xiàng)目一、初識爬蟲，包括認(rèn)識爬蟲，以及網(wǎng)站robots協(xié)議和反爬蟲技術(shù)三個學(xué)習(xí)任務(wù)；項(xiàng)目二、網(wǎng)頁基礎(chǔ)，包括HTTP原理、網(wǎng)頁基礎(chǔ)知識、會話和COOKIE機(jī)制、谷歌瀏覽器開發(fā)者工具的使用等四個學(xué)習(xí)任務(wù)；項(xiàng)目三、Python基礎(chǔ)，包括搭建python開發(fā)環(huán)境、python基礎(chǔ)語法等六個任務(wù)。項(xiàng)目四、常用爬取庫，包括認(rèn)識HTTP請求、urllib網(wǎng)絡(luò)請求庫基礎(chǔ)、初識requests網(wǎng)絡(luò)請求庫三個學(xué)習(xí)任務(wù)；項(xiàng)目五、常用解析庫，包括網(wǎng)頁解析基礎(chǔ)、XPath解析網(wǎng)頁、BS解析網(wǎng)頁、PyQuery解析庫四個學(xué)習(xí)任務(wù)。項(xiàng)目六、數(shù)據(jù)存儲，包括數(shù)據(jù)存儲在文本文件、實(shí)戰(zhàn)案例篇；關(guān)系型數(shù)據(jù)庫介紹、Mysq數(shù)據(jù)庫的安裝與啟九個學(xué)習(xí)任務(wù)；項(xiàng)目七、動態(tài)網(wǎng)頁數(shù)據(jù)爬取，包括動態(tài)網(wǎng)頁的含義、Selenium的安裝和使用案例、AJAX的概念和AJAX的分析方法、AJAX分析與爬取實(shí)戰(zhàn)四個學(xué)習(xí)任務(wù)。高級篇：項(xiàng)目八Scrapy爬蟲框架，包括Scrapy安裝與使用、案例分析兩個學(xué)習(xí)任務(wù)。