比Selenium還強大的網路爬蟲: Scrapy一本就精通

比Selenium還強大的網路爬蟲: Scrapy一本就精通

期:
2018/06/10
9
580522
查詢門市庫存

內容簡介

本書說明目前最流行的Python 爬蟲架構Scrapy,它簡單好用、靈活易擴充、文件豐富、開發社區活躍,使用Scrapy 可以高效率地開發網路爬蟲應用。本書的讀者只需要有Python 語言基礎即可,我們從零基礎、逐步由淺入深說明。全書共14章,系統地介紹Python流行框架Scrapy的相關技術及使用技巧。第1~8 章說明Scrapy 開發的核心基礎部分,重點介紹Scrapy的核心元素,如spider、selector、item、link等。第9~14 章說明實際爬蟲開發中使用頻率最高的一些實用技術,如下載檔案和圖片、模擬登入、執行JavaScript、爬取動態網頁、使用HTTP代理、分散式爬蟲的編寫等內容。● 所有基礎部分的說明都配有程式範例,而不僅是枯燥的文件。● 案例選材方面以說明基礎知識為核心,儘量選擇專門供練習爬蟲技術的網站(不易變動)或接近日常生活的網站(京東、知乎、豆瓣、360)進行示範。● 在說明某些基礎知識時,對Scrapy原始程式進行分析,讓讀者能夠「知其然並知其所以然」。 適用:適合有一定Python語言基礎,想學習編寫複雜網路爬蟲的讀者。
展開看更多

產品目錄

01 初識Scrapy
1.1 網路爬蟲是什麼
1.2 Scrapy 簡介及安裝
1.3 撰寫第一個Scrapy 爬蟲
1.4 本章小結

02 撰寫Spider
2.1 Scrapy 架構結構及工作原理
2.2 Request 和Response 物件
2.3 Spider 開發流程
2.4 本章小結

03 使用Selector 分析資料
3.1 Selector 物件
3.2 Response 內建Selector
3.3 XPath
3.4 CSS 選擇器
3.5 本章小結

04 使用Item 封裝資料
4.1 Item 和Field
4.2 擴充Item 子類別
4.3 Field 中繼資料
4.4 本章小結

05 使用Item Pipeline 處理資料
5.1 Item Pipeline
5.2 更多實例
5.3 本章小結

06 使用LinkExtractor 分析連結
6.1 使用LinkExtractor
6.2 描述分析規則
6.3 本章小結

07 使用Exporter 匯出資料
7.1 指定如何匯出資料
7.2 增加匯出資料格式
7.3 本章小結

08 專案練習
8.1 專案需求
8.2 頁面分析
8.3 程式實現
8.4 本章小結

09 下載檔案和圖片
9.1 FilesPipeline 和ImagesPipeline
9.2 專案實戰:爬取matplotlib 實例原始程式檔案
9.3 專案實戰:下載360 圖片
9.4 本章小結

10 模擬登入
10.1 登入實質
10.2 Scrapy 模擬登入
10.3 識別驗證碼
10.4 Cookie 登入
10.5 本章小結

11 爬取動態頁面
11.1 Splash 繪製引擎
11.2 在Scrapy 中使用Splash
11.3 專案實戰:爬取toscrape 中的名人名言
11.4 專案實戰:爬取京東商場中的書籍資訊
11.5 本章小結

12 存入資料庫
12.1 SQLite
12.2 MySQL
12.3 MongoDB
12.4 Redis
12.5 本章小結

13 使用HTTP 代理
13.1 HttpProxyMiddleware
13.2 使用多個代理
13.3 取得免費代理
13.4 實現隨機代理
13.5 專案實戰:爬取豆瓣電影資訊
13.6 本章小結

14 分散式爬取
14.1 Redis 的使用
14.2 scrapy-redis 原始程式分析
14.3 使用scrapy-redis 進行分散式爬取
14.4 本章小結

作者介紹

■作者簡介

劉碩
曾任職知名外企,從事一線開發工作10年,目前主要從事Python開發與教學工作,在慕課網開設多門Python課程,深受學員歡迎。 

規格

誠品貨碼 / 2681585152001
ISBN13 / 9789863796619
ISBN10 / 9863796611
EAN貨碼 / 9789863796619
頁數 / 288
注音版 / 否
裝訂 / P:平裝
語言 / 1:中文/繁體
尺寸 / 23X17CM
級別 / N:無

退貨說明

退貨須知:

  1. 依照消費者保護法的規定,您享有商品貨到次日起七天猶豫期(含例假日)的權益(請注意!猶豫期非試用期),辦理退貨之商品必須是全新狀態(不得有刮傷、破損、受潮)且需完整(包含全部商品、配件、原廠內外包裝、贈品及所有附隨文件或資料的完整性等)。
  2. 請您以送貨廠商使用之包裝紙箱將退貨商品包裝妥當,若原紙箱已遺失,請另使用其他紙箱包覆於商品原廠包裝之外,切勿直接於原廠包裝上黏貼紙張或書寫文字。若原廠包裝損毀將可能被認定為已逾越檢查商品之必要程度,本公司得依毀損程度扣除回復原狀必要費用(整新費)後退費;請您先確認商品正確、外觀可接受,再行拆封,以免影響您的權利;若為產品瑕疵,本公司接受退貨。

依「通訊交易解除權合理例外情事適用準則」,下列商品不適用七日猶豫期,除產品本身有瑕疵外,不接受退貨:

  1. 易於腐敗、保存期限較短或解約時即將逾期。(如:生鮮蔬果、乳製品、冷凍冷藏食材、蛋糕)
  2. 依消費者要求所為之客製化給付。(如:客製印章、鋼筆刻字)
  3. 報紙、期刊或雜誌。
  4. 經消費者拆封之影音商品或電腦軟體。
  5. 非以有形媒介提供之數位內容或一經提供即為完成之線上服務,經消費者事先同意始提供。(如:電子書)
  6. 已拆封之個人衛生用品。(如:內衣褲、襪類、褲襪、刮鬍刀、除毛刀等貼身用品)
  7. 國際航空客運服務。

若您退貨時有下列情形,可能被認定已逾越檢查商品之必要程度而須負擔為回復原狀必要費用(整新費),或影響您的退貨權利,請您在拆封前決定是否要退貨:

  1. 以數位或電磁紀錄形式儲存或著作權相關之商品(包含但不限於CD、VCD、DVD、電腦軟體等) 包裝已拆封者(除運送用之包裝以外)。
  2. 耗材(包含但不限於墨水匣、碳粉匣、紙張、筆類墨水、清潔劑補充包等)之商品包裝已拆封者(除運送用之包裝以外)。
  3. 衣飾鞋類/寢具/織品(包含但不限於衣褲、鞋子、襪子、泳裝、床單、被套、填充玩具)或之商品缺件(含購買商品、附件、內外包裝、贈品等)或經剪標或下水或商品有不可回復之髒污或磨損痕跡。
  4. 食品、美容/保養用品、內衣褲等消耗性或個人衛生用品、商品銷售頁面上特別載明之商品已拆封者(除運送用之包裝外一切包裝、包括但不限於瓶蓋、封口、封膜等接觸商品內容之包裝部分)或已非全新狀態(外觀有刮傷、破損、受潮等)與包裝不完整(缺少商品、附件、原廠外盒、保護袋、配件紙箱、保麗龍、隨貨文件、贈品等)。
  5. 家電、3C、畫作、電子閱讀器等商品,除商品本身有瑕疵外,退回之商品已拆封(除運送用之包裝外一切包裝、包括但不限於封膜等接觸商品內容之包裝部分、移除封條、拆除吊牌、拆除貼膠或標籤等情形)或已非全新狀態(外觀有刮傷、破損、受潮等)與包裝不完整(缺少商品、附件、原廠外盒、保護袋、配件紙箱、保麗龍、隨貨文件、贈品等)。
  6. 退貨程序請參閱【客服專區→常見問題→誠品線上退貨退款】之說明。
付款/配送