比Selenium還強大的網路爬蟲: Scrapy一本就精通 | 誠品線上

比Selenium還強大的網路爬蟲: Scrapy一本就精通

內容簡介

內容簡介 本書說明目前最流行的Python 爬蟲架構Scrapy，它簡單好用、靈活易擴充、文件豐富、開發社區活躍，使用Scrapy 可以高效率地開發網路爬蟲應用。本書的讀者只需要有Python 語言基礎即可，我們從零基礎、逐步由淺入深說明。全書共14章，系統地介紹Python流行框架Scrapy的相關技術及使用技巧。第1~8 章說明Scrapy 開發的核心基礎部分，重點介紹Scrapy的核心元素，如spider、selector、item、link等。第9~14 章說明實際爬蟲開發中使用頻率最高的一些實用技術，如下載檔案和圖片、模擬登入、執行JavaScript、爬取動態網頁、使用HTTP代理、分散式爬蟲的編寫等內容。● 所有基礎部分的說明都配有程式範例，而不僅是枯燥的文件。● 案例選材方面以說明基礎知識為核心，儘量選擇專門供練習爬蟲技術的網站（不易變動）或接近日常生活的網站（京東、知乎、豆瓣、360）進行示範。● 在說明某些基礎知識時，對Scrapy原始程式進行分析，讓讀者能夠「知其然並知其所以然」。 適用：適合有一定Python語言基礎，想學習編寫複雜網路爬蟲的讀者。

作者介紹

作者介紹 ■作者簡介劉碩曾任職知名外企，從事一線開發工作10年，目前主要從事Python開發與教學工作，在慕課網開設多門Python課程，深受學員歡迎。

產品目錄

產品目錄 01 初識Scrapy1.1 網路爬蟲是什麼1.2 Scrapy 簡介及安裝1.3 撰寫第一個Scrapy 爬蟲1.4 本章小結02 撰寫Spider2.1 Scrapy 架構結構及工作原理2.2 Request 和Response 物件2.3 Spider 開發流程2.4 本章小結03 使用Selector 分析資料3.1 Selector 物件3.2 Response 內建Selector3.3 XPath3.4 CSS 選擇器3.5 本章小結04 使用Item 封裝資料4.1 Item 和Field4.2 擴充Item 子類別4.3 Field 中繼資料4.4 本章小結05 使用Item Pipeline 處理資料5.1 Item Pipeline5.2 更多實例5.3 本章小結06 使用LinkExtractor 分析連結6.1 使用LinkExtractor6.2 描述分析規則6.3 本章小結07 使用Exporter 匯出資料7.1 指定如何匯出資料7.2 增加匯出資料格式7.3 本章小結08 專案練習8.1 專案需求8.2 頁面分析8.3 程式實現8.4 本章小結09 下載檔案和圖片9.1 FilesPipeline 和ImagesPipeline9.2 專案實戰：爬取matplotlib 實例原始程式檔案9.3 專案實戰：下載360 圖片9.4 本章小結10 模擬登入10.1 登入實質10.2 Scrapy 模擬登入10.3 識別驗證碼10.4 Cookie 登入10.5 本章小結11 爬取動態頁面11.1 Splash 繪製引擎11.2 在Scrapy 中使用Splash11.3 專案實戰：爬取toscrape 中的名人名言11.4 專案實戰：爬取京東商場中的書籍資訊11.5 本章小結12 存入資料庫12.1 SQLite12.2 MySQL12.3 MongoDB12.4 Redis12.5 本章小結13 使用HTTP 代理13.1 HttpProxyMiddleware13.2 使用多個代理13.3 取得免費代理13.4 實現隨機代理13.5 專案實戰：爬取豆瓣電影資訊13.6 本章小結14 分散式爬取14.1 Redis 的使用14.2 scrapy-redis 原始程式分析14.3 使用scrapy-redis 進行分散式爬取14.4 本章小結

商品規格

活動

• 6/20前 全站滿$3,000享9折
• 6/20前 全站滿$1,500享92折