爬蟲在手, 資料我有: 7堂課學會高效率Scrapy爬蟲

爬蟲在手, 資料我有: 7堂課學會高效率Scrapy爬蟲

iT邦幫忙鐵人賽

出版日期:
2021/04/06
9
450405
查詢門市庫存
由淺入深了解Scrapy爬蟲框架,讓你從零開始建立高效率爬蟲!

◆自學網路爬蟲沒問題,手把手教學讓你無痛上手
◆完整的網路爬蟲和Scrapy知識,資料取得更輕鬆
◆學會各種套件和實作範例,讓...

內容簡介

由淺入深了解Scrapy爬蟲框架,讓你從零開始建立高效率爬蟲!

◆自學網路爬蟲沒問題,手把手教學讓你無痛上手
◆完整的網路爬蟲和Scrapy知識,資料取得更輕鬆
◆學會各種套件和實作範例,讓你的爬蟲比別人更有效率

本書內容改編自第11屆iT邦幫忙鐵人賽的AI & Data組優選網路系列文章─《爬蟲在手、資料我有 - 30 天 Scrapy 爬蟲實戰》。在AI的大時代中,「資料來源」是基礎中的基礎,但網路上的資料豐富又繁雜,總不可能都靠人工來蒐集資料。這時就是爬蟲出場的時候了!本書會帶讀者了解爬蟲的基礎知識,克服爬蟲常見的問題,最後可以寫出維護成本低、執行效率高的爬蟲程式。

│四大重點│

★初學者必備的爬蟲指南,大大降低你的學習門檻
網路爬蟲妙計已為你爬取完成!從安裝環境、認識架構、資料儲存、除錯到各類型網站實作,本書將一步步帶你學會網路爬蟲。

★全面解析各種知識,爬蟲能力再提升
不只教你如何進行網路爬蟲,還要帶你深入Scrapy架構,並特別介紹NoSQL、反反爬蟲。提升你的爬蟲技能,擁有越級打怪的神力。

★活用各種套件,打造高效率爬蟲
本書將手把手帶你活用各種套件,並從範例中學會撰寫精簡有效的程式碼,讓你克服問題、達成任務,邁向高效率的資料取得之路。

★爬取資料生活化,就像抓寶一樣好玩有趣!
你會學到如何抓取PTT、Mobile01、新聞網站、股市網站資料,你想要的各種資料都能輕鬆取得。

│適用讀者│

◆對Python有基礎了解,想要學習爬蟲程式的初學者
◆為爬蟲維護和效能所苦,想要更進一步的開發人員

【下載範例程式檔案】
本書範例檔下載網址:
https://github.com/rex-chien/ithome-scrapy
展開看更多

產品目錄

前言
目錄

第1章 基礎知識
1.1 安裝開發環境
1.2 網路資料常見的格式

第2章 爬蟲基礎
2.1 剖析來源資料
2.2 從網路上取得資料

第3章 基礎實戰–蒐集iThelp 文章資料
3.1 列表頁
3.2 換頁
3.3 內文
3.4 文章資訊
3.5 回文

第4章 資料持久化
4.1 PostgreSQL
4.2 NoSQL

第5章 進階爬蟲
5.1 反反爬蟲
5.2 練習其他網站

第6章 Scrapy 基礎
6.1 Scrapy 架構
6.2 開發環境
6.3 實作Scrapy爬蟲
6.4 Scrapy的結構化資料-Item
6.5 在Scrapy中處理爬取結果-Item Pipelines
6.6 在Scrapy中處理請求和回應-Downloader Middlewares
6.7 Scrapy的設定
6.8 在Scrapy中操作瀏覽器
6.9 Scrapy的日誌
6.10 蒐集Scrapy的統計資訊
6.11 發送電子郵件

第7章 實戰Scrapy
7.1 Item Pipelines應用-儲存資料到 MongoDB
7.2 在程式中啟動Scrapy爬蟲
7.3 iThelp 的Scrapy 爬蟲
7.4 中央社新聞的Scrapy 爬蟲
7.5 PTT 的Scrapy 爬蟲
7.6 相同剖析邏輯的多個資料來源

作者介紹

簡學群

簡學群



在業界打滾五年的C#後端工程師。興趣使然,也斜槓於Python爬蟲、PHP Laravel、Vue.js、Java Spring等領域,熱愛跟朋友研究和分享新技術。



連續參加第10、11屆iT邦幫忙鐵人賽且完賽,更在第11屆iT邦幫忙鐵人賽中,以《爬蟲在手、資料我有 -30 天 Scrapy 爬蟲實戰》系列文章,獲得AI & Data組優選。

規格

誠品貨碼 / 2681997200000
ISBN13 / 9789864347438
ISBN10 / 9864347438
EAN貨碼 / 9789864347438
頁數 / 224
裝訂 / P:平裝
語言 / 1:中文/繁體
尺寸 / 23X17X1.4CM
級別 / N:無

退貨說明

退貨須知:

  1. 依照消費者保護法的規定,您享有商品貨到次日起七天猶豫期(含例假日)的權益(請注意!猶豫期非試用期),辦理退貨之商品必須是全新狀態(不得有刮傷、破損、受潮)且需完整(包含全部商品、配件、原廠內外包裝、贈品及所有附隨文件或資料的完整性等)。
  2. 請您以送貨廠商使用之包裝紙箱將退貨商品包裝妥當,若原紙箱已遺失,請另使用其他紙箱包覆於商品原廠包裝之外,切勿直接於原廠包裝上黏貼紙張或書寫文字。若原廠包裝損毀將可能被認定為已逾越檢查商品之必要程度,本公司得依毀損程度扣除回復原狀必要費用(整新費)後退費;請您先確認商品正確、外觀可接受,再行拆封,以免影響您的權利;若為產品瑕疵,本公司接受退貨。

依「通訊交易解除權合理例外情事適用準則」,下列商品不適用七日猶豫期,除產品本身有瑕疵外,不接受退貨:

  1. 易於腐敗、保存期限較短或解約時即將逾期。(如:生鮮蔬果、乳製品、冷凍冷藏食材、蛋糕)
  2. 依消費者要求所為之客製化給付。(如:客製印章、鋼筆刻字)
  3. 報紙、期刊或雜誌。
  4. 經消費者拆封之影音商品或電腦軟體。
  5. 非以有形媒介提供之數位內容或一經提供即為完成之線上服務,經消費者事先同意始提供。(如:電子書)
  6. 已拆封之個人衛生用品。(如:內衣褲、襪類、褲襪、刮鬍刀、除毛刀等貼身用品)
  7. 國際航空客運服務。

若您退貨時有下列情形,可能被認定已逾越檢查商品之必要程度而須負擔為回復原狀必要費用(整新費),或影響您的退貨權利,請您在拆封前決定是否要退貨:

  1. 以數位或電磁紀錄形式儲存或著作權相關之商品(包含但不限於CD、VCD、DVD、電腦軟體等) 包裝已拆封者(除運送用之包裝以外)。
  2. 耗材(包含但不限於墨水匣、碳粉匣、紙張、筆類墨水、清潔劑補充包等)之商品包裝已拆封者(除運送用之包裝以外)。
  3. 衣飾鞋類/寢具/織品(包含但不限於衣褲、鞋子、襪子、泳裝、床單、被套、填充玩具)或之商品缺件(含購買商品、附件、內外包裝、贈品等)或經剪標或下水或商品有不可回復之髒污或磨損痕跡。
  4. 食品、美容/保養用品、內衣褲等消耗性或個人衛生用品、商品銷售頁面上特別載明之商品已拆封者(除運送用之包裝外一切包裝、包括但不限於瓶蓋、封口、封膜等接觸商品內容之包裝部分)或已非全新狀態(外觀有刮傷、破損、受潮等)與包裝不完整(缺少商品、附件、原廠外盒、保護袋、配件紙箱、保麗龍、隨貨文件、贈品等)。
  5. 家電、3C、畫作、電子閱讀器等商品,除商品本身有瑕疵外,退回之商品已拆封(除運送用之包裝外一切包裝、包括但不限於封膜等接觸商品內容之包裝部分、移除封條、拆除吊牌、拆除貼膠或標籤等情形)或已非全新狀態(外觀有刮傷、破損、受潮等)與包裝不完整(缺少商品、附件、原廠外盒、保護袋、配件紙箱、保麗龍、隨貨文件、贈品等)。
  6. 退貨程序請參閱【客服專區→常見問題→誠品線上退貨退款】之說明。
付款/配送