Python網路爬蟲與Scrapy[線上課程] 線上課程

Python網路爬蟲與Scrapy[線上課程]

《經濟學人》宣稱「數據已經是所有成長與改變的驅動力。」

資料被認為是數位世代的「新石油」。與石油一樣的是,這樣的資源要去開採; 而不一樣的是,資料是成長快速並且用之不竭的資源,越發利用其價值也就越顯著。

此門課程延續自林哲緯老師所開設「Python程式設計」,提供已具備Python程式能力者、有志於進一步學習「網路爬蟲」者直接入門的管道。課程將會介紹目前Python實踐網站擷取的相關技術,並深入掌握Python現行爬蟲框架Scrapy的核心原理及使用技巧,教你用對的方法與工具對網路數據進行「開採」,從任何網站來源獲取並處理任意資料。學員不僅僅強化Python基本程式設計,更能夠自己建立起網路爬蟲來搜刮網頁內容。課程內容亦搭配大量實作範例來強化對於Python這一程式語言與Scrapy網站擷取框架的理解。

如果你已對Python程式學習與資料挖掘具備滿腔熱情,那就開始這趟Python網路爬蟲實戰的旅程吧!

課程大綱

“banner"

● 課程簡介與環境安裝
● Python補充包:精華重點彙整
● Python內容解析與正規表達式
● 爬蟲資料篩選方法-選擇器
● JavaScript與API
● Selenium 網站擷取實戰與技法
● Scrapy 介紹與環境建置
● Scrapy 基礎入門與靜態網站範例
○ PTT輿情分析
○ PostgreSQL資料庫
○ GoodInfo!台股價格一把抓
● Scrapy 動態網站範例
○ 互動操作與Google Maps練習
○ Google圖片搜尋練習
○ KKDay旅遊好康不錯過
○ 尋找YouTube網路流量密碼(關鍵字搜尋)
○ 模擬登入&常見反爬蟲tips、LineNotify自動通知機器人
● Scrapy 進階技巧及實戰整合

“banner"

“banner"

“banner"

“banner"

“banner"

“banner"

“banner"

“banner"

“banner"

● 本課程為數位混成課程,於課程期間將:
1. 開設討論群組,供同學即時發問
2. 定期安排線上作業講解與即時討論時段
3. 搭配授課老師所開發之「碼助教即時批改系統」進行作業自動化繳交,並提供學員不同難度的題庫區進行課程後自由練習,有效提升程式實作能力

適合對象

課程安排扎實緊湊,難以完整涵蓋Python基礎教學,因此建議課程適合:
1. 已修習過林哲緯老師所開設「Python程式設計」的同學 (或相關Python程式設計課亦可)
2. 或已具備基本 Python 程式能力及對建立網路爬蟲框架與專案有興趣者。

開發環境

Python 3.x
Jupyter Notebook
Visual Studio Code
Scrapy

請自備Windows/Mac/Linux電腦做課程練習與作業撰寫之用
開發環境安裝與設置會於課堂初期進行

線上課程注意事項

●線上課程採遠距教學,無需到班上課!

●線上課程影片無字幕輔助

●線上課程為非同步教學,無法及時互動回覆,請學員需自行評估是否適合自己的學習模式。

● 上課教材、影片:開課當天會發送註冊信至信箱,註冊完畢後即可開始上課。

● 繳交作業期限:依照各班講師規定;通過課程標準才會製作證書。

● 課程影片下架日:結束日後六個月

●學員於開課後登入課程時, 登入帳號務必與報名時所填寫的EMAIL相同!!!

公務員全程參與課程學習後可於課程結束後申請登錄公務人員學習時數

 

(一)轉班或退費期限:開課日後⅓時數內,詳情連結

(二)結業狀況:查詢是否合格及證書製作進度,結業名單連結

(三)線上課程上課時間:請參考官網最新消息「線上課程常見QA」,詳情連結

(四)報名備註欄位僅可填寫優惠同行人,收據開立時間及其他問題請直接寄EMAIL向我們聯繫

近期班次

講師介紹

(一)學歷

  • 國立臺灣大學資訊網路與多媒體研究所碩士
  • 國立交通大學資訊工程學系學士

(二) 經歷

  • 2016-數巨飛船有限公司 共同創辦人
  • 2015-2017國立臺灣大學創新與創業學程 網站管裡員
  • 2014-社群輿情分析與AI技術應用專案: 科技部、工研院、中央銀行、國防部等單位 資料探勘與視覺化專案顧問與研究員
  • 2016法務部調查局幹部訓練所-資料視覺化及輿情分析研習班 講師

(三) 教學經歷

  • 2016年至本班教學,累計授課時數至2024年3月1日為1,880小時,為資深講師。擔任:Python網路爬蟲與Scrapy課程、Python程式設計課程、D3.js互動式資料視覺化課程、Scratch程式設計一把抓課程、HTML5,CSS3,Bootstrap,jQuery網頁設計基礎班課程、CSS網頁設計與視覺特效專題班課程講師
  • 國立政治大學:106-108學年度資訊學院-程式設計概論 授課老師
  • 法務部調查局幹部訓練所:資料視覺化及輿情分析研習班 講師

(四) 得獎紀錄:
  1.美國計算機協會ACM 人機互動會議CHI’15 學生遊戲競賽-創新介面組 TranSection Top 3
  2.IndieCade’15 美國獨立遊戲設計大賽3D Jam - 7th
  3.100年台電全國多媒體廣告競賽 - 大專組第一名
  4.中華民國汽機車協會 第四、五屆交通安全動畫大賽 機車、汽車組 冠軍
  5.HackNTU’14 第二屆臺大黑客松-第二名&人氣獎
  6.MobileHero 2014 通訊大賽 穿戴式暨物聯網競賽-季軍
  7.2016 第十四屆台大創新競賽 評審團銅獎&人氣賞

(五) 研究專長與興趣領域:
人機互動、資料視覺化、資料探勘、電腦動畫