Python爬蟲及文本分析學(xué)術(shù)應(yīng)用培訓(xùn)課程

【招生對象】

零基礎(chǔ)學(xué)員

【授課方式】

遠(yuǎn)程+面授

【上課時間】

周一到周日9-18點

【學(xué)習(xí)目標(biāo)】

不再單一依靠開源公開數(shù)據(jù)網(wǎng)站的數(shù)據(jù)，適當(dāng)擺脫對國家統(tǒng)計年鑒、wind數(shù)據(jù)庫、知網(wǎng)數(shù)據(jù)的依賴，能夠從更多元的渠道獲取數(shù)據(jù)，使用python更高效的處理數(shù)據(jù)，并用更前沿的技術(shù)分析和挖掘數(shù)據(jù)信息，為我們的科研工作減輕中間工作負(fù)擔(dān)。

【課程亮點】

本課程致力于講授完整的結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)的獲取、存儲、讀取、處理和分析過程，我們期望課程可以幫助到廣大的用戶，包括所有想要使用python編程語言實現(xiàn)數(shù)據(jù)獲取和文本分析的在校師生、以及致力于將數(shù)據(jù)分析與挖掘的價值廣泛運(yùn)用到實際場景的商業(yè)人士。

【師資力量】

辛立偉

擅長數(shù)據(jù)架構(gòu)、數(shù)據(jù)分析

教學(xué)經(jīng)驗20年

CDA數(shù)據(jù)分析研究院講師

SUN中國社區(qū)會員

趙仁乾

擅長數(shù)據(jù)架構(gòu)、數(shù)據(jù)分析

教學(xué)經(jīng)驗7年

北京郵電大學(xué)管理科學(xué)與工程碩士

北京電信規(guī)劃設(shè)計院

吳昊天

擅長數(shù)據(jù)架構(gòu)、數(shù)據(jù)分析

教學(xué)經(jīng)驗8年

電子科技大學(xué)大數(shù)據(jù)中心

CDA數(shù)據(jù)分析研究院技術(shù)負(fù)責(zé)人兼高級講師

【課程內(nèi)容】

01章概述 爬蟲與文本分析概述

01-01結(jié)構(gòu)化數(shù)據(jù)/文本數(shù)據(jù)的獲取方法概述

01-02高效的編程語言實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)處理與文本分析的價值

02章編程基礎(chǔ)

02-01python編程基礎(chǔ)（標(biāo)準(zhǔn)數(shù)據(jù)類型，控制流，自定義函數(shù)，類，os文件處理模塊）

02-02python重要數(shù)據(jù)科學(xué)計算庫（Numpy，Pandas，Matplotlib，Pyecherts，wordcloud）

03章數(shù)據(jù)獲取

03-01爬蟲基礎(chǔ)（網(wǎng)絡(luò)爬蟲簡介，爬蟲的基本原理，HTML 簡介，數(shù)據(jù)存儲）

03-02網(wǎng)頁抓?。ㄊ褂?Urllib網(wǎng)頁抓取，requests實戰(zhàn)）

03-03BeautifulSoup4（簡介，安裝，BS 對象的種類，遍歷文檔樹，搜索文檔樹）

03-04Xpath（什么是Xpath，Xpath開發(fā)工具，Xpath常用規(guī)則）

03-05動態(tài)渲染頁面抓取（Selenium的安裝，基本使用，聲明瀏覽器對象，訪問頁面，定位元素，節(jié)點交互，動作鏈，執(zhí)行 JavaScript，獲取節(jié)點信息，延時等待，前進(jìn)后退，Cookies，選項卡管理，異常處理）

03-06爬蟲實戰(zhàn)（網(wǎng)站的爬取，基電商評價文本爬?。?/p>

04章數(shù)據(jù)存儲與讀取

04-01可供讀取數(shù)據(jù)類型介紹（excel、pdf、txt、html、mysql數(shù)據(jù)庫文件介紹）

04-02數(shù)據(jù)的存儲（將數(shù)據(jù)存儲到excel表，txt文本，word文檔）

04-03數(shù)據(jù)的讀?。╬ython批量讀取多個多子表excel，python讀取txt文件，word文檔）

05章數(shù)據(jù)處理

05-01正則表達(dá)式（什么是正則表達(dá)式，正則表達(dá)式匹配規(guī)則，re模塊的使用）

05-02文本處理常用方法（字符串的不變性，排序行，段落格式化，二進(jìn)制轉(zhuǎn)化為ASCII，重復(fù)字詞過濾，提取郵件地址，提取URL地址，大寫轉(zhuǎn)換，符號化，刪除停用詞，同義詞與反義詞處理，文本翻譯，單詞替換，拼寫檢查，WordNet接口，語料訪問，標(biāo)記單詞，塊和裂口，塊分類，文本分類，雙字母組，文字改寫，文字換行，頻率分布，文字摘要，詞干算法，約束搜索）

05-03結(jié)構(gòu)化數(shù)據(jù)處理--數(shù)據(jù)清洗（numpy數(shù)值計算要點串講，Pandas數(shù)據(jù)處理串講，python統(tǒng)計圖表展示）

06章文本分析實戰(zhàn)

06-01重要的庫（jieba庫簡介）

06-02關(guān)鍵詞提?。P(guān)鍵詞任務(wù)概述，TF-IDF算法原理，相似文章推薦原理介紹，實例：紅樓夢文本分析的實現(xiàn)，文件與詞庫的讀取，完成分詞與詞云圖的繪制）

06-03文本分類（新聞素材介紹，新聞內(nèi)容的關(guān)鍵詞提取，詞向量轉(zhuǎn)化與ngram模型，樸素貝葉斯算法完成新聞分類）

【教學(xué)現(xiàn)場】

【機(jī)構(gòu)環(huán)境】

【發(fā)展歷程】

2006年 開展數(shù)據(jù)統(tǒng)計、計量實戰(zhàn)，學(xué)術(shù)研究等相關(guān)培訓(xùn)視頻和現(xiàn)場班

2007年 開展數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析相關(guān)培訓(xùn)班

2011年 隨著大數(shù)據(jù)熱潮的來臨，依托累計上萬類共享資料，多年沉淀師資團(tuán)隊，論壇召集多位專家，研發(fā)CDA數(shù)據(jù)分析師體系

2013年CDA數(shù)據(jù)分析師品牌成立，提供系統(tǒng)化的大數(shù)據(jù)、數(shù)據(jù)分析人才培養(yǎng)和認(rèn)證

2014年 CDA INSTITUTE 成立 ,并推出第 一屆全國CDA數(shù)據(jù)分析師認(rèn)證考試

2015年第 一屆中國數(shù)據(jù)分析師行業(yè)峰會（CDAS）在9月11日成功舉辦，參會人數(shù)逾3000人

2016年 CDA匯聚海內(nèi)外大數(shù)據(jù)、數(shù)據(jù)分析專家上千人，推出就業(yè)班、數(shù)據(jù)科學(xué)家訓(xùn)練營、企業(yè)內(nèi)訓(xùn)、CDA俱樂部等多個項目

2017年整合論壇與CDA數(shù)據(jù)分析師業(yè)內(nèi)資源，形成數(shù)據(jù)分析領(lǐng)域生態(tài)圈，并進(jìn)一步升級CDA企業(yè)內(nèi)訓(xùn)體系，正式推出大數(shù)據(jù)實驗室

2018年北上廣深等多個城市均有校區(qū)；擁有200多位專業(yè)師資；培養(yǎng)學(xué)員超過3萬人，每年6月/12月全國28個城市舉辦CDA認(rèn)證考試

2019年已舉辦九屆數(shù)據(jù)分析師認(rèn)證考試，得到業(yè)界廣泛認(rèn)可，學(xué)員遍布各大知名企業(yè)。人工智能產(chǎn)品“好學(xué)AI”問世，引領(lǐng)DT時代新一波技術(shù)培訓(xùn)浪潮

【機(jī)構(gòu)榮譽(yù)】

IBM大學(xué)戰(zhàn)略合作伙伴

電子工業(yè)出版社 優(yōu)秀合作者

教育管理信息化專業(yè)委員會理事單位

2018年度職業(yè)教育人才培訓(xùn)品牌機(jī)構(gòu)

2018年度大數(shù)據(jù)影響力先鋒企業(yè)

2018入選教育部產(chǎn)學(xué)合作協(xié)同育人項目

網(wǎng)易云課堂2017年度最 佳服務(wù)獎

2017年度中國互聯(lián)網(wǎng)+ 最 佳培訓(xùn)機(jī)構(gòu)獎

中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟理事單位

【機(jī)構(gòu)簡介】

目前，CDA已與國內(nèi)100多所高校進(jìn)行了戰(zhàn)略合作，建立了CDA數(shù)據(jù)分析師考試中心及人才培養(yǎng)基地；已出版30多本CDA數(shù)據(jù)分析師系列叢書，市場發(fā)行量數(shù)萬冊；已進(jìn)行500多期線上線下數(shù)據(jù)分析及大數(shù)據(jù)培訓(xùn)課程，培養(yǎng)學(xué)員10萬+人次；已在全國70+城市舉辦15屆CDA數(shù)據(jù)分析師認(rèn)證考試，報考考生數(shù)萬人；已開展了四屆中國數(shù)據(jù)分析師行業(yè)峰會（CDA SUMMIT），每屆參會人數(shù)3000多人；中國數(shù)據(jù)分析師俱樂部（CDA CLUB）每周舉辦各類型線上線下沙龍會議、公開課等活動共1000多期。