㈠ 大數據課程基礎內容有哪些
《大數據實訓課程資料》網路網盤資源免費下載
鏈接:https://pan..com/s/1RiGvjn2DlL5pPISCG_O0Sw
大數據實訓課程資料|雲計算與虛擬化課程資源|課程實驗指導書綜合版|機器學習與演算法分析課程資源|Spark課程資源|Python課程資源|Hadoop技術課程資源|雲計算課程資料.zip|微課.zip|演算法建模與程序示例.zip|spark課程資源.zip|hadoop課程資源.zip|實驗指導書|教學視頻|教學PPT
㈡ python大數據挖掘系列之基礎知識入門 知識整理（入門教程含源碼）
Python在大數據行業非常火爆近兩年，as a pythonic，所以也得涉足下大數據分析，下面就聊聊它們。
Python數據分析與挖掘技術概述
所謂數據分析，即對已知的數據進行分析，然後提取出一些有價值的信息，比如統計平均數，標准差等信息，數據分析的數據量可能不會太大，而數據挖掘，是指對大量的數據進行分析與挖倔，得到一些未知的，有價值的信息等，比如從網站的用戶和用戶行為中挖掘出用戶的潛在需求信息，從而對網站進行改善等。
數據分析與數據挖掘密不可分，數據挖掘是對數據分析的提升。數據挖掘技術可以幫助我們更好的發現事物之間的規律。所以我們可以利用數據挖掘技術可以幫助我們更好的發現事物之間的規律。比如發掘用戶潛在需求，實現信息的個性化推送，發現疾病與病狀甚至病與葯物之間的規律等。
預先善其事必先利其器
我們首先聊聊數據分析的模塊有哪些：
下面就說說這些模塊的基礎使用。
numpy模塊安裝與使用
安裝：
下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/
我這里下載的包是1.11.3版本，地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下載好後，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安裝的numpy版本一定要是帶mkl版本的，這樣能夠更好支持numpy
numpy簡單使用
生成隨機數
主要使用numpy下的random方法。
pandas
使用 pip install pandas 即可
直接上代碼：
下面看看pandas輸出的結果， 這一行的數字第幾列，第一列的數字是行數，定位一個通過第一行，第幾列來定位：
常用方法如下：
下面看看pandas對數據的統計，下面就說說每一行的信息
轉置功能：把行數轉換為列數，把列數轉換為行數，如下所示：
通過pandas導入數據
pandas支持多種輸入格式，我這里就簡單羅列日常生活最常用的幾種，對於更多的輸入方式可以查看源碼後者官網。
CSV文件
csv文件導入後顯示輸出的話，是按照csv文件默認的行輸出的，有多少列就輸出多少列，比如我有五列數據，那麼它就在prinit輸出結果的時候，就顯示五列
excel表格
依賴於xlrd模塊，請安裝它。
老樣子，原滋原味的輸出顯示excel本來的結果，只不過在每一行的開頭加上了一個行數
讀取SQL
依賴於PyMySQL，所以需要安裝它。pandas把sql作為輸入的時候，需要制定兩個參數，第一個是sql語句，第二個是sql連接實例。
讀取HTML
依賴於lxml模塊，請安裝它。
對於HTTPS的網頁，依賴於BeautifulSoup4，html5lib模塊。
讀取HTML只會讀取HTML里的表格，也就是只讀取
顯示的是時候是通過python的列表展示，同時添加了行與列的標識
讀取txt文件
輸出顯示的時候同時添加了行與列的標識
scipy
安裝方法是先下載whl格式文件，然後通過pip install 「包名」 安裝。whl包下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl
matplotlib 數據可視化分析
我們安裝這個模塊直接使用pip install即可。不需要提前下載whl後通過 pip install安裝。
下面請看代碼：
下面說說修改圖的樣式
關於圖形類型，有下面幾種：
關於顏色，有下面幾種：
關於形狀，有下面幾種：
我們還可以對圖稍作修改，添加一些樣式，下面修改圓點圖為紅色的點，代碼如下：
我們還可以畫虛線圖，代碼如下所示：
還可以給圖添加上標題，x，y軸的標簽,代碼如下所示
直方圖
利用直方圖能夠很好的顯示每一段的數據。下面使用隨機數做一個直方圖。
Y軸為出現的次數，X軸為這個數的值（或者是范圍）
還可以指定直方圖類型通過histtype參數：
圖形區別語言無法描述很詳細，大家可以自信嘗試。
舉個例子：
子圖功能
什麼是子圖功能呢？子圖就是在一個大的畫板裡面能夠顯示多張小圖，每個一小圖為大畫板的子圖。
我們知道生成一個圖是使用plot功能，子圖就是subplog。代碼操作如下：
我們現在可以通過一堆數據來繪圖，根據圖能夠很容易的發現異常。下面我們就通過一個csv文件來實踐下，這個csv文件是某個網站的文章閱讀數與評論數。
先說說這個csv的文件結構，第一列是序號，第二列是每篇文章的URL，第三列每篇文章的閱讀數，第四列是每篇評論數。
我們的需求就是把評論數作為Y軸，閱讀數作為X軸，所以我們需要獲取第三列和第四列的數據。我們知道獲取數據的方法是通過pandas的values方法來獲取某一行的值，在對這一行的值做切片處理，獲取下標為3（閱讀數）和4（評論數）的值，但是，這里只是一行的值，我們需要是這個csv文件下的所有評論數和閱讀數，那怎麼辦？聰明的你會說，我自定義2個列表，我遍歷下這個csv文件，把閱讀數和評論數分別添加到對應的列表裡，這不就行了嘛。呵呵，其實有一個更快捷的方法，那麼就是使用T轉置方法，這樣再通過values方法，就能直接獲取這一評論數和閱讀數了，此時在交給你matplotlib里的pylab方法來作圖，那麼就OK了。了解思路後，那麼就寫吧。
下面看看代碼：