【python】抓取上市歷年最高價－陳陳的嘉理

今天陳陳就來教大家如何抓取上市各支股票歷年最高價吧!!

首先就是開啟Anaconda3的Jupyter Notebook

如果還沒安裝Anaconda的可以先去看上一篇

【python】如何安裝Anaconda3(Jupyter Notebook)

【尋找所需資料的網站】

首先，我們要先找到能爬取我們要的資料網站

這裡我們是去抓取台灣證券交易所的資料

從台灣證券交易所抓資料的優點是網址為GET，所以抓取簡單方便，但缺點是太頻繁抓取會被封鎖，所以從這抓資料會花比較長的時間

進入證交所後，我們點選上方的交易資訊→盤後資訊的個股月成交資料

接下來我先隨便打個股票代碼做搜尋，並對「CSV下載」點選右鍵選擇「複製連結網址」

https://www.twse.com.tw/exchangeReport/FMSRFK?response=csv&date=20200615&stockNo=2330

這就是我們複製的網址，我們可以從date=後方的20200615知道，這是日期，stockNo=後方的2330知道是代碼

沒錯，這就是證交所爬取資料為什麼那麼簡單，因為規則就直接打在網址上，一看就知道，我們只要改變這兩個地方我們就能查詢不同年份跟不同的股票

那接下來就是要知道每個上市股票代碼才能替換stockNo=後方的代碼

這部分陳陳前也有發過一篇教學，可以先點去看唷

【python】如何利用python輕鬆抓取上市櫃股票清單

那我們找尋資料的部分就告一段落了，接下來就是撰寫程式的部分拉!!

【撰寫程式】

在撰寫程式前我們都要先設定一個目標，這樣才能快速清楚的知道自己是要抓取什麼資料

而我們今天的目標就是抓到上市各檔股票從1996年到2020年5月的每月最高價

那目標設定好後，我們就開始撰寫吧!!

【step1 import package】

首先我們習慣把要爬取的網站先用##標記在最上方，以方便使用

然後我們要import一些package

1 import requests
2 import pandas as pd

3 import io

4 import datetime

5 import time

6 import calendar

這次一樣會用到基本的requests以及pandas

外加io，io能讓我們讀寫一個虛擬的檔案，因為我們從證交所複製的csv檔網址並非實際下載下來的檔案，所以我們需要透過 io.StringIO 讓我們讀檔

datetime是之後讓我們抓取日期所用

time是為了之後不被證交所封鎖，我們需要time.sleep來限制每次抓取的間隔時間

calendar是為了讓我們的月份更改成英文

其實這一步我們一開始並不會import這麼多，都是往後在抓取時遇到問題我們才會一一加上去，所以剛開始學python的朋友不用太緊張，不用想說怎麼一開始我就要知道import什麼

【step2 先處理股票代碼】

我們透過【python】如何利用python輕鬆抓取上市櫃股票清單已經將股票代碼抓取下來，但還需要做一些整理，因為我們會遇到一個問題，那就是我們是要抓取1996年之後的每檔股票每月最高價，所以要區分該股票是在1996年之前還之後上市，這會影響我們抓資料的些許不同

那我們首先就是要將抓取的股票清單中的「公開發行/上市(櫃)/發行日」的年跟月分出來

7~12以及19行都是我們先前教的，這裡我們增加了幾行讓我們能分出「年」跟「月」

13、14是先在原先的DataFrame中增加我們要的欄位，也就是年跟月，一開始先設為0

15~17是利用for迴圈將每一個原本在「公開發行/上市(櫃)/發行日」中的年跟月分開加入我們創建的欄位，而年月日本身中間有「/」當作區隔，所以我們就利用split("/")來隔開，split的意思就是只要原文中()內的東西都變成分隔資料的間格，例如:2020/6/15，利用split("/")就會變成['2020', '6', '15']，而年的部分就變成字串[0]，月的部分變成字串[1]

最後18就是將我們不要的「公開發行/上市(櫃)/發行日」drop掉，那我們就股票代碼清單整理就告一段落了

7 url2 = "https://isin.twse.com.tw/isin/class_main.jsp?owncode=&stockname=&isincode=&market=1&issuetype=1&industry_code=&Page=1&chklike=Y"
8 page2 = requests.get(url2)
9 df = pd.read_html(page2.text)[0]

10 df = df.drop([0,1,4,5,8,9],axis = 1)
11 df.columns = df.iloc[0]
12 df = df.iloc[1:]
13 df["年"] = 0
14 df["月"] = 0
15 for t in range(1,len(df)+1):
16 df["年"][t] = df["公開發行/上市(櫃)/發行日"][t].split("/")[0]
17 df["月"][t] = df["公開發行/上市(櫃)/發行日"][t].split("/")[1]
18 df = df.drop("公開發行/上市(櫃)/發行日",axis = 1)
19 df = df.set_index("有價證券代號")

將我們處理好的股票代碼清單用一個def來定義函式

【step3 開始抓取股票每月最高價】

這裡陳陳直接拿已經定義def的最終型態來講解

首先我們先定義def，後方名字可自行取，陳陳命名為stock，()內的名稱也能自行設定，因為這只是讓你方便知道要輸入什麼參數

21~24接下來就是處理先前說的從證交所抓取的csv檔，我們將有規律的date=後方以及stockNO=後方的位置改成我們的參數，而date=後方因為我們只需要更改年就好，所以月跟日我們隨便設，因為不影響我們要抓的資料

25行是用if來判斷我們抓的股票他是在1996年之前還之後上市，這樣才不會有股票在還未上市的年分抓不到資料

26~29行是因為證交所在2015年之後有修改他的版面，多了一行，所以我們要多刪掉一行

30、31行是將中文月份更改成英文，這樣在跑圖表時顯示英文比較好看，但如果你想要看中文也是可以不用這行

32、33行是將「有價證券名稱」這欄位名稱更改成最高價，因為我們最後合併放上圖表時，這行的標頭要顯示最高價

34、35行是將民國的年份更改成西元

36、37行是將修改好的年、月合併，例如:修改後的西元年為2020，月份為5月是Mar，合併後變成2020Mar，這就會變成我們圖表右下角跑動的年月份

38~42行是將我們的資料轉置，因為我們最後要合併需要是橫的形式，然後修改一下成我們要的樣式，然後最後加上產業別，這最後在做圖表時可以加入查看股王都是哪個產業的股票，但陳陳最後是沒有放上產業，因為太多產業圖表看上去太雜亂，但如果是要自己看的可以放上去看

44行是如果我們輸入該股票但年份卻在它上市之前，我們就回傳您輸入的年份該股票尚未上市

45行最後就是輸入我們的回傳值，也就是我們最終的答案

20   def stock(stock_id,date_time):
21   df2 = df_u(stock_id)
22   url = "https://www.twse.com.tw/exchangeReport/FMSRFK?response=csv&date=" + date_time + "0101&stockNo=" + stock_id
23   page = requests.get(url)
24   use_text = page.text.splitlines()
25   if date_time >= str(df2["年"][0]):
26   if date_time > str(2015):
27   use_text1 = pd.read_csv(io.StringIO(''.join([text[:-1] + "\n" for text in use_text[1:len(use_text)-4]])))

28 else:
29   use_text1 = pd.read_csv(io.StringIO(''.join([text[:-1] + "\n" for text in use_text[1:len(use_text)-3]])))
30   for i in range(0,len(use_text1)):
31   use_text1["月份"][i] = calendar.month_abbr[use_text1["月份"][i]]
32   df_text = use_text1[["年度","月份","最高價"]]
33   df_text1 = df_text.rename(columns={'最高價':df2["有價證券名稱"][0]})
34   for i in range(0,len(df_text1)):
35     df_text1["年度"][i] = int(df_text1["年度"][i]) + 1911
36   for i in range(0,len(df_text1)):
37   df_text1["年度"][i] = str(df_text1["年度"][i]) + df_text1["月份"][i]
38   df_text2 = df_text1.drop(["月份"],axis = 1)
39   df_text2_T = df_text2.T
40   df_text2_T.columns = df_text2_T.iloc[0]
41   df_text2_T = df_text2_T.iloc[1:]
42   df_text2_T.insert(0,"產業別",df2["產業別"][0])
43   else:
44   df_text2_T = "您輸入的年份該股票尚未上市"
45   return df_text2_T

然後隨便輸入一檔股票跟年份來查看是否為我們要的格式

輸入後檢查一下，2330是台積電，產業是否為半導體業，年份部分對不對，最高價拿去跟證交所查詢的比對一下對不對，並且多查看幾家，如果都沒錯，那恭喜我們又完成一個段落了

【step4 單一股票年份合併】

接下來的工作就是將每檔股票從1996年到2020年5月的最高價資料合併起來

46行一樣先定義一個def

47行是先抓取現在的時間，因為後續會用到

48行一樣先定義前方寫的股票清單為stock_a

49~65行是判斷該股票是在1996年之前還之後上市，如果是之後，我們就從該股票上市那年開始抓取，如果是之前，我們就從1996年開始抓

接下來就是一連串的合併動作，中間記得要間隔8秒，因為在這間隔5秒一樣會被檔

66行是回傳我們要定義值出現的值

那單一股票合併的工作就也完成了

46   def stock_tw1(stock_id):
47   z = datetime.datetime.now()
48   stock_a = df_u(stock_id)
49   if stock_a["年"][0] > 1996:
50   s_0 = stock(stock_id,str(stock_a["年"][0]))
51   s_0_T = s_0.T
52   for b in range(stock_a["年"][0]+1,z.year+1):
53   time.sleep(8)
54   s_1 = stock(stock_id,str(b))
55   s_1 = s_1.drop(["產業別"],axis = 1)
56   s_0_T = s_0_T.append(s_1.T)
57   return s_0_T.T
58   else:
59   s_0 = stock(stock_id,"1996")
60   s_0_T = s_0.T
61   for b in range(1997,z.year+1):
62   time.sleep(8)
63   s_1 = stock(stock_id,str(b))
64   s_1 = s_1.drop(["產業別"],axis = 1)
65   s_0_T = s_0_T.append(s_1.T)
66   return s_0_T.T

然後出來結果大概會像下方這樣，因為康控-KY是2016年才上市，所以資料是從2016年開始到2020年

【step5 將各家股票下載下來】

接下來就是將股票一一下載成CSV檔，這裡可能會有人說為什麼不一起合併成一個檔案再下載下來，因為我們先前有說證交所會有阻擋機制，太頻繁抓取就會被檔，陳陳試了很多次，發現間隔5秒是最適合的抓取時間，但還是有機率會被檔，所以陳陳選擇一檔一檔抓取完後再進行合併，而且我們光上市公司就有900多家，如果每檔都沒失敗都抓成功，外加每檔每年間隔8秒，要抓20幾年，換算下來就要抓個2到3天的時間了，所以使用一檔一檔抓取方式就可以中斷，有空的時候再繼續

66行是先定義我們要存放CSV檔的位置

67行是用for迴圈將股票代碼一一跑過，所以如果中間有中斷，我們能先將df.index[0]額外取出來先看自己目前抓到的檔案位於股票清單第幾個位置，如果找到了就將該數字+1放回index去繼續跑，67行就會變成for a in df.index[要開始抓的股票代碼位置+1:]:

然後剩下的就是抓取每檔股票，try是嘗試執行，失敗話就會跳到except，所以我們在抓取成功的股票後方加上print("Successful!!" + " " + a)，當我們成功時就會顯示successful!!，失敗的話print("Fails at" + ' ' + a + "1")，也就是出現failes，我們才知道我們該檔股票是成功還失敗，而陳陳還會在多加一個try然後間隔10秒是怕在抓取的過程中被封鎖IP，所以休息個10秒看看能不能被打開繼續抓，如果都失敗，我們之後抓完後再例外處理，像陳陳就有遇到一些股票上市日期跟資料提供開始日不同，這就可以事後單獨小修程式抓取出來

66   file_path = r"D:\python\stock_high"
67   for a in df.index[0:]:
68   time.sleep(5)
69   try:
70   stock_tw2 = stock_tw1(str(a))
71   stock_tw2.to_csv(file_path + "\\" + str(a) + '.csv',encoding= 'utf_8_sig')
72   print("Successful!!" + " " + a)
73   except:
74   print("Fails at" + ' ' + a + "1")
75   time.sleep(10)
76   try:
77   stock_tw2 = stock_tw1(str(a))
78   stock_tw2.to_csv(file_path + "\\" + str(a) + '.csv',encoding= 'utf_8_sig')
79   print("Successful!!" + " " + a)
80   except:
81   print("Fails at" + ' ' + a + "2")