上市櫃 券商買賣日報表查詢系統 自動化下載

pythonist

上市  買賣日報表查詢系統：
本系統僅提供集中市場當日交易資料
一般、零股交易報表產製時間:每交易日下午4時
鉅額交易報表產製時間:每交易日下午5時30分

如瀏覽報表過於頻繁，疑似程式抓取行為，將暫停您瀏覽並顯示訊息。
上櫃  券商買賣證券日報表查詢系統：
請按[代碼查詢]鍵選取證券代碼或輸入正確代碼進行查詢
***每交易日下午三時三十五分起提供最新券商買賣股票資訊***




本程式沒做任何錯誤處理。下午四、五點左，右太多程式在抓資料，有時會卡住。八九點以後執行幾乎都能順利跑完。
本程式用到Python 2.7.3和lxml。程式只抓股票代號0000~9999的資料。

bshtm_brokerBS.zip (53.24 KB, 下載次數: 5872)

12-8-14 00:24 上傳

點擊文件名下載附件

siriusxp

請問這只能抓當天的嗎??

還是可以抓歷史DATA

pythonist

siriusxp 發表於 12-8-19 20:54
請問這只能抓當天的嗎??

還是可以抓歷史DATA

目前官方網站只提供最新一個交易日資料。

pythonist

以上Python 2.7程式會產生6個列表

demo2.zip (83.77 KB, 下載次數: 2705)

12-8-22 21:16 上傳

點擊文件名下載附件

sii.txt        上市
otc.txt        上櫃
pub.txt        公開發行
rotc.txt        興櫃
siiotc.txt        上市櫃政府公債
futopt.txt        期貨及選擇權

jiuhtsair

感恩.............

ccn1015

可以請問一下版主，你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼，這樣每次我都要測試PAGE有多少頁，又要設休息時間，程式跑的時間好像有點太久了，若版主可以好心告知一下csv檔案的網頁碼的話，小弟將感激不盡

siriusxp

實在是太讚啦
感激不盡

gogo8888

pythonist大大，能否請教一下，關於sii那個pagelink是用什麼工具/方式查得的?謝謝。

pythonist

ccn1015 發表於 12-10-1 11:54
可以請問一下版主，你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼，這樣每次我都要測試PAGE有多 ...

上市公司以2330為例

1.        抓取
http://bsr.twse.com.tw/bshtm/bsMenu.aspx?HiddenField_page=PAGE_BS&HiddenField_spDate=&__EVENTARGUMENT=&__EVENTTARGET=&__EVENTVALIDATION=%2FwEWCALEh%2FLbCwLjpuXcAwKN4Ij0CwLB5ZfoCQLjk6TKBwKY8en5CwLdkpmPAQL6n7vzC85o%2BZOc3CbEnEINewpQOooAAAAA&__VIEWSTATE=%2FwEPDwUKMTczNDk4NzY0Mg9kFgICAQ9kFgwCBQ8WAh4JaW5uZXJodG1sBQoyMDEyLzA4LzAzZAIGDxYCHwAFCDIwMTIwODAzZAIIDw8WBh4JRm9udF9Cb2xkZx4EXyFTQgKEEB4JRm9yZUNvbG9yCj1kZAIKD2QWAgIBDw9kFgIeB09uQ2xpY2sFHGphdmFzY3JpcHQ6YnV0Q2xlYXJfQ2xpY2soKTtkAgwPDxYGHwFoHwIChBAfAwpHZGQCDg8PFgIeB1Zpc2libGVoZGRkrlNAWrt5h0rbFKKwjmcC%2FQAAAAA%3D&btnOK=%E6%9F%A5%E8%A9%A2&hidTASKNO=&txtTASKNO=2330
分析內容得到總頁數，假設是48

2.        抓取
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&FocusIndex=All_48
就可以抓到全部48頁的html。經過程式分析後寫入csv檔

3.        其實
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&download=csv
也可以抓一個csv檔下來，可惜某些欄位沒對齊，有些欄位有漏掉，還不如步驟2自已寫程式由html轉csv

pythonist

ccn1015 發表於 12-10-1 11:54
可以請問一下版主，你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼，這樣每次我都要測試PAGE有多 ...

上櫃公司以3105為例，直接抓
http://www.gretai.org.tw/ch/stock/aftertrading/broker_trading/download_ALLCSV.php?curstk=3105&fromw=0&numbern=100&stk_date=1011009
一定要用POST的方法抓，不能用GET的方法抓。GET和POST的區別請自行google一下。

pythonist

gogo8888 發表於 12-10-2 20:10
pythonist大大，能否請教一下，關於sii那個pagelink是用什麼工具/方式查得的?謝謝。 ...

各大瀏覽器都可以，如

Firefox + Firebug
Opera 的 Opera Dragonfly
Google Chrome 的開發人員工具
IE 的F12開發者工具

chwqk

sgx資料
摩台報價資料
因為excel無法匯入外部資料
抓得到CSV檔嗎??

gogo8888

pythonist 發表於 12-10-9 22:19
各大瀏覽器都可以，如

Firefox + Firebug

謝謝您。我先研究一下，如果不懂，不知能否請教您。謝謝。

pure

請問P大 解壓縮後  要怎麼執行阿

Sirius

要有安裝 lxml 這個模組才能正常執行

如果是用Windows，可參考一下這篇

在下載的網頁上有很多其他東西，搜尋 lxml 會較快找到
要選配合你環境的 lxml 安裝版本


以上是因有人問了個問題，我想還是在此補充一下，因為是與本篇有直接相關的