請選擇 進入手機版 | 繼續訪問電腦版

COCO研究院

 找回密碼
 註冊
查看: 20912|回復: 24

上市櫃 券商買賣日報表查詢系統 自動化下載 [複製鏈接]

Rank: 2

金錢
835
閱讀權限
20
發表於 12-8-14 00:24:35|載入全部圖片 |顯示全部樓層
上市  買賣日報表查詢系統:
本系統僅提供集中市場當日交易資料
一般、零股交易報表產製時間:每交易日下午4時
鉅額交易報表產製時間:每交易日下午5時30分

如瀏覽報表過於頻繁,疑似程式抓取行為,將暫停您瀏覽並顯示訊息。
上櫃  券商買賣證券日報表查詢系統:
請按[代碼查詢]鍵選取證券代碼或輸入正確代碼進行查詢
***每交易日下午三時三十五分起提供最新券商買賣股票資訊***




本程式沒做任何錯誤處理。下午四、五點左,右太多程式在抓資料,有時會卡住。八九點以後執行幾乎都能順利跑完。
本程式用到Python 2.7.3和lxml。程式只抓股票代號0000~9999的資料。

點擊載入圖片
bshtm_brokerBS.zip (53.24 KB, 下載次數: 2157)


已有 9 人評分金錢 收起 理由
unknown + 2 按一個讚
heavenweaver + 2 太強了
Sirius + 2 之前竟沒注意到這好東西
kuli + 4 太強了!
enochyu + 2 按一個讚!
joey0415 + 2 太強了!
jackshy + 2 太強了!
cococharles + 1 按一個讚!
shex + 2 太強了!雖然還不知道怎麼用!

總評分: 金錢 + 19   查看全部評分

Rank: 4

金錢
1401
閱讀權限
50
發表於 12-8-14 15:51:26|載入全部圖片 |顯示全部樓層
以前也用excel vba抓過,不過就是要設定休息時間,不然可是會出錯的

使用道具 舉報

Rank: 3Rank: 3

金錢
613
閱讀權限
30
發表於 12-8-19 20:54:30|載入全部圖片 |顯示全部樓層
請問這只能抓當天的嗎??

還是可以抓歷史DATA

使用道具 舉報

Rank: 2

金錢
835
閱讀權限
20
發表於 12-8-22 21:05:28|載入全部圖片 |顯示全部樓層
siriusxp 發表於 12-8-19 20:54
請問這只能抓當天的嗎??

還是可以抓歷史DATA

目前官方網站只提供最新一個交易日資料。

使用道具 舉報

Rank: 2

金錢
835
閱讀權限
20
發表於 12-8-22 21:17:03|載入全部圖片 |顯示全部樓層
點擊載入圖片


以上Python 2.7程式會產生6個列表

demo2.zip (83.77 KB, 下載次數: 895)


sii.txt        上市
otc.txt        上櫃
pub.txt        公開發行
rotc.txt        興櫃
siiotc.txt        上市櫃政府公債
futopt.txt        期貨及選擇權
已有 1 人評分金錢 收起 理由
heavenweaver + 2 感謝分享

總評分: 金錢 + 2   查看全部評分

使用道具 舉報

中級會員

水電工

Rank: 3Rank: 3

金錢
2957
閱讀權限
30
發表於 12-8-23 22:56:01|載入全部圖片 |顯示全部樓層
感恩.............
力行好事,休問窮通。

使用道具 舉報

Rank: 1

金錢
5
閱讀權限
10
發表於 12-10-1 11:54:28|載入全部圖片 |顯示全部樓層
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多少頁,又要設休息時間,程式跑的時間好像有點太久了,若版主可以好心告知一下csv檔案的網頁碼的話,小弟將感激不盡

使用道具 舉報

Rank: 3Rank: 3

金錢
613
閱讀權限
30
發表於 12-10-2 11:08:18|載入全部圖片 |顯示全部樓層
實在是太讚啦
感激不盡

使用道具 舉報

Rank: 1

金錢
29
閱讀權限
10
發表於 12-10-2 20:10:49|載入全部圖片 |顯示全部樓層
pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。

使用道具 舉報

Rank: 2

金錢
835
閱讀權限
20
發表於 12-10-9 21:59:44|載入全部圖片 |顯示全部樓層
ccn1015 發表於 12-10-1 11:54
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上市公司以2330為例

1.        抓取
http://bsr.twse.com.tw/bshtm/bsMenu.aspx?HiddenField_page=PAGE_BS&HiddenField_spDate=&__EVENTARGUMENT=&__EVENTTARGET=&__EVENTVALIDATION=%2FwEWCALEh%2FLbCwLjpuXcAwKN4Ij0CwLB5ZfoCQLjk6TKBwKY8en5CwLdkpmPAQL6n7vzC85o%2BZOc3CbEnEINewpQOooAAAAA&__VIEWSTATE=%2FwEPDwUKMTczNDk4NzY0Mg9kFgICAQ9kFgwCBQ8WAh4JaW5uZXJodG1sBQoyMDEyLzA4LzAzZAIGDxYCHwAFCDIwMTIwODAzZAIIDw8WBh4JRm9udF9Cb2xkZx4EXyFTQgKEEB4JRm9yZUNvbG9yCj1kZAIKD2QWAgIBDw9kFgIeB09uQ2xpY2sFHGphdmFzY3JpcHQ6YnV0Q2xlYXJfQ2xpY2soKTtkAgwPDxYGHwFoHwIChBAfAwpHZGQCDg8PFgIeB1Zpc2libGVoZGRkrlNAWrt5h0rbFKKwjmcC%2FQAAAAA%3D&btnOK=%E6%9F%A5%E8%A9%A2&hidTASKNO=&txtTASKNO=2330
分析內容得到總頁數,假設是48

2.        抓取
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&FocusIndex=All_48
就可以抓到全部48頁的html。經過程式分析後寫入csv檔

3.        其實
http://bsr.twse.com.tw/bshtm/bsContent.aspx?StartNumber=2330&download=csv
也可以抓一個csv檔下來,可惜某些欄位沒對齊,有些欄位有漏掉,還不如步驟2自已寫程式由html轉csv

使用道具 舉報

Rank: 2

金錢
835
閱讀權限
20
發表於 12-10-9 22:09:43|載入全部圖片 |顯示全部樓層
ccn1015 發表於 12-10-1 11:54
可以請問一下版主,你是到哪邊抓CSV檔?!! 我用vba好像就只能用他列印的網頁碼,這樣每次我都要測試PAGE有多 ...

上櫃公司以3105為例,直接抓
http://www.gretai.org.tw/ch/stock/aftertrading/broker_trading/download_ALLCSV.php?curstk=3105&fromw=0&numbern=100&stk_date=1011009
一定要用POST的方法抓,不能用GET的方法抓。GET和POST的區別請自行google一下。
已有 2 人評分金錢 收起 理由
heavenweaver + 2 感謝分享
joey0415 + 6 太強了!

總評分: 金錢 + 8   查看全部評分

使用道具 舉報

Rank: 2

金錢
835
閱讀權限
20
發表於 12-10-9 22:19:19|載入全部圖片 |顯示全部樓層
gogo8888 發表於 12-10-2 20:10
pythonist大大,能否請教一下,關於sii那個pagelink是用什麼工具/方式查得的?謝謝。 ...

各大瀏覽器都可以,如

Firefox + Firebug
Opera 的 Opera Dragonfly
Google Chrome 的開發人員工具
IE 的F12開發者工具

使用道具 舉報

新手上路

弱基

Rank: 1

金錢
23
閱讀權限
10
發表於 12-10-10 01:41:39|載入全部圖片 |顯示全部樓層
sgx資料
摩台報價資料
因為excel無法匯入外部資料
抓得到CSV檔嗎??

使用道具 舉報

Rank: 1

金錢
29
閱讀權限
10
發表於 12-10-11 00:05:45|載入全部圖片 |顯示全部樓層
pythonist 發表於 12-10-9 22:19
各大瀏覽器都可以,如

Firefox + Firebug

謝謝您。我先研究一下,如果不懂,不知能否請教您。謝謝。

使用道具 舉報

註冊會員

期貨

Rank: 2

金錢
1577
閱讀權限
20
發表於 12-10-11 02:26:52|載入全部圖片 |顯示全部樓層
請問P大 解壓縮後  要怎麼執行阿

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 註冊



Archiver|手機版|站長信箱|COCO研究院

GMT+8, 14-12-19 14:27

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回頂部
理財討論網站 | 優質玻尿酸隆鼻 專業皮膚科診所 推薦電波拉皮效果 優質淨膚雷射效果 推薦微晶瓷隆鼻 | 徵信社| SEO|