jami 發表於 14-10-11 05:13

請問權證的買賣日報表怎樣抓呢?

各位好,

想詢問一下,目前上櫃有抓取時間的限制,也就是說不能頻繁密集的抓取數據,不然會被判讀為攻擊而擋掉
因此,想問一下權證那麼多檔,如果設定幾秒才又再去抓取,這樣不就要抓到天荒地老嗎?
不曉得有沒有版面的先進針對這塊怎樣抓取的部分,可以提供建議嗎? 謝謝!

akmod 發表於 14-10-11 06:58

應該不是會被判讀為攻擊而擋掉
而是會被判讀為使用程式自動下載而擋掉
它目的其實是要防堵自動抓取的程式

jami 發表於 14-10-11 08:21

那版面上的高手們,要抓權證資料也是抓一檔在隔一些時間再抓下一檔嗎?

Sirius 發表於 14-10-11 09:16

請問一下權證的買賣日報表在哪下載?

wcyjulian 發表於 14-10-11 19:42

本帖最後由 wcyjulian 於 14-10-11 19:43 編輯

Sirius 發表於 14-10-11 09:16 static/image/common/back.gif
請問一下權證的買賣日報表在哪下載?
集中市場
http冒號//www點twse點com點tw/ch/stock_search/warrant_search.php?STK_NO=2330
OTC
http冒號//www點otc點org點tw/web/extend/warrant/warrant_search_01_result.php?l=zh-tw&warrantobject=1785

把後面那個股票代號換掉, 就可以用Python 這些程式掛系統定時去抓, 證交所用的是html, OTC比較特別, 用的是json格式

pythonist 發表於 14-10-11 20:38

權證買賣日報表抓取方式跟
http://www.coco-in.net/thread-19432-1-11.html
的方法一樣。

以上市證券為標的的權證就在
http://bsr.twse.com.tw/bshtm/
輸入權證代號如081987
就可抓到4M凱基的買賣日報表。

以上櫃證券為標的的權證就在
http://www.gretai.org.tw/web/stock/aftertrading/broker_trading/brokerBS.php
輸入權證代號如715337
就可抓到Z6群益的買賣日報表。

程式中適時的delay和try-exception-backoff-retry可以在2小時內抓完6仟多個檔案。

0sman 發表於 14-10-13 11:43

請問http://www.coco-in.net/thread-19432-1-11.html
要怎樣改才能一起抓到權證呢

pythonist 發表於 14-10-13 21:08


根據
http://www.twse.com.tw/web_mng/manage_content/manage_content_list_download.php?listId=info_exchange_03_2&itemId=1142819996_80

       
                                                                                        集                                中                                市                                場                                權                                證                        國內標的認購權證                        030000-089999               
                                        國內標的認購權證(不等比)                        030000-089999               
                                        國內標的認售權證                        03000-08999+第六碼P               
                                        國內標的認售權證(不等比)                        03000-08999+第六碼P               
                                        外國標的認購權證                        03000-08999+第六碼F               
                                        外國標的認購權證(不等比)                        03000-08999+第六碼F               
                                        外國標的認售權證                        03000-08999+第六碼Q               
                                        外國標的認售權證(不等比)                        03000-08999+第六碼Q               
                                        下限型認購權證                        03000-08999+第六碼C               
                                        下限型認購權證(不等比)                        03000-08999+第六碼C               
                                        上限型認售權證                        03000-08999+第六碼B               
                                        上限型認售權證(不等比)                        03000-08999+第六碼B               
       

       
                                                                                        櫃                                買                                中                                心                                權                                證                        國內標的認購權證                        700000-739999               
                                        國內標的認購權證(不等比)                        700000-739999               
                                        國內標的認售權證                        70000-73999+第六碼P               
                                        國內標的認售權證(不等比)                        70000-73999+第六碼P               
                                        外國標的認購權證                        70000-73999+第六碼F               
                                        外國標的認購權證(不等比)                        70000-73999+第六碼F               
                                        外國標的認售權證                        70000-73999+第六碼Q               
                                        外國標的認售權證(不等比)                        70000-73999+第六碼Q               
                                        下限型認購權證                        70000-73999+第六碼C               
                                        下限型認購權證(不等比)                        70000-73999+第六碼C               
                                        上限型認售權證                        70000-73999+第六碼B               
                                        上限型認售權證(不等比)                        70000-73999+第六碼B               
       



如果只想抓權證,改一行就可以了。
idfilter = re.compile(r'^(?:0|7)\d{3}[\dPFQCB]$')

0sman 發表於 14-10-14 08:40

感謝
原來是idfilter
我一直改後面數字 果然沒這麼簡單

0sman 發表於 14-10-15 14:15

請問大家最近有遇到無法一次抓到全部的明細嗎
檔案數也都不一樣
頁: [1]
查看完整版本: 請問權證的買賣日報表怎樣抓呢?