求證交所民國101年5月前三大法人買賣超日報

heavenweaver

證交所首頁 > 交易資訊 > 三大法人 > 三大法人買賣超日報
http://www.twse.com.tw/ch/trading/fund/T86/T86.php
本資訊自民國101年5月2日起開始提供

懇求大大能提供證交所民國101年5月前三大法人買賣超日報

acerman

左側選單下幾列有"各別法人"的日報,時間從 89 年開始

heavenweaver

acerman 發表於 14-3-22 05:47
左側選單下幾列有"各別法人"的日報,時間從 89 年開始

謝謝您提供的資料，我還真的腦筋一時糊塗沒轉過來。

pythonist

http://www.coco-in.net/thread-22758-1-1.html
6樓

heavenweaver

pythonist 發表於 14-3-22 20:49
http://www.coco-in.net/thread-22758-1-1.html
6樓

我已經寫好AutoIT完成下載了(自2006/02/20起)，後來又仔細看到您有上傳python程式碼貼圖，直接把T86程式碼應用在T38U、T43U及T44U都測試OK，感謝您！

另外說來慚愧，您的上市買賣日報表查詢系統 bshtm_brokerBS 的python程式，我到昨天才搞定(只是增加一個指定買賣日期為存檔目錄而已)，還沒加自動用7z壓縮及完成壓縮後刪除存檔的動作。


附加說明
#T38U: 外資及陸資買賣超彙總表，自民國93年12月17日起開始提供
#http://www.twse.com.tw/ch/tradin ... 17.dat&type=csv
#T43U: 自營商買賣超彙總表，自民國93年12月17日起開始提供
#http://www.twse.com.tw/ch/tradin ... 17.dat&type=csv
#T44U: 投信買賣超彙總表，自民國93年12月17日起開始提供(實際為95/02/20)
#http://www.twse.com.tw/ch/tradin ... 20.dat&type=csv

pythonist

http://www.coco-in.net/thread-32115-1-1.html

pythonist

#T38U: 外資及陸資買賣超彙總表，證交所從民國93年12月17日起開始提供TXT/HTML/CSV三種格式檔案下載，民國89年8月7日至93年12月16日只提供網頁形式。

#T43U: 自營商買賣超彙總表，證交所從民國93年12月17日起開始提供HTML/CSV兩種格式檔案下載，民國89年12月7日至93年12月16日只提供網頁形式。

#T44U: 投信買賣超彙總表，證交所從民國93年12月17日起開始提供HTML/CSV兩種格式檔案下載，民國89年8月7日（實際為89年12月7日）至93年12月16日只提供網頁形式。

證交所沒有提供CSV格式的資料，其實還是可以寫程式parse html -> convert to CSV。

heavenweaver

pythonist 發表於 14-3-23 11:07
#T38U: 外資及陸資買賣超彙總表，證交所從民國93年12月17日起開始提供TXT/HTML/CSV三種格式檔案下載，民國8 ...

謝謝，可惜我不懂 python  re，不知道對應 re.compile的 pattern如何寫？

1. 證券代號        證券名稱          買進股數        賣出股數                買賣超股數
   
2. 2303         聯電          11,422,000          2,218,000          9,204,000
   
3. 
   
4. <tr><th><font size="2" class="AS12">證券代號</font></th>
   
5. <th><font size="2" class="AS12">證券名稱</font></th>
   
6. <th><font size="2" class="AS12">買進股數</font></th>
   
7. <th><font size="2" class="AS12">賣出股數</font></th>
   
8. <th><font size="2" class="AS12">買賣超股數</font></th></tr>
   
9. 
   
10. 
    
11. <tr><td class="AS2"><font size="2" class="AS21">2303</font></td>
    
12. <td class="AS2"><font size="2" class="AS21"> 聯電</font></td>
    
13. <td align="right"><font size="2" class="AS22">  11,422,000</font></td>
    
14. <td align="right"><font size="2" class="AS22">   2,218,000</font></td>
    
15. <td align="right"><font size="2" class="AS22">   9,204,000</font></td></tr>
    
16. 
    
17. <tr><td class="AS2"><font size="2" class="AS21">1216</font></td>
    
18. <td class="AS2"><font size="2" class="AS21"> 統一</font></td>
    
19. <td align="right"><font size="2" class="AS22">   7,296,000</font></td>
    
20. <td align="right"><font size="2" class="AS22">     449,000</font></td>
    
21. <td align="right"><font size="2" class="AS22">   6,847,000</font></td></tr>

複製代碼

pythonist

(1)簡單一點的html用re就可以輕鬆轉成csv，如
http://www.coco-in.net/thread-22758-1-1.html        3樓和9樓

(2)複雜一點的html可以用lxml或BeautifulSoup轉成csv，如
http://www.coco-in.net/thread-19432-1-1.html        1樓

(3)或者利用


http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST_print.php?language=ch&save=csv


用POST方式提交html="<table>............</table>"，只要提交的html字串符合某種格式，上述網址就會轉出csv。

heavenweaver

pythonist 發表於 14-3-24 00:18
(1)簡單一點的html用re就可以輕鬆轉成csv，如
http://www.coco-in.net/thread-22758-1-1.html        3樓和9樓

謝謝您提供的資訊，我所碰到的問題原來不是 re 的 pattern設的不對，而是讀進來的資料是一條龍，所以在還沒使用 re 以前，先將一條龍以 Replace 來增加 New Line "\n" 就搞定了，果然抓資料比 AutoIt 使用 IE.au3要快的太多了。

heavenweaver

pythonist 發表於 14-3-24 00:18
(1)簡單一點的html用re就可以輕鬆轉成csv，如
http://www.coco-in.net/thread-22758-1-1.html        3樓和9樓

引用您的話：
------------------------
(2)複雜一點的html可以用lxml或BeautifulSoup轉成csv，如
http://www.coco-in.net/thread-19432-1-1.html        1樓
-------------------------
您那篇大作堪稱經典之作，一直是當我學py的入門磚。
感謝之餘，特別以 http://lxml.de/api/index.html內容作一個 lxml.chm獻給您及同好參考之用。
lxml.chm (1.94 MB, 下載次數: 237)

14-3-25 12:28 上傳

點擊文件名下載附件
lxml module

pythonist

延續9樓的討論，如果不想自己parse html to csv，可以借助證交所的兩個網址

http://www.twse.com.tw/ch/trading/indices/MI_5MINS_HIST/MI_5MINS_HIST_print.php?language=ch&save=csv
http://www.twse.com.tw/ch/trading/exchange/TWT93U/TWT93U_print.php?language=ch&save=csv

用POST方式提交html="<table>............</table>"，只要提交的html字串符合某種格式，上述網址就會轉出csv。
格式大概是（div可有可無）

<table ......>
        <tr ......><td ......><div ......>text</div></td></tr>
        <tr ......>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
        </tr>
        <tr ......>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
                <td ......>text</td>
        </tr>
</table>

以投信買賣超彙總表        http://www.twse.com.tw/ch/trading/fund/TWT44U/TWT44U.php        為例，程式如下：


結果就是        http://www.coco-in.net/thread-32115-1-1.html        1樓的        TWT44U-20001207-20131231.7z        裡的        20001207至20041216        部份

heavenweaver

pythonist 發表於 14-3-25 21:19
延續9樓的討論，如果不想自己parse html to csv，可以借助證交所的兩個網址

http://www.twse.com.tw/ch/tr ...

感謝您提供這麼詳盡的說明，老實說第9樓的(3)我真沒看懂，有你的後續說明才知道原來是讀進來後經過包裝及編碼，再post給那兩個網址輸出 CSV。曾看過TWSE的網頁是透過java來輸出csv table，沒想到python也可以透過網頁現有的功能來自行輸出CSV，真是佩服您！