MorganLiu 發表於 12-3-5 19:19

是"信用額度總量管制餘額表"
這個表格沒錯

不懂!
整個網頁下載是指Excel外部連結?
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM http://coco-in.net/images/common/back.gif


    ex:
http://www.twse.com.tw/ch/trading/exchange/TWT93U/TWT93U.php?input_date=101/03/02

我是python做連結,下載整個網頁
再讓python處理

MorganLiu 發表於 12-3-5 19:50

是"信用額度總量管制餘額表"
這個表格沒錯

不懂!
整個網頁下載是指Excel外部連結?
這只能做最新交易日 ...
HSIEN 發表於 12-3-5 03:23 PM http://coco-in.net/images/common/back.gif
你可以問問pythonist
他可能知道

HSIEN 發表於 12-3-5 22:14

ex:


我是python做連結,下載整個網頁
再讓python處理
MorganLiu 發表於 12-3-5 07:19 PM http://www.coco-in.net/images/common/back.gif

謝謝你的解說及URL
{:4_151:}{:4_209:}{:4_209:}

HSIEN 發表於 12-3-5 22:23

2010年信用額度總量管制餘額表
pythonist 發表於 11-6-18 10:14 PM http://www.coco-in.net/images/common/back.gif

{:4_84:}pythonist 大
測了很久都無法下載{:4_193:}
請教上市的"信用額度總量管制餘額表"
http://www.twse.com.tw/ch/trading/exchange/TWT93U/TWT93U.php#
下載.csv 的 正確 URL

拜託!!提供一下!
~謝謝你~
   
{:4_160:}

pythonist 發表於 12-3-5 23:55

方法跟
http://coco-in.net/thread-15410-1-5.html
的5樓一樣。

csv檔是動態產生的,以text/octet-stream的形式傳回來的。
網路上很多這種AJAX的動態資料,是網頁上某個img或button被點擊後,去資料庫撈raw data,經由程式動態產生cooked data。這種資料通常沒有所謂的"正確下載URL"。

可以寫支Python程式透過Selenium去操作Mozilla Firefox,模擬點擊“另存csv“的動作,攔截text/octet-stream,自動儲存檔案。

輸入底下的Python Code存成demo.py




在Ubuntu下開啟xterm
1.        如果已經有python,直接進到step 2,否則執行
        sudo apt-get install python
2.        sudo apt-get install python-setuptools
3.        sudo easy_install -U pip
4.        sudo pip install -U selenium
5.        sudo apt-get install firefox
6.        python demo.py 20120102 20120304
7.        大功告成,TWT93U20120102.csv ~ TWT93U20120303.csv自動抓取成功。

pythonist 發表於 12-3-5 23:59

2012年1月1日~ 2012年3月3日的信用額度總量管制餘額表。


HSIEN 發表於 12-3-6 09:33

pythonist 大,謝謝你!
{:4_113:}

豆芽組還真看不懂{:4_93:}
所以我得花點磨合 python 對應語法

真的,感謝教學
{:4_209:}{:4_209:}{:4_209:}

sleepycat 發表於 13-4-12 00:15

非常感謝pythonist 大   
最近在學python
已經很久了還能查到這樣的好文
受益良多
頁: 1 [2]
查看完整版本: 下載網頁的問題