COCO研究院

 找回密碼
 註冊
搜索
查看: 3157|回復: 11

[數據] 新手報到技術交流

[複製鏈接]
發表於 14-5-17 13:46 | 顯示全部樓層 |閱讀模式
各位朋友大家好,小第鑽研 Excel VBA 超過八年的時間,不敢說精通,但把亂七八糟的資料原始檔做成資料庫格式應該不成問題,前一陣子得知原來證交所與櫃買中心有公布當日經紀商買賣日報表,在這邊爬文得到了一些寶貴資訊,並用 VBA 小試身手從網站下載資料並做成了資料庫格式,在此回饋給各位版友(因TSE 檔案太大,僅放OTC部分個股),VBA處理資料、大量檔案很有效率,但連結web下載資料,感覺不是很有效率,我看各位版友都是用 pyhton來處理,也引起了我想學這個語法的興趣,希望有機會更各方高手交流,也請各位不吝指教。

經紀商交易日報表 20140516 OTC Sample.7z

1.83 MB, 下載次數: 385

評分

參與人數 1金錢 +2 收起 理由
vincent16888 + 2 感謝分享

查看全部評分

發表於 14-5-17 21:09 | 顯示全部樓層
本帖最後由 aa741121 於 14-5-17 21:15 編輯

這資料真酷
能否提供原始資料網站
感謝

發表於 14-5-18 12:35 | 顯示全部樓層
謝謝大大無私的分享~~
可以請教大大一個問題嗎??
Excel VBA 使用的語言是vb嗎??
還是C++呢???
  因為想學程式語言,如果不懂的地方可以請教大大嗎???
   謝謝'
 樓主| 發表於 14-5-18 15:16 | 顯示全部樓層
ROMIN456 發表於 14-5-18 12:35
謝謝大大無私的分享~~
可以請教大大一個問題嗎??
Excel VBA 使用的語言是vb嗎??

純粹 Excel VBA,不過我曾經看過 VB 的程式書,感覺語法很類似。
在 Excel 作業畫面按  Alt+F11 就可以進入 VBA 的編譯畫面了,程式碼是依附在 Excel 檔案裡。

Excel VBA 有好處也有壞處,基本好處是除了不用安裝新的程式之外(在公司也可以用,提升工作效率),孰練到某個程度,你可以發現它可以很精細的處理、分析每一筆、甚至每一個儲存格的資料 / 格式,也可以設計對話視窗(userform)讓定期工作變得更友善(不用每次都到程式裡改程式碼),對檔案的操作(檔名判讀、刪除、存檔)也很便利。

壞處則是單一工作表有 65536 * 16 筆數限制,另外單一檔案如果太大(我的經驗是>50M),單檔操作(即便搭配用 SQL語法)感覺電腦跑起來有點慢,所幸可以藉由 VBA 將資料轉成其他資料庫格式(如 Access、MS SQL)檔案,須要用到時再利用程式呼叫 / 處理。

市面上有很多 VBA 的書,祝你學習順利!
 樓主| 發表於 14-5-18 15:24 | 顯示全部樓層
aa741121 發表於 14-5-17 21:09
這資料真酷
能否提供原始資料網站
感謝


不好意思,我權限不夠,無法提供連結,請 google 關鍵字「經紀商買賣日報表」即可…

其實這個版爬文應該也爬得出來,也感謝各位先進!

評分

參與人數 1金錢 +1 收起 理由
aa741121 + 1 感謝分享

查看全部評分

發表於 14-5-19 10:32 | 顯示全部樓層
版大太厲害了
謝謝分享~~~~~~
發表於 14-5-20 00:10 | 顯示全部樓層
哇,原來你是把所有上櫃的股票都放在同一個檔,我抓下來的是一個股票一個檔,請問整合起來要花多長時間,10分鐘跑不掉吧!!
 樓主| 發表於 14-5-20 10:32 | 顯示全部樓層
Brandy 發表於 14-5-20 00:10
哇,原來你是把所有上櫃的股票都放在同一個檔,我抓下來的是一個股票一個檔,請問整合起來要花多長時間,10 ...

Brandy 兄您好:

我目前寫的 VBA 程式整合上市 + 上櫃約 1500 個檔案(整在同一個檔案),大約要 25 分鐘左右,每一天檔案(格式 Excel 2007) 大約在 30M 上下,目前的做法是檔案下載完後,晚上睡覺前放下去跑,隔天早上起床再跑一段檢核程式約30秒,檢核個股的買進總數是否等於賣出總數、檢核是否有個股有檔案但無交易股數者,再針對這類個案再進一步進官網調資料進行確認。

這一兩周會再進一步把每天的 Excel 日整檔資料寫程式整進 Access 檔成為月檔,這樣才比較容易下 SQL 進行跨日跨股分析。



 樓主| 發表於 14-5-20 13:09 | 顯示全部樓層
跟各位朋友補充報告:小弟今天發現原先的整檔程式有點小 bug, 處理 OTC 檔案的[序號]欄位貼反了,所以會變成官網上偶數序號的資料,變成我檔案裡奇數序號的資料,不過應該不影響關鍵資料的正確性與分析結論,小弟對程式與資料品質自我要求較高,再次更正如附件。

經紀商交易日報表 20140516 Sample.7z

3.06 MB, 下載次數: 209

發表於 14-5-20 13:29 | 顯示全部樓層
iamenix2013 發表於 14-5-20 10:32
Brandy 兄您好:

我目前寫的 VBA 程式整合上市 + 上櫃約 1500 個檔案(整在同一個檔案),大約要 25 分 ...

沒錯,抓完要檢查總買是不是等於總賣,我記得1月2號上櫃改版,結果抓到的都是空白
我有想過要把上市上櫃都放在同一頁,結果跑到當機,office2013好像跟win7-64bit不合

發表於 14-5-24 13:58 | 顯示全部樓層
大大會寫程式真的很厲害
人腦速度比不上電腦速度


發表於 14-5-29 23:19 | 顯示全部樓層
謝謝分享,感恩~~~~~~~


您需要登錄後才可以回帖 登錄 | 註冊

本版積分規則

手機版|Archiver|站長信箱|廣告洽詢|COCO研究院

GMT+8, 24-5-5 12:29

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回復 返回頂部 返回列表
理財討論網站 | AI繪圖AI超擬真美女AI beauty AI Stable DiffusionAI正妹AI Lookbook