python 在撿股讚抓取資料

阿俊

Dear 版上高手大 :
  近期想要在 ""撿股讚"" 網頁 ，用股價來抓取所有股票代號，不過在程式上遇到一些困難，不知道版上大大是否能幫忙看下哪裡有問題。 小弟的代碼如圖二,  不過執行出來， 撈不出資料如圖一， 看起來像是 data 需要的參數沒代入。 不過小弟看不出哪有問題，再麻煩

Blake

https://stock.wespai.com/pick
股票代號不用寫程式。
用上面的link，把紅色這二個一點，就全列出來了。再copy到excel就結案了

pick

阿俊

Blake 發表於 21-4-20 22:22
https://stock.wespai.com/pick
股票代號不用寫程式。
用上面的link，把紅色這二個一點，就全列出來了。 ...

感謝大大回復，抓股票代號只是第一步，後續要配合以前寫的資料自動抓我要的資料，所以才要寫程式    如圖一因為目前的代號是自已先整理 excel ，再用程式抓的。    所以規劃寫程式抓所有的股票代號，再搭配目前程式。

Blake

阿俊 發表於 21-4-21 00:06
感謝大大回復，抓股票代號只是第一步，後續要配合以前寫的資料自動抓我要的資料，所以才要寫程式    如圖 ...

很多網站都會鎖ip,建議抓yahoo, 它比較能撐。

mick

import requests
import pandas as pd

url = 'https://stock.wespai.com/pick/choice'

header = {
    'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
    'referer': 'https://stock.wespai.com/pick',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'
}
#股價 5 元至 10 元
myobj = {'qry[]':'dv','id[]':'dv','val[]':'5;10'}
x = requests.post(url, data = myobj,headers=header)

print(x.text)
data = x.json()
print(data)
df = pd.DataFrame.from_dict(data)
df

mick

colab 網站跑 python 程式碼.

阿俊

感謝 mick 大的回覆， 小弟不久前參考網路上的例句，也試出來，原來是 headers 不能省略。
附上小弟的寫法供其他有需要的人參考，非常感恩.