最近寫了個爬蟲,把 WordPress 外掛庫爬完後,統計資訊如下: 外掛庫總數:96293 筆 還在架上的:59041 筆 還在架上,但沒有 readme.txt 宣告檔案的: 6799 筆 不在架上,也沒有 readme.txt 宣告檔案的: 14437 筆 啟用安裝數大於一百萬的外掛 Slug …
標籤彙整: 分析
[分析] 網站請求使用 GET 方法又需驗證 Referer 的最佳解?
雖說這個案例也滿特別的,但網站解法超棒! 情境是:網站A有一個引用的網址(網站B)如果是走 GET 請求,要加上 Referer 表頭才會顯示出正確資料的話,那網站A這邊要怎麼做才可以讓瀏覽者點擊前往該連結時可以略過驗證? 答案是:http:// domain1. com/path/to/data? …
[PHP] 爬蟲使用 DOMDocument 解析網站時 UTF-8 亂碼
如果你用這方法去解析網站時發現亂碼,那你絕對不孤單XD 至今這問題都還沒被原生解決,不過網路上的解法很有用: $dom = new DOMDocument(); $dom->loadHTML(mb_convert_encoding($data, ‘HTML-ENTITIES’, ‘UTF-8’ …
Facebook 直播使用心情(Reaction)投票的 2 個開發關鍵 API
美國總統大選那段時間席捲大家 Facebook 塗鴉牆的就是「直播心情投票」了吧! 然後,然後就,大家都跟著玩了XD 操作就是: 製造對立 對立選項不能超過目前 Facebook 心情數量(6個) 目前個人看過最爛的是拿來投票「星座」,星座有十二個阿抓六個這樣投也太鳥,至於主題什麼都差不多 十二星座 …