[筆記] 沒有 API 也能自造的暴力做法:爬蟲 Crawler

說實在會搞到要寫爬蟲也是下下策,不是個方便的解法。對於用法我就不多做介紹了,工具玩法不是筆記中要傳達的~ (等等被說教壞人怎辦!?XD) 平時要寫爬蟲時,會先使用 CURL 命令列工具測試一次: curl -b cookie -c cookie https://www.mxp.tw/login -d …

[PChome] 新聞台搬家 WordPress 外掛 PChome2WP 教學

這款外掛寫的宗旨就是: 把 WordPress 網站裝好後,剩下交給我吧! (是 WordPress.org 不是 WordPress.com 喔!) 完全不需要將帳號密碼交出來,就能輕鬆搬家到 WordPress 上拉~ 搬家功能包含: 文章標題 文章發文日期 文章標籤 訪客回覆 指定文章搬家 文 …

[macOS] 10.12.6 解決 MAMP 伺服器 SSL handshake failure

更新 macOS 的 OpenSSL 版本 首先,要解決這個問題必須先解決 macOS 下內建的 OpenSSL OpenSSL 0.9.8zh 14 Jan 2016 built on: Jan 23 2017 因為接下來要使用更新版的 OpenSSL 來編譯過 CURL 來解決這個交握錯誤! 參 …

[WordPress] 捕獲更新、修改、發佈內容的 transition_post_status 事件

一直以來找這個「更新、修改或發佈內容」事件我都找到的是 save_post 這個 hook,直到上週意外找到這篇文章「WordPress Publish Post Hook」,發現驚為天人啊~ 原來有權重這麼高的捕捉事件「transition_post_status」可以用,怎麼之前都沒查到呢! 參 …

[轉貼] Headless Chrome 使用 Puppeteer NodeJS API 實作爬蟲

剛看到這篇「A Guide to Automating & Scraping the Web with JavaScript (Chrome + Puppeteer + Node JS)」爬蟲實作指南,寫得很詳細,值得收藏筆記一下! 透過 Puppeteer 這套件能將瀏覽器行為程式模組化, …

[Bot] 程式化你的螢幕操作 – NodeJS 版按鍵精靈

在遊戲界曾經瘋狂的人應該都會聽過「按鍵精靈」吧?(懷疑) 他是一款設定執行腳本後,能協助控制鍵盤滑鼠來協助「假裝人類」行為的工具! 剛剛看到這款「ROBOTJS」真是驚為天人XD 抓螢幕範圍控制滑鼠行為或是控制鍵盤輸入都沒問題,作者也表示因為喜愛 NodeJS 大過於 AutoHotKey 所以乾脆 …

[PHP] 開發接收端 API 時的 DEBUG 除錯方法

這案例就像是正在開發一個 Web Hook 端的應用,他文件寫一堆,但還是實際看到送過來的東西比較實在,對吧? 這時候「存起來」或「印出來」就是最棒的拉! 剛剛找到一個網友分享他寫的紀錄請求方式,滿完整的如下: Gist: Link class DumpHTTPRequestToFile { pub …

[金流] 網頁統一支付介面 – Payment Request API

剛看到這篇技術文章,這個統一支付介面我想是瀏覽器後面打算推進的技術,試圖讓付款方式再簡單、統一,不用每個購物網站都打一遍信用卡資訊了! 只是方便歸方便,如何妥善保存這些資訊不要跟著太容易方便竊取也是很重要的一環。 目前看過最新版有指紋辨識的 Macbook Pro 透過生理解鎖去授權用在這上面還算可 …

[PHP] 使用正規表示法(RegEx)解析 HTML 文件時,移除特殊字元的陷阱

這幾天都在用 NodeJS 寫爬蟲去測試解析資料,然後昨天要改用 PHP 實作的時候就發生一個詭異問題: 抽出來的文件是正常,但一經過移除斷行的解析時,整個文件編碼就走山了! preg_replace(‘/s+/’, ‘ ‘, $content); 怎麼想都是 preg_replace 這方法幫我加 …

[PHP] CURL 跟隨301、302轉址實現 Google 雲端硬碟檔案下載

這個題目在寫爬蟲的時候算滿常見會要解決的問題。 正好這次因為要爬的對象把資料改放到 Google 雲端硬碟上,所以就來紀錄一下這段程式吧! 是說指令版的 curl 實在是超好物,一跨到程式上就麻煩不少了XD

文章
Filter
Apply Filters
Mastodon