話說在前頭,這只適用當主題與外掛都使用 WordPress HTTP API 來做請求的時候。其他自幹發請求的作法(cURL, file_get_contents..)只能統一設定防火牆將對外出口 Port 給封鎖。 方法: 將這段 define( ‘WP_HTTP_BLOCK_EXTERNAL’, …
分類彙整: API 與資料整合
[WooCommerce] 片段(fragments)互動程式設計要點
WordPress 中的商店組合外掛 WooCommerce ,預設安裝好就有一個公版架構,大部分流程其實沒有什麼問題,結帳(Checkout)頁欄位想要調整成台灣常見的表單欄位(含郵遞區號自動選擇)可以參考之前寫過的 文章。 本篇文章針對進階的互動程式多一點筆記。而既然提到互動程式設計,就會是 A …
[Crawler] Google 與 Facebook 爬蟲觀察進度 – 它會叫了!(誤)
標題浮誇請忽略,主要是這兩邊蟲子最近都有人有新觀察。國外這篇文章「Googlebot’s Javascript random() function is deterministic」,作者觀察到 Google 爬蟲執行 JavaScript 有一個自己的「道理」,這塊有興趣自己看文章便知一二,而我的 …
[FB2WP] Facebook 粉絲頁留言同步網站功能更新細節
這功能最大功臣還是要歸 WordPress 自身提供的方法: url_to_postid 透過 API 反解出留言發文本身帶的文章連結還不打緊,要怎麼對應網站中文章才是問題! 透過這個內建方法,可以去幫我解析出原本發文的文章編號,有編號好辦事~ 而且這次又貼心又賭爛(都不說有改版)的 Webhook …
[筆記] 沒有 API 也能自造的暴力做法:爬蟲 Crawler
說實在會搞到要寫爬蟲也是下下策,不是個方便的解法。對於用法我就不多做介紹了,工具玩法不是筆記中要傳達的~ (等等被說教壞人怎辦!?XD) 平時要寫爬蟲時,會先使用 CURL 命令列工具測試一次: curl -b cookie -c cookie https://www.mxp.tw/login -d …
[macOS] 10.12.6 解決 MAMP 伺服器 SSL handshake failure
更新 macOS 的 OpenSSL 版本 首先,要解決這個問題必須先解決 macOS 下內建的 OpenSSL OpenSSL 0.9.8zh 14 Jan 2016 built on: Jan 23 2017 因為接下來要使用更新版的 OpenSSL 來編譯過 CURL 來解決這個交握錯誤! 參 …
[轉貼] Headless Chrome 使用 Puppeteer NodeJS API 實作爬蟲
剛看到這篇「A Guide to Automating & Scraping the Web with JavaScript (Chrome + Puppeteer + Node JS)」爬蟲實作指南,寫得很詳細,值得收藏筆記一下! 透過 Puppeteer 這套件能將瀏覽器行為程式模組化, …
[PHP] 開發接收端 API 時的 DEBUG 除錯方法
這案例就像是正在開發一個 Web Hook 端的應用,他文件寫一堆,但還是實際看到送過來的東西比較實在,對吧? 這時候「存起來」或「印出來」就是最棒的拉! 剛剛找到一個網友分享他寫的紀錄請求方式,滿完整的如下: Gist: Link class DumpHTTPRequestToFile { pub …
[PHP] 使用正規表示法(RegEx)解析 HTML 文件時,移除特殊字元的陷阱
這幾天都在用 NodeJS 寫爬蟲去測試解析資料,然後昨天要改用 PHP 實作的時候就發生一個詭異問題: 抽出來的文件是正常,但一經過移除斷行的解析時,整個文件編碼就走山了! preg_replace(‘/s+/’, ‘ ‘, $content); 怎麼想都是 preg_replace 這方法幫我加 …
[PHP] CURL 跟隨301、302轉址實現 Google 雲端硬碟檔案下載
這個題目在寫爬蟲的時候算滿常見會要解決的問題。 正好這次因為要爬的對象把資料改放到 Google 雲端硬碟上,所以就來紀錄一下這段程式吧! 是說指令版的 curl 實在是超好物,一跨到程式上就麻煩不少了XD
