發表文章

程式如何控制NGINX不要cache

NGINX有提供以下專用的header,讓後端的程式可以藉由這些HTTP header和NGINX溝通。這些HTTP header都不會傳送到client端。 X-Accel-Expires: set the parameters of response caching; X-Accel-Redirect: performs an internal redirect to the specified URI; X-Accel-Limit-Rate: sets the rate limit for transmission of a response to a client; X-Accel-Buffering: enables or disables buffering of a response; X-Accel-Charset: sets the desired charset of a response. 導入NGINX後都沒什麼情境去使用這些專用header。最近發現到有個情境可使用到X-Accel-Expires。簡單說明如下…

大禮大同步道-立霧山-砂卡礑步道O型

圖片
大禮部落-禮拜堂 年初再度造訪位於 花蓮的瓦拉米步道 時,在瓦拉米山屋和其他山友聊天時,對方推薦大禮、大同部落非常值得去走走。於是,就將這條路線放在口袋名單中…直到雙十國慶連續假期前拿了出來、準備去大禮大同步道探訪。 交通規劃 這次的行程的交通規劃,依舊選擇大眾交通工具。先搭乘火車到花蓮,再轉搭客運到太魯閣遊客中心。原本是希望能買到到距離太魯閣遊客中心比較近的花蓮新城車站,但…花東線的火車在假日總是一位難求,最後只能買到花蓮車站的車班。 如果您也是準備選擇大眾交通工具前往,可參考文末 我們這次的行程表 。

NGINX如何處理HTTP Vary Header

在 前一篇文章 ,提到了如何藉由重新設定NGINX Cache Key,移除不會影響網頁內容的參數。這樣的作法雖然可以提升hit rate,但實務上仍會有所限制,這篇就稍做說明… 首先,我使用瀏覽器瀏覽以下網頁 https://test.com.tw/?para1=123&fbcld=XXXXXXXXXX&para2=456 Nginx Cache Key的組成是否如 前一篇文章 所說的呢?這疑問可以觀察NGINX的cache檔案內容得到答案。 以下節錄Cache檔案的部分內容,可見fbcld已經不見 KEY: test.com.tw/?para1=123&para2=456 HTTP/1.1 200 OK Date: Tue, 14 Jan 2020 07:27:02 GMT Server: Apache Cache-Control: max-age=0 Expires: Tue, 14 Jan 2020 07:27:02 GMT Vary: Accept-Encoding,User-Agent Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=UTF-8 剛提到實務上仍會有所限制,WHY?

NGINX cache key中如何移除網址中不必要的參數

對一個大流量的網站,cache可說是無所不在。由訪客端的browser cache、傳輸過程中的proxy cache,到程式端的nosql等各種cache…對於cache機制,最重要的指標莫過於hit rate。這數字越高,表示該cache機制的效果越佳。 最近在處理一個爬蟲的過程中,注意到一個狀況,當行銷部門買Google廣告、或有網友將網址分享於FB時,Google或Facebook都會在網址後面加上他們自己獨有GET參數。 由於我們有採用nginx作為 reverse proxy ,主要用以降低後端的web server的loading(還有其他用途),上述的狀況會使得hit rate不好。

無耳茶壺山賞芒花

圖片
半屏山往草山戰備道途中盛開的芒花 又到了秋天賞芒的季節,今年再度約了幾個朋友一起踏上金瓜石無耳茶壺山、半屏山、草山戰備道這條賞芒路線。由台北到金瓜石的交通很方便,有以下公車可直達。 公車1062 台北中崙 - 中山高 - 金瓜石 (終點為勸濟堂) 公車965-板橋到金瓜石 (終點為黃金博物館) **需要注意的是,由於公車會行經高速公路,所以不能有站位。當車上座位已滿就不能上車了 因此,此行我依舊是搭乘七點半自強號到瑞芳火車站轉車(居然還買到車票,太幸運了)。這次在瑞芳是搭到 公車788 上金瓜石。

splunk中如何解析JSON、並做處理

圖片
最近有個splunk需求,程式所產生的log中想埋入JSON格式的內容。後續需要由splunk解析該JSON內的資訊、以分析、或相關警示的處理。 首先說明此次splunk中的log格式,舉三筆示意的log如下

向天池觀察向天蝦-鵠沼枝額蟲

圖片
向天蝦-鵠沼枝額蟲 向天山、面天山這條路線,以前就很常走。也因此常去向天池。但總是對於向天『池』這地名很好奇,畢竟我從未看過有水。直到有次看了林宗聖先生所著的 台灣百名山1:大屯火山名山傳奇 ,才知道向天池這個火口湖在多日雨後真的會有『池水』。 慢慢的也才知道每當積水超過兩週後,俗稱向天蝦的鵠沼枝額蟲,他們於土中的卵會趁者積水期間趕緊孵化、生長、繁衍,在向天池完全乾涸前完成生命循環,直到下次積水時再一次循環。 去年向天池也曾積水,但積水約一週就退了,上去時只剩下兩處有淺淺的積水。但,裡面只見黑壓壓的蝌蚪,不見其他生物… 國慶前連續兩週的大雨,查了氣象局的降雨統計推估向天池應該會積水。朋友趁國慶日調班的日子先上去看向天『池』,果然看到了滿滿的池水…但,卻只有看到一隻向天蝦。(唉…我還是沒看過向天『池』)