NGINX cache key中如何移除網址中不必要的參數

對一個大流量的網站,cache可說是無所不在。由訪客端的browser cache、傳輸過程中的proxy cache,到程式端的nosql等各種cache…對於cache機制,最重要的指標莫過於hit rate。這數字越高,表示該cache機制的效果越佳。

最近在處理一個爬蟲的過程中,注意到一個狀況,當行銷部門買Google廣告、或有網友將網址分享於FB時,Google或Facebook都會在網址後面加上他們自己獨有GET參數。

由於我們有採用nginx作為reverse proxy,主要用以降低後端的web server的loading(還有其他用途),上述的狀況會使得hit rate不好。

無耳茶壺山賞芒花

往草山戰備道途中
半屏山往草山戰備道途中盛開的芒花
又到了秋天賞芒的季節,今年再度約了幾個朋友一起踏上金瓜石無耳茶壺山、半屏山、草山戰備道這條賞芒路線。由台北到金瓜石的交通很方便,有以下公車可直達。
**需要注意的是,由於公車會行經高速公路,所以不能有站位。當車上座位已滿就不能上車了

因此,此行我依舊是搭乘七點半自強號到瑞芳火車站轉車(居然還買到車票,太幸運了)。這次在瑞芳是搭到公車788上金瓜石。

splunk中如何解析JSON、並做處理

最近有個splunk需求,程式所產生的log中想埋入JSON格式的內容。後續需要由splunk解析該JSON內的資訊、以分析、或相關警示的處理。

首先說明此次splunk中的log格式,舉三筆示意的log如下

向天池觀察向天蝦-鵠沼枝額蟲

向天蝦-鵠沼枝額蟲
向天蝦-鵠沼枝額蟲
向天山、面天山這條路線,以前就很常走。也因此常去向天池。但總是對於向天『池』這地名很好奇,畢竟我從未看過有水。直到有次看了林宗聖先生所著的台灣百名山1:大屯火山名山傳奇,才知道向天池這個火口湖在多日雨後真的會有『池水』。

慢慢的也才知道每當積水超過兩週後,俗稱向天蝦的鵠沼枝額蟲,他們於土中的卵會趁者積水期間趕緊孵化、生長、繁衍,在向天池完全乾涸前完成生命循環,直到下次積水時再一次循環。

去年向天池也曾積水,但積水約一週就退了,上去時只剩下兩處有淺淺的積水。但,裡面只見黑壓壓的蝌蚪,不見其他生物…

國慶前連續兩週的大雨,查了氣象局的降雨統計推估向天池應該會積水。朋友趁國慶日調班的日子先上去看向天『池』,果然看到了滿滿的池水…但,卻只有看到一隻向天蝦。(唉…我還是沒看過向天『池』)