目前分類:評比測試 (10)

瀏覽方式: 標題列表 簡短摘要
請按我..繼續閱讀全文....

rogerspeaking 發表在 痞客邦 留言(0) 人氣()

請按我..繼續閱讀全文....

rogerspeaking 發表在 痞客邦 留言(0) 人氣()

請按我..繼續閱讀全文....

rogerspeaking 發表在 痞客邦 留言(0) 人氣()

**這篇文章是發表在今年三月資安人雜誌**

為什麼我要寫「如何測試與選擇防毒軟體和反間諜軟體」這篇文章呢?其實,最主要的目的是要向各位說明國外的測試機構或資安雜誌如何測試或評比防毒軟體和反間諜軟體,以及比較國外與國內的測試機構 (Malware-Test Lab) 對防毒軟體和反間諜軟體的測試方法有何差異。如果各位了解這些內容,想必對各位在選擇防毒軟體和反間諜軟體有莫大的幫助。

測試方法有哪些

一般在對防毒軟體和反間諜軟體的測試上,可分為軟體和硬體兩部份;軟體部分可分為用戶端、伺服器端、閘道端等等,硬體部分可分為用戶端、閘道端、電信用戶端等等。測試方法大概有下列幾種:

一、即時掃描測試 (On-Access Scan)

  • 大部分的防毒軟體都有即時掃描,當對檔案進行存取時,它們就會發生作用,而且,它們都是實作在系統核心模式 (Kernel Mode)下。這個測試主要是在測試防毒軟體是否可以即時偵測到入侵的病毒樣本。

  • 幾乎所有的間諜軟體都有即時防護,但與防毒軟體的即時掃描有極大的差異,因為反間諜軟體的即時防護是行為偵測或監控 (Behavior-Based Detection or Monitor)。當執行一個檔案時,系統發生改變 (如檔案、註冊碼等等),反間諜軟體會彈出一個視窗警告使用者是否允許或拒絕改變,決定權在於使用者。反間諜軟體的即時防護都是實作在系統使用者模式 (User Mode),如果間諜軟體執行的夠快的話,間諜軟體是極可能可以成功地感染系統。

  • 對防毒軟體而言,大部分的測試機構都會做這項測試,因為只要有樣本即可做此項測試,但對間諜軟體而言,大部分的測試機構都不會做此項測試,因為它們即時防護應該都偵測不到。


二、手動掃描測試 (On-Demand Scan)




  • 所有的防毒軟體手動掃描測試都是針對檔案。這個測試是將病毒樣本放置在某個檔案夾,然後,開啟防毒軟體針對那個檔案夾進行掃描,等待掃描完成之後,再計算多少檔案被偵測為病毒。事實上,即時掃描與手動掃描的測試結果必須一致,否則,就必須檢查是測試有問題,還是防毒軟體有問題。

  • 反間諜軟體手動掃描測試比較特別,它可以針對檔案、註冊碼、Cookies等進行掃描,所以,做起來比較麻煩,大部分的測試機構還是針對檔案進行測試。

  • 大部分的測試機構都會做此項測試,因為只要有樣本即可。


三、啟發式掃描測試 (Heuristic Scan)




  • 防毒軟體掃瞄引擎幾乎都有一個處理器的模擬器,會根據一些規則來判斷是否為惡意程式,但有些正常的軟體也會有這些規則,因此,導致誤判,所以,這項測試都會與誤判掃描測試一起進行。這個測試主要是要測試防毒軟體對未知病毒的偵測能力。

  • 反間諜軟體幾乎都沒有此項功能。

  • 對防毒軟體而言,大部分測試機構都不會做此項測試,最主要原因是此項測試需要花費比較長的時間,而且,也必須對防毒軟體引擎有相當了解的人才有能力做此項測試。對反間諜軟體而言,則不需做此項測試。


四、誤判掃描測試 (False-Positive Scan)




  • 防毒軟體引擎是依據病毒庫的病毒特徵來做比對,如果在病毒庫找到此項特徵,就視為病毒,但有時候病毒特徵設計不好,就會產生將正常檔案視為病毒的情形,這就稱為誤判。這個測試主要是測試防毒軟體的可靠度,通常會與啟發式掃描一起做測試。

  • 大部分的測試機構都不會做此項測試。


五、檔案清除測試 (File-Clean Test)




  • 有些病毒會感染系統的正常檔案,必須將這些受感染的檔案收集起來,再使用防毒軟體引擎對其做清除的動作,然後,檢查清除的檔案是否還包含惡意程式碼以及是否能正常的開啟。這個測試主要是在測試防毒軟體引擎對受感染檔案的清除能力。

  • 大部分防毒軟體引擎都支援此項功能,但大部分的反間諜軟體都不支援此項功能,不過,它們藉著加入防毒軟體引擎達成此項功能。

  • 對防毒軟體而言,大部分的測試機構不會做此項測試,因為需要花費大量時間,而且,還必須要有分析病毒的能力。對反間諜軟體而言,都沒有做此項測試,因為以前的間諜軟體都不會感染系統檔案,不過,現在有些間諜軟體則會感染系統檔案。


六、系統清除測試 (System-Clean Test)




  • 在執行病毒或間諜軟體檔案之後,大部分的病毒會建立或修改系統的執行程序、檔案、註冊碼等地方,所以,防毒軟體引擎必須針對這些行為進行修復動作。這個測試主要是在測試防毒軟體引擎對已感染的系統的清除能力。有時候防毒軟體或反間諜軟體會刪掉一些不該刪除的檔案或註冊碼,所以,必須特別小心。

  • 所有的反間諜軟體都支援此項功能。

  • 對防毒軟體而言,大部分都沒有整合此項功能。防毒軟體廠商是根據病毒熱門程度,單獨提供修復程式。對反間諜軟體而言,只有少數的測試機構會做此項測試,因為必須要有相當的技術能力,才能做此項測試,而且,需要花費大量時間。為了節省時間,有些測試機構沒有實際安裝樣本,不過,這樣的測試結果就不能算是公正。


七、穩定度測試 (Stability Test)




  • 大部分的防毒軟體都有驅動程式 (Driver),有時候會因為某些因素造成系統不太穩定,對於反間諜軟體來說,以前大部分都沒有驅動程式,但因為為了有效攔截間諜軟體或惡意程式,現在已經有越來越多的趨勢。這個測試主要是在測試當使用防毒軟體或反間諜軟體時,系統是否會常常當機或不穩定。

  • 大部分的測試機構都不會做此項測試。


八、壓力測試 (Stress Test)




  • 當系統在高度缺乏資源 (如很高的處理器使用量等) 下所做的測試。這個測試主要是在測試防毒軟體或反間諜軟體是否會有異常狀況。

  • 大部分的測試機構都不會做此項測試。


九、效能測試 (Performance Test)




  • 這個測試主要是在測試防毒軟體或反間諜軟體是否會對系統產生效能瓶頸。有些防毒軟體或反間諜軟體掃瞄速度非常的慢,有時候會拖垮系統效能,以致影響其他的應用程式執行。

  • 大部分的測試機構都不會做此項測試。


十、記憶體使用量測試 (Memory-Usage Test)




  • 這個測試主要是在測試防毒軟體或反間諜軟體是否會使用大量記憶體。有些防毒軟體或反間諜軟體會使用大量記憶體,以至於系統其他應用程式無法取的足夠的記憶體或是影響系統效能。

  • 大部分的測試機構都不會做此項測試。


十一、硬碟使用量測試 (Disk-Usage Test)




  • 這個測試主要是在測試防毒軟體或反間諜軟體是否會使用大量的硬碟空間。

  • 大部分的測試機構都不會做此項測試。


十二、反安裝測試 (Uninstallation Test)




  • 這個測試主要是在測試防毒軟體或反間諜軟體是否能完全反安裝。有些防毒軟體或反間諜軟體在反安裝之後,常常會殘留一些檔案或程式在系統裡,因而,出現一些奇怪的問題。


國外測試機構會做哪些測試項目

國外比較有名的測試組織 (如AV-Test, Virus Bulletin, ICSALabs, The NSS Group, CheckVir, WestCoast Labs, AV-Comparatives等) 或資安雜誌 (如PC Magazine, CNET, SC Magazine等) 在做防毒軟體或反間諜軟體評比時,大部分都侷限在對病毒或間諜軟體樣本的偵測率 (Detection Rate) 或對產品的使用者介面 (User Interface) 上做比較,很少會做其他的測試項目。最主要的原因是無利可圖、需要花費大量時間及人力和需要有相當的技術能力。然而,這些測試機構最常接受廠商的委託,針對它們的產品進行私下測試與評估。

國內 Malware-Test Lab 會做哪些測試項目

如果有足夠的資源,國內的 Malware-Test Lab 會對前面所列的各個項目進行測試,但也接受廠商私下委託進行產品的測試與評估。

不為人知的一面

不曉得各位有沒有發現一個現象,大部分的測試機構都只會公佈一個百分比的數字,如K牌防毒軟體偵測率為99%,S牌防毒軟體偵測率為90%,T牌防毒軟體偵測率為70%等,而不會公佈其他詳細的資訊。測試評比講求是別人也可以經由你所提供的資訊來驗證測試結果,但很不幸的是我們無法從這些測試機構所公佈的資訊來驗證他們所做的測試結果。Malware-Test Lab 秉持分享經驗與技術的理念,將這些測試數據公開,讓有心想知道這方面資訊的人,能得到詳細且精確的資訊。

防毒軟體與反間諜軟體測後感想

從防毒軟體的測試中,本人觀察到下列一些現象:

  • 關於掃描速度,有些防毒軟體非常快就完成掃描工作,有些則花費非常久的時間。例如,有十萬隻病毒檔案,有些防毒軟體只需花費一到二個小時左右就能完成掃描,有些則需花費二十四小時左右才能完成,差異非常的大。本人認為這可能與啟發性掃描 (Heuristic Scan) 有關。

  • 關於啟發式掃描,有些防毒軟體的誤判率很高,不過,需要進一步測試。

  • 關於即時掃描,大部分防毒軟體只針對檔案,其他的如註冊碼等就不管了,導致無法有效防禦未知病毒。

  • 關於加殼程式 (Packer Program),其主要的功能就是透過某些方法將一個較大的檔案壓縮成較小的檔案,而且,當執行壓縮過的檔案,會直接被載入記憶體中執行,而不會先將檔案解壓縮暫存於硬碟中。很多病毒樣本其實是同一隻病毒,但它被很多不同的加殼程式壓縮過,導致很多防毒軟體無法偵測它。大部分防毒軟體對於加殼的病毒,其偵測率皆很低。

  • 關於效能問題,很多系統在安裝某些防毒軟體之後,效能很明顯下降許多。大部份原因是佔用太多系統資源,導致其他應用程式無法獲得系統資源。

  • 關於系統清除,大部分的防毒軟體都不直接支援此項功能,而是發生中毒現象後,才可能提供修復程式給使用者。

  • 關於反安裝問題,很多防毒軟體反安裝之後,都會殘留一些檔案於系統中,無法完全移除。


從反間諜軟體的測試中,本人發覺到有下列的情形:

  • 關於間諜軟體清除問題,大部分的反間諜軟體都不是很好,最好的大概也只有百分之八十左右。

  • 關於註冊碼誤判問題,它們不像檔案,可以檢查其內容,所以,大部分反間諜軟體常常會把正確的註冊碼當成不正常的註冊碼,導致系統產生不穩定現象。

  • 關於檔案辨識問題,因為大部分的反間諜軟體都是用MD5的演算法對整個檔案進行掃描,但間諜軟體的作者知道這點,所以,常常會對檔案內容作手腳,導致反間諜軟體很難以偵測它們。

  • 關於註冊碼辨識問題,因為大部分的反間諜軟體都是用常規表示法 (Regular Express) 來做比對,間諜軟體常常隨意產生一些註冊碼,而且,每次都不相同,導致反間諜軟體很難偵測它們。

  • 關於自動更新問題,很多間諜軟體都有此功能,常常做自我更新,導致反間諜軟體很難偵測及清除它們。

  • 關於即時防護問題,大部分的反間諜軟體都是實作在使用者模式 (User Mode), 有時候間諜軟體已經執行完畢後,反間諜軟體才顯示警告視窗,其實,間諜軟體已經感染系統了。


防毒軟體與反間諜軟體的差異性

有很多人搞不太清楚到底防毒軟體與反間諜軟體有何差異?下列就簡單地說明它們的不同處:

  • 如果有即時防護存在,一個作業系統只能安裝一套防毒軟體 (Windows XP SP2以後,微軟提出了一個 Mini Filter架構,允許安裝多個防毒軟體),但可以安裝多套反間諜軟體,主要原因是防毒軟體的即時防護是實作在核心模式 (Kernel Mode)以監控檔案的存取動作,如果同時安裝其他的防毒軟體,可能會造成系統死當 (Deadlock)、不穩定或競爭條件 (Race Condition) ,但大部分的反間諜軟體是實作在使用者模式 (User Mode),即使發生問題,也不致影響系統運作。

  • 大部分的防毒軟體都是依賴特徵碼對檔案進行偵測,然後,採取刪除或隔離動作,但大部分間諜軟體是對整個系統做清除的動作,差別在於間諜軟體已經感染系統,然後,才執行清除動作。

  • 防毒軟體的即時防護是對整個檔案系統的存取動作進行掃描,但反間諜軟體的即時防護是對局部的系統做監控動作,無法保護整個系統。


防毒軟體與反間諜軟體的結合

由於病毒與間諜軟體的分野已經越來越模糊了,而且,安全威脅的整合是資安軟體未來趨勢,所以,未來的防毒軟體與反間諜軟體勢必相互整合,以創造市場競爭優勢,否則,只能等待奇蹟的出現。

如何選擇防毒軟體與反間諜軟體

很多人會問這個問題,但如果你對一些病毒或間諜軟體所使用的技術不了解的話,不太可能會選擇到適合你的產品,很多廠商是不會告訴你這麼詳細的資訊,只要買他們產品,其他的就交給他們處理,不是這樣嗎?下面就概略地說明如何選擇防毒軟體與反間諜軟體:

  • 選擇售後服務好的廠商,否則,有時候發生問題,還不知要找誰來解決。

  • 對可疑檔案、未知病毒或間諜軟體,選擇反應時間與解決問題快的廠商,否則,別的防毒軟體或反間諜軟體已經可以偵測到了,你還在癡癡的等待。

  • 選擇偵測率較高的產品。各位要知道一個觀念,現在的測試機構都是針對已知病毒或間諜軟體去做測試,但未知的東西遠大於已知的東西。

  • 選擇防護力較佳的產品,不過,各位很難去評估,如果有經費的話,還是請專業的測試機構幫忙做評估。

  • 選擇清除病毒或間諜軟體能力佳的產品。

  • 選擇不會影響系統效能及穩定度的產品。

  • 如果可以的話,只安裝一家防毒軟體的即時防護為主,再安裝二至三家其他家的防毒軟體 (沒有即時防護) 為輔,之後,再安裝二至三家反間諜軟體,然後,定期做系統掃瞄,以確保安全。

  • 最後一點是一定要試用,然後,觀察其他的同事有什麼反應或意見。


相信各位看完上面的敘述,對選擇防毒軟體與反間諜軟體,應該有基本的了解,那就不多說了。

結論

如果你是一般使用者,你會關心什麼呢?偵測率?誤判率?清除率?還是其他的?我想你一定比較在乎偵測率與清除率,因為可以免於中毒,而且,中毒之後,又可以解決各位的問題,但如果你是企業的網管人員,我想你對很多項目應該都很關心吧,因為很多項目可能都會讓你所管理的電腦出問題。最後,希望各位在看過這篇文章之後,以後不要只看表面上的東西,而是要發掘隱藏在其後的事情,這樣你才會了解整個事情的原貌。

 

rogerspeaking 發表在 痞客邦 留言(13) 人氣()

前幾天,我們實驗室 (Malware-Test Lab) 公佈一份防毒軟體評比測試報告 (02/26/2007),在某些論壇上,引起熱烈的討論。對於一些批評指教,我們都樂意接受。下面的段落,我會說明這次測試所遇到的一些狀況,以及未來的計畫。

測後心得:

1. 在測試過程中,很多防毒軟體 (如下所列) 都會發生應用程式錯誤 (Application Error) 或停止不動作,導致測試無法繼續進行下去,這些防毒軟體的品質,實在令人難以恭維,尤其是 Symante,每次都會發生,難道他們的 QA 測不出來嗎?我真的很懷疑。

  • Dr.Web Antivirus 4.33

  • Symantec Internet Security 2007

  • Virus Chaser Professional

  • VirusBuster Professional 2006

  • PC Tools Antivirus 3.1 (Free)

  • F-Prot Antivirus 3.16f (掃描快完成時才發生,可以從記錄檔得知其偵測率)

  • F-Secure Internet Security 2007 (安裝完成且重新開機後,從此系統一直重開機)

  • Sunbelt CounterSpy V2 (某個惡意檔案使得它的掃描引擎發生問題)


2. 在測試過程中發現,有很多防毒軟體掃描速度太慢 (如下所列),讓整個測試時間變得太長,導致測試有些許誤差。我個人認為是啟發式偵測 (Heuristic Detection) 的問題,因為把它的設定設為最高,下次測試可能利用預設值 (防毒軟體廠商推薦的設定)。

  • Trend Micro Internet Security 2007 (超過 40 個小時)

  • AVIRA AntiVir PersonalEdition Classic 7.0 (Free) (超過 64 個小時)

  • AVIRA Premium Security Suite 7.0 (超過 175 個小時) (今天才完成)

  • GRISOFT AVG Internet Security 7.5 (超過 70 個小時)


3. 在測試過程中得知,很多防毒軟體只顯示最後的掃描結果,並沒有提供完整的掃描記錄檔,所以,無法得知其偵測到哪些惡意檔案 (需要過濾掉重複的掃描記錄),以至於產生誤差。

4. 在測試過程中得知,有些防毒軟體 (如下所列) 會自動處理偵測到的惡意檔案,無法改變其對惡意檔案的處理動作 (Action Taken),這種的設計方式很不好,如果發生誤判,就會發生問題。對於測試組織,每次都需要重新拷貝惡意檔案,對於有經驗的人,就無法調整其設定。

  • Symantec Norton Internet Security 2007

  • McAfee Internet Security 2007

  • Microsoft Windows Live OneCare 1.5

  • 其他 (省略)


5. 在測試過程中得知,很多防毒軟體的反間諜軟體掃瞄部分都與防毒軟體掃描部分分開,而沒有整合在一起。有什麼壞處呢?如果測試樣本同時包含病毒和間諜軟體等,而且,測試防毒軟體掃描,這樣他們就無法偵測到間諜軟體的樣本。另外,這裡要注意的是反間諜軟體以前都是針對感染的系統,所以,他們對個別間諜軟體檔案的偵測率都很低。

  • Trend Micro Internet Security 2007

  • CA Internet Security 2007

  • AhnLab V3 Internet Security 2007 Platinum


測試議題及改善:

對於無法在同一時間測試所有的防毒軟體的問題,雖然可以利用其他方法解決,但我們應該會繼續採用這種方式,唯一不同的是相似的產品盡量在同一時間進行測試。

未來計畫:未來會陸續增加「誤判率測試」、「防毒軟體企業版測試」、「效能測試」、「穩定度測試」等測試項目。

注意:在這裡要特別說明,我們都是使用正式發表的產品進行測試,而且,所有程式及病毒碼的更新都是透過產品內建的自動更新伺服器 (Active Update Server),並不會採用由廠商提供的特別版本。為什麼要特別說明呢?因為有些測試機構是使用由廠商提供的防毒軟體命令列版本及特別版本的病毒碼進行測試,很驚訝吧!

贊助:目前我們所提供的測試報告都是免費,未來也會繼續這麼做,不過,任何網站都需要生存發展的基本營運動力,本站也不例外,如果各位想贊助我們,請參考這裡,或是想在我們網站上做廣告,請聯絡我,謝謝。

最後,在這裡要評論微軟的 Windows Live OneCare 1.5。這個產品的所有功能都很陽春,真的不像微軟的產品,功能齊全,我個人認為安裝在系統上好像沒多大用處,只是浪費記憶體而已。

rogerspeaking 發表在 痞客邦 留言(30) 人氣()

防毒軟體的偵測率 (20070226):

  • AVIRA Premium Security Suite 7.0: 95.09% 新增加

  • Fortinet FortiClient Host Security 3.0: 94.70%

  • BitDefender Internet Security v10: 92.36%

  • AOL Active Virus Shield (免費版本): 89.02%

  • AVIRA AntiVir PersonalEdition Classic 7.0 (免費版本): 88.44%

  • GRISOFT AVG Internet Security 7.5: 88.37%

  • Norman Virus Control Plus 5.82: 86.64% 新增加

  • BitDefender 8 Free Edition (免費版本): 86.52%

  • Rising Antivirus 2007: 84.78%

  • Kaspersky Internet Security 6.0: 84.77%

  • Panda Internet Security 2007: 79.16%

  • MicroWorld eScan Internet Security 8.0: 77.68%

  • ClamWin Free Antivirus 0.90 (免費版本): 76.57%

  • Sunbelt CounterSpy V2: 76.39%

  • ALWIL avast Professional 4.7: 73.41%

  • F-Prot Antivirus 3.16f: 72.75%

  • Filseclab Twister Anti-TrojanVirus V7: 62.66%

  • Trend Micro Internet Security 2007: 60.53%

  • CA Internet Security 2007: 58.61%

  • AhnLab V3 Internet Security 2007 Platinum: 56.44%

  • Kingsoft Internet Security 2007: 55.55%

  • ESET NOD32 2.7: 49.17%

  • Jiangmin Antivirus KV 2007: 45.16%

  • Webroot Spy Sweeper with Antivirus: 40.71%

  • CAT Quick Heal Total Security 2006: 37.29%

  • Hauri Virobot Desktop 5.0: 34.38%

  • Microsoft Windows Live OneCare 1.5: 12.68% 新增加

  • Comodo Antivirus 1.1 (免費版本): 9.92%


在這次的測試中,某些防毒軟體會造成下面的問題:

1. 下面的防毒軟體會使得系統出現藍色死亡畫面(bugcheck 0x7f), 我們已經收集到系統所產生的memory dump:

  • F-Secure Internet Security 2007


2. 下列的防毒軟體會出現應用程式例外處理畫面:

  • Dr.Web Antivirus 4.33

  • Symantec Internet Security 2007

  • Virus Chaser Professional

  • VirusBuster Professional 2006

  • PC Tools Antivirus 3.1 (Free)

  • F-Prot Antivirus 3.16f


3. 當執行掃描病毒時,下列防毒軟體本身的執行程序會發生凍結現象:

  • Sunbelt CounterSpy V2


4. 下列的防毒軟體花費大量的掃描時間:

  • Sunbelt CounterSpy V2


5. 下列防毒軟體產生安裝錯誤 (利用 Windows Live OneCare Cleanup Tool 可以解決此問題):

  • Microsoft Windows Live OneCare 1.5


6. 下列的防毒軟體花費大量的掃描時間:

  • Trend Micro Internet Security 2007 (over 40 hours)

  • AVIRA AntiVir ProfessionalEdition Classic 7.0 (Free) (over 64 hours)

  • AVIRA Premium Security Suite 7.0 (over 175 hours)

  • GRISOFT AVG Internet Security 7.5 (over 70 hours)


7. 授權碼過期 (不曉得有人可以提供授權碼給我們嗎?):

  • McAfee Internet Security 2007


對於更詳細的資訊,請參考這裡

注意:由於病毒碼更新的時間不同,所以,容許誤差範圍介在 -4.3% +4.3% 之間。

rogerspeaking 發表在 痞客邦 留言(23) 人氣()

最近,我們實驗室 (Malware-Test Lab) 公佈一份最新的反間諜軟體評比報告(1/03/2007) (或如下),真是幾家歡樂幾家愁,贏家當然欣喜,但輸家想必想把我們給宰了吧。也有網友說,測試不公正等等,但我要在這裡說,我們花費了很多的時間與精力,就是想把我們在防毒軟體測試領域所知道的東西,告訴各位,讓各位知道詳細的資訊,以免落入「資訓不對等」的處境。在這裡,我想問各位一個問題,你們了解國外的測試組織是怎麼做防毒軟體或反間諜軟體的測試嗎 (還是你們只看偵測率百分比呢)?他們有沒有像我們一樣公佈詳細的資訊呢?嗯...我想答案應該很清楚了,各位可以上網查查看。



‧BitDefender Internet Security v10: 94.85%
‧ESET NOD32 2.7: 89.12%
‧Kaspersky Internet Security 6.0: 88.86%
‧Grisoft AVG Anti-Spyware 7.5 (ewido anti-spyware 4.0): 88.50%
‧Alwil avast! 4.7 Home Edition (free): 84.47%

‧Norman Virus Control 5.82: 79.41%
‧Rising Antivirus 2006: 69.11%
‧F-Secure Internet Security 2007: 68.20%
‧Sunbelt CounterSpy 1.5: 67.51%
‧Panda Internet Security 2007: 65.79%
‧Spyware Terminator 1.5 (with WinClamAV 1.1): 65.57%
‧AVIRA AntiVir PersonalEdition Classic 7.0 (free): 57.57%
‧Trend Micro PC-cillin Internet Security 2007: 49.18%
‧EMSISoftware a-square free 2.1 (free): 40.61%
‧McAfee Internet Security 2007: 38.35%
‧Microsoft Windows Defender 1.1 (free): 33.88%
‧ZoneAlarm Security Suite 6.5: 32.12%
‧PC Tools Spyware Doctor 4.0: 31.70%
‧Trend Micro Anti-Spyware 3.5: 28.30%
‧SUPERAntiSpyware 3.4: 23.75%
‧AhnLab SpyZero 2007: 23.45%
‧Comodo AntiVirus 1.1 (free): 17.57%
‧Webroot Spy Sweeper 5.2: 16.51%
‧Symantec Norton Internet Security 2007: 13.33%
‧Lavasoft Ad-Aware SE Personal (free): 12.42%
‧CA Internet Security 2007 (antispyware part only): 9.92%
‧CyberDefender AntiSpyware 2006: 3.08%
‧Outpost Firewall Pro 4.0: 0.93%
‧Tenebril SpyCatcher Express 4.0 (free): 0.52%
‧TrojanHunter 4.6: 0.00%

從上面的排名,可以看出防毒軟體已經追趕上來了,以往防毒軟體對於間諜軟體或廣告軟體偵測的能力都不是很好,最主要是因為他們無法取得間諜軟體或廣告軟體的樣本,不過,經過一些時日後,這個問題已經不再困擾防毒軟體廠商。或許各位會質疑一件事情,為什麼反間諜軟體的偵測率怎麼這麼差呢?這是因為反間諜軟體原本的設計是要清除間諜軟體或廣告軟體,以及如何保護系統免於受到間諜軟體或廣告軟體的入侵。對於偵測間諜軟體或廣告軟體,只要為了要做清除之前的準備,大部分的反間諜軟體都是用 MD5 的演算法對檔案進行比對,以及使用正規表示法 (Regular Expression) 對注冊碼進行掃描,所以,它們所使用的技術遠遠落後於防毒軟體。現在的間諜軟體已經結合木馬與惡意程式,許多的樣本都不是反間諜軟體所可以解決的,因此,反間諜軟體廠商也紛紛地加入防毒軟體的功能 (有興趣可以閱讀之前寫的「反間諜軟體的未來」 ),最終,兩者一定會合而唯一的。



最後總結是從這次的測試中得知:

  1. 大部分所測試的反間諜軟體都專注於間諜軟體的清除,雖然它們也提供掃描功能,但沒有想像中的很好。

  2. 大部分所測試的防毒軟體偵測的能力都比反間諜軟體來得好。

  3. 有些防毒軟體偵測樣本為間諜軟體,有些則偵測為木馬或惡意程式,所以,防毒軟體與反間諜軟體的功能需要合併起來,而不是分開,因為越來越多的間諜軟體已經結合木馬與惡意程式。


**期盼很快能看到各位的看法**

rogerspeaking 發表在 痞客邦 留言(4) 人氣()

這篇文章是從IThome產業動態看到的,本來是想找原始出處,但一直找不到,希望廠商看到了這篇部落格,能提供資訊給我囉。以下是從報導中擷取一小段:

整合式威脅管理領導廠商Fortinet能準確偵查病毒, 測試結果優於賽門鐵克、F-Secure、Sophos、McAfee和卡巴司基。

整合式威脅管理解決方案業界先驅與領導廠商Fortinet,宣佈電腦安全軟體FortiClient在由知名獨立防毒實驗室AV-Test.org主持,採現存所有病毒檔案進行的測試中,以其準確偵測網路威脅的卓越效能領先群倫。

AV-Test.org以模擬後門、傀儡程式(bot)、蠕蟲和特洛依攻擊,建立一系列的防毒測試。Fortinet總成績名列第四,超越其他29家廠商,包括賽門鐵克、F-Secure、Sophos和卡巴司基。FortiClient?則在偵測潛在蠕蟲攻擊項目位居第一。AV-Test.org是目前業界唯一的獨立實驗室,經常為防毒廠商收集和提供效能評量標準,評估各種產品的防毒能力。

Fortinet產品行銷副總裁Freddy Mangum表示,「AV-Test.org的測試結果,進一步肯定了Fortinet以整合式安全防護偵查病毒和抵禦惡意攻擊的方法。Fortinet 長期以來即主張,單一功能的解決方案不足以有效察查並阻止以網路和應用程式為基礎的攻擊。我們對這項結果感到非常榮幸,因為它再次印證Fortinet優質的產品、研究與方法。」

讓人最納悶的地方在於所有詳細的資訊都沒有公佈,也無從得知他們是如何測試這些產品,真令人大失所望。 :(

rogerspeaking 發表在 痞客邦 留言(2) 人氣()

最近看了台灣的卡巴斯基公佈了一份防毒軟體效能報告,在好奇心驅使之下,想要尋找相關的文章,皇天不負苦心人,終於找到了「CNET 2007 防毒軟體效能評比」,測試的防毒軟體只有 NOD32 2.5、Kasperksy Antivirus 6、CA Anti-Virus 2007、Norton、AntiVirus 2007、BitDefender 10、McAfee VirusScan Plus 2007。



讀完之後,感覺蠻失望的,原因是他們沒有說明的很詳細,好像霧裡看花,以下的圖是從 CNET 的報告擷取出來的:

performance1.png

performance2.png

performance3.png

performance4.png

期待各位發表您的想法。



原文來源:

CNET 2007 antivirus performance test scores

CNET 2006 antivirus performance test scores

rogerspeaking 發表在 痞客邦 留言(2) 人氣()

在一些資安雜誌或網站上,經常可以看見防毒軟體的評比報告,但你有沒有發現評比結果都不太一樣,為什麼呢?讓我一一為各位說明。



所謂外行看熱鬧,內行看門道。一般人只看評比數字之高低,但忽略了其背後真正之涵義。評比最重要的是「測試項目」、「測試樣本」與「測試方法」,它們決定了最後的評比結果。例如,VB100(註解1)只關心有沒有通過WildList(註解2)測試樣本及正常檔案誤判率(False Positive Rate)。此外,必須公開「測試項目」、「測試樣本」與「測試方法」,讓別人可以根據其公佈的資訊加以檢驗其評比結果。一般測試機構幾乎不會公佈測試樣本,只會告訴各位他們使用如WildList的測試樣本,但大家還是無法驗證,最好可以附上每個測試樣本的MD5或SHA1值。

一般評比會在測試項目、測試樣本及測試方法上動手腳,以至於造成不同的評比結果,這就是為什麼你經常會在知名的雜誌或網站上看到不同的評比結果。另外一種評比是廠商為了宣傳自己的產品,委託知名的測試機構(如NSS, AV-Test, Virus Bulletin, ICSA等等)或雜誌(如PC Magazine, SC Magazine, CNET等等)測試競爭者與自己產品的好壞,但他們只會公佈評比數字,很少會公佈詳細資訊,所以,各位很難去檢驗其評比結果。藉此可以達到兩個目的,一方面藉由這些知名的雜誌或測試機構為其產品背書,以達到宣傳的目的,另一方面讓使用者信任他們產品的品質,以達成購買其產品的目的。

另外,你有沒有發現一個很特別的現象,幾乎所有的測試機構都只測試病毒偵測率(Virus Detection Rate),而沒有測試病毒清除率及其他項目,為什麼呢?這是因為只要擁有病毒樣本,就可以測試病毒偵測率,此種測試是最省時間及最為簡單,其他的,幾乎都要花費很長的時間及需要擁有相當的測試技術才可完成的。

最後要說明的是個人用戶與企業用戶版本的測試項目還是有一些區別。除了偵測率及清除率外,企業用戶很在乎「系統穩定度」、「系統效能」、「中央控管能力」、「對病毒的反應能力」等等。所以,如果要測試企業版本,可能需要測試這些項目,所花費的時間,可想而知。



註解:
1. VB100:Virus Bulletin組織會定期測試防毒軟體,如果通過他們的測試,他們會頒給廠商一個VB100的標誌,有興趣的人,請參考http://www.virusbtn.com
2. WildList:這個組織定期會公佈最熱門的病毒名稱清單,幾乎所有的測試機構都會採用他們所提供的病毒名稱清單做為測試病毒的基準,有興趣的人,請參考http://www.wildlist.org

rogerspeaking 發表在 痞客邦 留言(3) 人氣()