防毒軟體 (Feb 26, 2007) 測後心得

3月 01 週四 200704:06
防毒軟體 (Feb 26, 2007) 測後心得

前幾天，我們實驗室 (Malware-Test Lab) 公佈一份防毒軟體評比測試報告 (02/26/2007)，在某些論壇上，引起熱烈的討論。對於一些批評指教，我們都樂意接受。下面的段落，我會說明這次測試所遇到的一些狀況，以及未來的計畫。 測後心得： 1. 在測試過程中，很多防毒軟體 (如下所列) 都會發生應用程式錯誤 (Application Error) 或停止不動作，導致測試無法繼續進行下去，這些防毒軟體的品質，實在令人難以恭維，尤其是 Symante，每次都會發生，難道他們的 QA 測不出來嗎？我真的很懷疑。

Dr.Web Antivirus 4.33
Symantec Internet Security 2007
Virus Chaser Professional
VirusBuster Professional 2006
PC Tools Antivirus 3.1 (Free)
F-Prot Antivirus 3.16f (掃描快完成時才發生，可以從記錄檔得知其偵測率)
F-Secure Internet Security 2007 (安裝完成且重新開機後，從此系統一直重開機)
Sunbelt CounterSpy V2 (某個惡意檔案使得它的掃描引擎發生問題)

2. 在測試過程中發現，有很多防毒軟體掃描速度太慢 (如下所列)，讓整個測試時間變得太長，導致測試有些許誤差。我個人認為是啟發式偵測 (Heuristic Detection) 的問題，因為把它的設定設為最高，下次測試可能利用預設值 (防毒軟體廠商推薦的設定)。

Trend Micro Internet Security 2007 (超過 40 個小時)
AVIRA AntiVir PersonalEdition Classic 7.0 (Free) (超過 64 個小時)
AVIRA Premium Security Suite 7.0 (超過 175 個小時) (今天才完成)
GRISOFT AVG Internet Security 7.5 (超過 70 個小時)

3. 在測試過程中得知，很多防毒軟體只顯示最後的掃描結果，並沒有提供完整的掃描記錄檔，所以，無法得知其偵測到哪些惡意檔案 (需要過濾掉重複的掃描記錄)，以至於產生誤差。 4. 在測試過程中得知，有些防毒軟體 (如下所列) 會自動處理偵測到的惡意檔案，無法改變其對惡意檔案的處理動作 (Action Taken)，這種的設計方式很不好，如果發生誤判，就會發生問題。對於測試組織，每次都需要重新拷貝惡意檔案，對於有經驗的人，就無法調整其設定。

Symantec Norton Internet Security 2007
McAfee Internet Security 2007
Microsoft Windows Live OneCare 1.5
其他 (省略)

5. 在測試過程中得知，很多防毒軟體的反間諜軟體掃瞄部分都與防毒軟體掃描部分分開，而沒有整合在一起。有什麼壞處呢？如果測試樣本同時包含病毒和間諜軟體等，而且，測試防毒軟體掃描，這樣他們就無法偵測到間諜軟體的樣本。另外，這裡要注意的是反間諜軟體以前都是針對感染的系統，所以，他們對個別間諜軟體檔案的偵測率都很低。

Trend Micro Internet Security 2007
CA Internet Security 2007
AhnLab V3 Internet Security 2007 Platinum

測試議題及改善： 對於無法在同一時間測試所有的防毒軟體的問題，雖然可以利用其他方法解決，但我們應該會繼續採用這種方式，唯一不同的是相似的產品盡量在同一時間進行測試。 未來計畫：未來會陸續增加「誤判率測試」、「防毒軟體企業版測試」、「效能測試」、「穩定度測試」等測試項目。 注意：在這裡要特別說明，我們都是使用正式發表的產品進行測試，而且，所有程式及病毒碼的更新都是透過產品內建的自動更新伺服器 (Active Update Server)，並不會採用由廠商提供的特別版本。為什麼要特別說明呢？因為有些測試機構是使用由廠商提供的防毒軟體命令列版本及特別版本的病毒碼進行測試，很驚訝吧！ 贊助：目前我們所提供的測試報告都是免費，未來也會繼續這麼做，不過，任何網站都需要生存發展的基本營運動力，本站也不例外，如果各位想贊助我們，請參考這裡，或是想在我們網站上做廣告，請聯絡我，謝謝。最後，在這裡要評論微軟的 Windows Live OneCare 1.5。這個產品的所有功能都很陽春，真的不像微軟的產品，功能齊全，我個人認為安裝在系統上好像沒多大用處，只是浪費記憶體而已。

rogerspeaking

大砲開講

rogerspeaking 發表在痞客邦留言(30) 人氣(702)

全站分類：
個人分類：評比測試

▲top

30 則留言

可笑

COMMENT: 別拿這種小孩子的測試張貼在國際論壇上笑掉人家大牙好嗎? 自己看看F-PROT官方病毒分析人員給你們Malware-Test的公開信 http://www.wilderssecurity.com/showpost.php?p=954145&postcount=78 其他更直接的批評，westcoastlab裡面我想你自己也看過了，心裡有底。討論串: http://www.wilderssecurity.com/showthread.php?t=166856&page=4 -----

2007-03-01 06:47

飛影‧忌子

COMMENT: 有沒有考慮在 VM 底下進行測試? 還是說 VM 無法進行測試?

2007-03-01 08:51

Roger

COMMENT: VM無法進行測試。 WilderSecurity論壇的事，我知道，但我們都虛心接受，畢竟，我們才剛起步，一定會遇到這種阻礙，而且，我們的對象根本就不是防毒軟體廠商。我很清楚那些測試機構，也不好意思講別人，自己先做好最重要，畢竟，他們已經經營這麼久，突然出現另一個組織，反彈是必然的。

2007-03-01 10:57

orange20

COMMENT: 您說很多測試組織都是用舊的樣本，那能不能請您點出來和舉證：『究竟哪些測試機構是故意用舊樣本來測試的惡質機構？』小哥一定幫貴機構並註明 Malware-Test 的寶貴意見，如實的反映給其它機構。

2007-03-02 04:18

Roger

COMMENT: 自己先做好最重要。防毒軟體公司的某些人最清楚這些測試機構，或者你曾經跟他們接觸過。記得我之前有講過，測試組織的測試結果應該可以被驗證，所以，我們會提供相關的資訊，如惡意檔案的SHA1值和掃瞄結果 (已經有國外的熱心人士開始在驗證，還有一些防毒軟體廠商)，反觀其他的測試組織，他們有提供這些資訊嗎？看看這次的 AV-Comparatives (http://www.av-comparatives.org/) 的最新的測試結果，不曉得各位有什麼感想呢？

2007-03-02 04:43

orange20

COMMENT: 我懂了，原來小老弟是反譏國際測試機構 AV-Comparatives，故意用舊樣本來測試。

2007-03-02 05:20

Roger

COMMENT: 記得他也是從一家防毒軟體公司出身的，我可不敢批評他喔。我比較關心的是他們可以提供相關的資訊(SHA1和掃瞄記錄檔)給大家嗎？

2007-03-02 05:29

可笑

COMMENT: 請問連測試基準都不同，有什麼意義? 不管怎麼說，你們要控制病毒庫的日期在相近位置，現在全部不同就夠噁心了還想到就加測、測試系統有問題全部牽拖軟體、Trend Micro Internet Security2007間諜和防毒可以一起掃描，沒查清楚就說不能，虧你們老大還曾是趨勢雇員、授權過期不會找試用版、掃描時間你們測試全世界最久... 你們測試AVIRA Premium Security Suite 7.0要超過175個小時，請問AVC掃六十萬個威脅是不是要掃描個二十來天? 當大家都沒問題的時候，你是不是該檢討自己是不是有什麼地方不對? 請你告訴我這樣的情況下公布狗屁掃瞄記錄檔有什麼用? 每個選手起跑點不同的比賽有何意義，你告訴我好嗎?你當這是讓分作秀賽? 別說控制變因是國中沒學好 OK? 這種測試比業餘愛好者的收集樣本測試還爛，至少一般人收集樣本還有相對性要胡亂交出報告也要混的像樣、不長眼到這種程度讓國際笑掉大牙算你們厲害了。

2007-03-02 09:00

Roger

COMMENT:

有時候不是你說結果是這樣就是這樣，必須要有證據，所有的相關資訊，我們都有保留，有興趣的話，可以查查看倒底是不是175個小時呢 (antivir_premium_result.rar)？ AV-Comparatives 的測試報告，我不想評論，除非他們提供相關的掃描資訊。我大學讀數學系，研究所也讀數學研究所，控制變因應該不會不清楚吧！評論之前，也要先看清楚別人的東西嘛，否則，怎麼知道AV-Comparatives怎麼做呢？至於PC-cillin 2007，第一個選項(掃描整個系統)可以掃描virus和spyware，但它無法讓測試者選擇目標，已經通知Trend Micro，他們應該會改進吧！

2007-03-02 09:49

噪音

COMMENT: 就憑一些相關利益者的嘲笑與謾罵，就稱之為「讓國際笑掉大牙」，這才是別有居心，故意混淆視聽。請邱先生不必理會這些別有用心的謾罵，你們的報告，遠勝於那些笑掉大牙的「國際」，這些人牙都掉了，自然就是無……

2007-03-02 10:50

lcn0

COMMENT: Roger兄: 基本上做這樣的工作真是吃力不討好, 非但沒有什麼實質報酬,還要面對大家批評的聲浪, 每個人有每個的立場,觀點也不一樣, 討論起來很容易迸出火花我想,熱情應該是你最大的動力來源吧. 加油啦,堅持下去吧~

2007-03-02 11:57

Roger

COMMENT: 我們會做這種測試，是因為國外的測試機構或雜誌所作的測試結果，常常讓人(我們)質疑(這裡面是有些小技巧在其中)。既然我們有這種經驗，為什麼不分享出來呢？所以，就這樣開始囉。另外，各位想想：如果每次每個防毒軟體的偵測率都超過99%，那為什麼還要繼續測試呢(很多測試組織都是用舊的樣本)？你說得對，是因為熱情，否則，很容易就陣亡了。感謝你們的熱情支持。

2007-03-02 12:13

路人丙

COMMENT: 條列式寫出來比較清楚:) 1. 友站艾克索夫去年的測試，其樣本的取得是來自於他們受攻擊中的客戶，雖然樣本少，但是可以確定那些樣本是真正流行的惡意程式，不是單純的比benchmark，測試者懂得去各大論壇搜集病毒，廠商當然也知道，所以偶爾也要來各抽點。 2. 雖說user很注意個人電腦的隱私，不讓微軟搜集自己電腦的資訊，但是卻很大方的上傳由highjackthis、icesword等等程式的log供大家閱覽，對於有心人士來說，把那些log蒐集分析，便可知道user常裝哪些(防毒)軟體以及軟硬體使用情形。年假時看了一週的ptt antivirus版，即便user裝了排名前面的防毒軟體，還是中毒(開了hips也一樣)，而排名後面的防毒軟體也不見得比較差，可見實驗室測試和真實世界的使用有點差距，有興趣的人可以用google找一下highjackthis或類似程式產生的log，看看中毒的人裝什麼防毒軟體。 3. 貴站遇到的防毒軟體掃毒過久或是發生中斷我也有遇過，我那時碰到的是Kaspersky AntiVirus 5.X和F-secure Client Security 5.X，只要讓掃毒軟體掃瞄機器中所有的檔案，且掃描壓縮檔，機器的可用資源就會變少，軟體所佔記憶體急速增加，半夜排程掃描，過了將近12小時，晚上回家就可以看到程式發生錯誤，我那時是把原因歸為系統太亂，且要求程式掃瞄各種檔案，考驗其處理錯誤的能力似乎太嚴苛，呵呵，不知道企業版的防毒軟體對軟體品質的要求如何。 4. 在下欣然國內有較專業的人士能做較常態性的防毒軟體測試，希望貴公司能做點跟以往不同的，例如相容性測試、穩定度測試、企業和家庭的需求比較等等。舉例來說，老牌的Kaspersky常常是各大測試報告排行榜的前五名甚至前三名，但是企業市場(真正的客戶)還是偏愛Symantec、McAfee、Trend，這三間公司在測試中鮮少能拿到第一名，但是卻能抓住客戶的心，除了他們的服務外，他們的軟體應該有其他過人之處，而這過人之處並不是看看簡單的圖表、Benchmark就能了解。 5. 在下目前是NOD32的註冊使用者，我是以相容度、穩定度，且有原廠中文介面來選擇的。祝貴公司社運昌隆

2007-03-03 03:09

路人丙

COMMENT: 前文的highjackthis應該是hijackthis才對，哎呀，寫錯了

2007-03-03 03:15

OpenBlue

COMMENT: 不管結果如何過程如何事情總是要有人做批評與謾罵不會使得事情做得更好做這樣的測試需要時間、耐力不管是怎樣的結果總會有不滿意的一方大家質疑的公平性、客觀性是個可以討論與改善的空間但請提出具體的建議而不要淪於口水戰這樣讓看這個回文的人很辛苦防毒軟體評比測試報告是件吃力不討好的苦差事看官們愛看又愛批這樣會不會變成[壹週刊]啊說個笑放輕鬆也是飽受困擾的網路攻防戰版主留

2007-03-03 03:28

路人丙

COMMENT: 不知我有無誤解，請問測試樣本是自己架的honeypot蒐集的，還是去其他地方抓的，謝謝。

2007-03-03 03:34

Roger

COMMENT: 我們使用的樣本都是從世界各地的honeypot收集來的(不包含以前我們自己擁有的樣本)，此次測試樣本收集時間是從2006年5月到2007年2月。 Honeypot 是由 http://www.mwcollect.org 所開發的。

2007-03-03 03:55

加油

COMMENT: 上面有人講 "批評與謾罵不會使得事情做得更好" 拜託你部落格上面「第三代Process隱藏技術」那才是混淆視聽吧沒人批你就會進步?

2007-03-03 05:36

orange20

COMMENT: 公開表態支持小邱老弟，其實老弟當初留在趨勢科技實在太浪費。繼續加油！如果老弟能把 Malware-Test Lab 捧紅，何愁沒有比趨勢更享受優渥百倍的高薪，哈哈哈哈。

2007-03-03 06:45

OpenBlue

COMMENT: 回應第18號留言感謝你的批評指教我欣然接受並於本人之部落格貼出公告並致歉 (公告)修正錯誤內容但由於你並沒有指出我那篇文章哪部分[混淆視聽]? 失去了我進步的機會所以請你有空時協助我進步不然你第18號留言就顯得沒建設性了@@ 感謝你的批評也請想對我批評的朋友至我的部落格以免占用本帖的回應造成原文章及觀看人之困擾再次萬分感謝

2007-03-03 08:08

orange20

COMMENT: 不管怎樣 Malware-Test Lab 這回開始在國際輿論漸紅了，這真是台灣人的驕傲啊，台灣人若不挺自己，就是不愛台灣，就是不愛鄉土，哈哈哈哈。

2007-03-03 09:03

路人丙

COMMENT: 姑且不論愛台灣愛鄉土，真的有愛，請贊助自己使用的防毒軟體，而不是愛用盜版，一套換一套，或是洋洋得意地裝了一大堆，然後自以為專業。要踢人家的館無妨，花點報名費即可參加人家辦的研討會或教育訓練，有什麼事當面講，可以說清楚，講明白。但小弟有點懷疑捨不得花錢買正版軟體的人，會願意去花錢跟人家面對面切磋一下。如果各位用的都是家庭、個人版免費防毒軟體，抱歉，請當小弟沒有說過上面的話。

2007-03-03 11:50

orange20

COMMENT: 路人丙小老弟說的好，不過各國內外測試機構應比照辦理，先出示購買憑證，證明自己機構不是用盜版軟體測試，或到處向人非法借來用的授權(視同盜版)，哈哈哈哈。

2007-03-04 12:05

Roger

COMMENT: 現在我們都是使用試用版本 (Trial Version)，如果沒有試用版本就無法進行測試。在這裡，我們會遇到一個問題，當我們說我們是測試機構，想跟他們(廠商)要一個試用版，有些廠商不願意提供勒。

2007-03-04 12:37

路人丙

COMMENT: 有點名氣的媒體或是測試機構，軟體或是設備是跟廠商借的。以雜誌來說，廠商都出錢登廣告了，借或是送幾套是小事。名氣夠大的媒體或網站，廠商是主動送測，為求得到XX認證，巴結都來不及了，還敢得罪媒體啊。不過你講到一件事可以正正當當踢館，有人居然公開要McAfee 2007的授權碼，快向台灣McAfee檢舉吧。

2007-03-04 12:40

Roger

COMMENT: 大部分防毒軟體的試用版都可以重複安裝，但McAfee就是不行(有幾家也不行)，而且，它還知道我們是誰，利用其他的E-mail都無法申請(可能要改MAC Address吧)，不過，本來希望廠商贈送，看來無望，只好自己花錢購買囉！

2007-03-04 12:51

路人丙

COMMENT: 呵呵，沒想到有這麼不乾脆的廠商，企業版就算了，連個人版也不肯借測。有些不能重複安裝的大概是軟體保護，時間到了就是不給用:p

2007-03-04 12:59

大拇哥

COMMENT: 加油!!我相信你可以做得很好的!

2007-03-07 08:34

台肯

COMMENT: >你們測試AVIRA Premium Security Suite 7.0要超過175個小時，請問> >AVC掃六十萬個威脅是不是要掃描個二十來天? >當大家都沒問題的時候，你是不是該檢討自己是不是有什麼地方不對? 掯~~一般使用者碰到的狀況就是這樣卡巴司機都可以掃個三天以上的你自己去看防毒相關討論區有沒有人提過卡巴會卡檔的問題? 一堆使用者杜爛防毒軟體掃的慢這些大廠不是說你的系統有問題要不然就是叫你重灌從來不檢討的是廠商自己的程式寫的爛難道這些大廠大多數的使用者都不會清理系統的嗎？自己程式不以使用者立場著想通通都推到使用者身上全世界的產業也只有軟體業會幹這種事情還理直氣壯的哩~~

2007-03-08 08:31

Roger

COMMENT: 基本上，我可以把不喜歡的回應給刪除掉，不過，我不會這麼做，每個人有每個人的立場，但我的立場是我們提供的任何東西都是可以被驗證的，如果各位發現我們所做的測試有瑕疵，請告訴我們，我們會改進，這樣才會進步。另外，會寫程式不代表會測試，很多人以為自己很會測試，只試玩玩GUI介面而已。您可以參考第11則回應。卡巴斯基防毒軟體以前的確掃描非常的慢，但現在已經改進很多，但還是蠻耗系統資源，還有相容性及造成系統不穩定的問題。另外，有關 AVIRA 掃描很慢的問題，他們已經回覆這是他們的問題： =================================================== Hi! If you perform scan tests with AntiVir, please add the following keys to the registry: [HKEY_LOCAL_MACHINE\SOFTWARE\Avira\Premium Security Suite] "SkipEventDB"=dword:00000001 [HKEY_LOCAL_MACHINE\SOFTWARE\Avira\AntiVir PersonalEdition Classic V 7] "SkipEventDB"=dword:00000001 [HKEY_LOCAL_MACHINE\SOFTWARE\H+BEDV\Premium Security Suite] "SkipEventDB"=dword:00000001 [HKEY_LOCAL_MACHINE\SOFTWARE\H+BEDV\AntiVir PersonalEdition Classic V 7] "SkipEventDB"=dword:00000001 Without those, scanning malware collections is very slow indeed. Heuristic should be set to high (needs to be set seperately for on-demand and on-access). bye, Stefan Kurtzhals -- Avira GmbH Lindauer Strasse 21, 88069 Tettnang, Germany Tel.: +49 (0) 7542-500500 Fax.: +49 (0) 7542-52510 Internet: Eingetragen beim (Registered at) Amtsgericht Ulm (HRB 630992) Geschaftsfuhrer (CEO): Tjark Auerbach USt-ID (VAT-ID): DE145372389

2007-03-08 08:58

自訂側欄

文章彙整

自訂側欄

文章分類

參觀人氣

本日人氣：
累積人氣：

大砲開講

分享是進步的原動力