白帽子講Web掃描 ( 簡體 字) |
| 作者：劉漩 | 類別：1. -> 安全 -> 網路安全 -> 駭客攻擊與入侵 |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 46918
詢問書籍請說出此書號！【缺書】
NT售價： 325 元 |
| 出版日：6/1/2017 |
| 頁數：248 |
| 光碟數：0 |
|
站長推薦：  |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121314773 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：推薦序
非常榮幸受劉漩的邀請為本書寫推薦序。
劉漩是安全寶第一位安全工程師，也是早期WAF規則的主要維護者，這六年多來，他一直在Web安全的最前線與黑客做斗爭，從防御到漏洞挖掘，都有著豐富的經驗，也正是因為如此，他眼中的掃描技術有著更為系統化的視角。
縱觀網絡安全的發展歷史，掃描器是最早出現的工具，從著名的開源實現Nmap，到國人為之驕傲的流光FluXay，都是端口掃描的利器。而Web安全領域里的掃描器雖然原理類似，但實現卻更為復雜，需要考慮掃描頻率、掃描深度、爬蟲對于HTML的解釋能力，還要不斷地積累POC。
記得我最早使用過的掃描器是IBM的AppScan，其爬取能力很強，但掃描速度卻奇慢無比，基本上對URL要嘗試所有掃描特征，最后還需要從大量的漏洞中去偽存真。
掃描器也是百度安全團隊最早開發的工具之一，百度公司有數百個產品線，每天的發布量數不勝數，如果沒有一個高效的漏洞掃描，安全幾乎無從談起。無論是新上線的業務，還是當出現0day時的大規模臨檢，掃描已經成為例行化工作。掃描結合被動的URL發現，目前已經成為最大的漏洞來源，同時掃描與工單系統聯動，完成派單、巡檢、復檢也成為現代安全管理自動化流程的一部分。
掃描已經成為所有互聯網業務中必不可少的安全工作。這本書將系統化地為讀者講解掃描原理與實現方法，我相信無論你是甲方安全工程師，還是乙方安全服務人員，都將受益匪淺。
百度云安全技術總監，百度云加速總負責人
馮景輝
序
我的安全路
本人第一次接觸安全是在大學期間，有一次無意中讀到室友買的一本《黑客防線》雜志，立刻就被里面的黑客技術深深吸引，從那以后，我就開始瘋狂學習安全知識，而那時候大學還沒有設立類似的課程，只能靠自己獨立鉆研，一方面我借助安全雜志學習入侵實踐知識，另一方面則“泡”在圖書館里翻閱各類與安全相關的書籍補充理論知識，成長非常快。
但在大學畢業的時候，我卻并沒有選擇進入自己感興趣的安全類公司，反而進入了一家大型跨國公司，在里面做了一年的軟件測試工作，感覺這段經歷對我最大的改變就是，養成了喜歡用自動化方式去解決一些重復工作的習慣。
后來我還是希望遵從內心，決定找一份與安全相關的工作。在辭職前，我成功地入侵了公司的內部網絡，拿到公司域控的管理權限，并在服務器的桌面上留下了善意的修復建議，目的只是為了證明自己的安全能力。
有著大公司的背景及對安全工作的執著追求，我順利地加入瑞星公司，在這里開始進一步學習安全的知識。得益于瑞星寬松的工作環境和濃厚的安全氛圍，在完成本職工作之外，我開始進行更多的學習和研究，同時也接觸到很多新的安全產品。也是在那段時間，我寫了自己第一款移動端的手機防火墻軟件，不過此時我對安全的理解更多的是攻防學習和漏洞研究，所掌握的知識并不成體系。
再后來我加入安全寶創業。安全寶算是我最有感情的一家公司，它讓我從零開始踏上一個公司的安全建設之路，對安全工作進行系統的規劃，以閉環的方式來推進和完善每個工作流程，然后通過攻防對抗實踐進行迭代式的改進。其實對于企業來講，攻防對抗仍然可以作為企業安全建設中最有價值的應用實踐之一。
之后我加入百度。雖然還是以乙方的視角做著安全服務工作，但甲方的工作氛圍和技術培訓也讓我對攻防的理解更加全局化，更加工程化，也更加體系化。此時，我對掃描的看法也發生了變化：掃描作為攻擊的一種方式，它應該更貼近真實的攻擊；而真實的攻擊其實是一種全視角、持續性、動態化的入侵行為，它會對目標進行全視角的信息和資產收集，然后通過持續性的漏洞測試，以及動態的情報能力發現其中的脆弱點。因此，如果我們想重塑掃描的價值，那么就應該以攻擊者的視角，同時將更多的安全能力融入掃描中，并以攻擊的全流程來對其進行改進和擴充，從而最終實現掃描的情報化、插件化，以及智能化。
我的安全觀
我眼中的Web安全
還記得自己剛剛加入百度，小哥（程巖）在面試我的時候，問了一個問題，我至今依然記憶深刻：每個Web安全人員都有自己的安全體系，你眼中的Web安全是什么樣子的？
當時我也是第一次被問到這么宏觀的問題，第一感覺就是問題很大，一時又不知從何說起，現在我還記得自己當時的回答：我眼中的Web安全包含著我做的所有內容，比如：漏洞挖掘、漏洞分析、漏洞攻擊和規則防御等。它們都是圍繞漏洞的生命周期進行展開的，可以按照時間順序將它們劃分為4個階段，如下。
? 漏洞的感知：我們需要從各個方面和渠道去關注Web漏洞，獲取最新的漏洞資源和信息，如，漏洞監控、漏洞預警或漏洞挖掘等。
? 漏洞的分析：獲取漏洞資源后，我們就需要對漏洞進行分析和研究，弄清楚漏洞的原理及成因，而這主要體現在兩方面的價值，一方面是可以構造出漏洞的POC，并補充到掃描器中，對漏洞實現自動化檢測和驗證；另一方面則是深入理解漏洞原理后，能夠寫出對應的漏洞匹配特征，制作漏洞簽名，并給WAF升級進行防護。
? 漏洞的響應：這里主要分為兩部分，一部分是對內的響應，也就是自身的漏洞響應，對漏洞進行快速排查和修復；另一部分則是對外的響應，也就是對互聯網的全網客戶進行響應，評估漏洞對其影響，以及協助修復，并對全網的安全態勢進行監控。
? 漏洞的沉淀：按照漏洞的描述、原理、場景，以及修復策略等相關信息，對每個漏洞進行編號和積累，形成有價值的漏洞知識庫。
現在回想起來，對于當時的回答，我其實并不滿意，只能算是勉強應付下來了。但事后自己卻想得更多了，這個問題屬于主觀題，或許它沒有標準的答案，也沒有所謂的對與錯，但它卻可以讓每個人按照自己的角度、自己的工作、自己的理解，重新去思考和審視自己的知識體系。從那以后，這個問題也就一直伴隨著我，它也是我作為面試官必問的題目之一。因為我相信在不同的階段，每個人對它的理解肯定是不一樣的。
三個基礎的安全認知
1．木桶原理
盛水的木桶是由多塊木板箍成的，盛水量也是由這些木板共同決定的。若其中一塊木板很短，則此木桶的盛水量就被限制，該短板就成了這個木桶盛水量的限制因素，若要此木桶盛水量增加，只有換掉短板或將其加長才行，這就是木桶原理。它表達的意思就是，一個水桶無論有多高，它盛水的高度取決于其中最短的那塊木板。在信息安全領域中，目標系統就好比盛水的木桶，它的安全性完全取決于系統中最薄弱的那個環節。
舉個例子，我們在給企業進行滲透測試服務時，發現弱口令的安全問題仍然是企業的一個重災區，這些企業雖然在安全方面做了很多工作，而且也部署了一些安全設備，但往往卻因為一個簡單的弱口令導致整個系統被入侵和攻破，所以我們需要審視系統中的薄弱點，并進行加強。
2．攻防不對稱，安全是相對的
攻防不對稱其實很好理解，防御方需要保護的是一個整體，而攻擊方卻可以通過審視這個整體，選擇其中一個薄弱的環節進行持續的攻擊。在這個對抗的過程中，其實很多內容都是不對稱的，如下。
? 技術不對稱：攻擊方可以針對目標使用的某個軟件或組件進行深入的漏洞挖掘，然后通過新的0day漏洞完成攻擊和入侵，而防御方卻無法對系統每個部分的漏洞都有所了解。
? 成本不對稱：攻擊方可以選擇成本低廉、破壞力強的DDoS拒絕服務攻擊，而防御方卻需要消耗巨大的成本進行整體的防御。
? 信息不對稱：攻擊方可以選擇通過人員、社交、無線等與企業有依賴關系的入口制訂攻擊路徑，而防御方卻無法覆蓋所有的關聯入口。
因此不論是安全產品，還是安全設計，它們的目標從來都不是絕對安全的，而只是追求相對安全。但這個認知絕不是用來找借口或是逃避安全責任的，而是用來提醒我們：安全是一個動態的過程，當前的安全工作仍然還有提升的空間；攻防其實只是一種成本的博弈對抗，只需要在允許的成本范圍內進行適度、有效的防御即可；在攻防不對稱的面前，我們可以選擇用攻擊驅動的方式進行防御。
3．縱深防御
我們知道，當今所有的信息安全技術其實都是以“用戶是好人”為信任前提，只有當確認他干了壞事之后，才會把他定義為“壞人”，然后開始對其進行響應或防御。只有當某個用戶已被證明產生了危害后，才將其定位為黑客或攻擊者，開始對他進行應急處置，這種防御方式顯然存在天然的滯后性，也勢必會導致安全人員處于被動、挨打的局面。
為了能夠改變這種被動、滯后的劣勢，就需要拉伸防御的縱深。其實一個完整的攻擊并不是由單點完成的，它通常會由一系列的環節關聯組成，屬于一個持續、連貫的過程。因此，我們可以在攻擊過程中的每個必要環節點設置防御，從而做到提前感知和防御，利用這種層層設防、聯動防御的方式，就可以化被動為主動，在攻擊產生危害之前對其進行應急響應和處置。
安全其實是一個動態、整體的概念，正如道哥所說，互聯網本來是安全的，自從有了研究安全的人之后，互聯網就變得不安全了；而研究安全的人歸根結底可以分為攻與防兩個大分支，不過這里所說的攻防不是單純的攻擊入侵與技術防御，它們會結合技術、業務、流程、人員、制度和管理，形成一個廣義的攻防概念，并一起構成了安全這個整體。因此我們看待安全的時候需要從攻與防兩個不同的角度來整體審視和博弈均衡；同時攻擊和防御也會在不斷碰撞和對抗的過程中得到發展和變化，攻擊通常會選擇系統相對薄弱的環節來實施，防御則需要從各個角度及不同維度進行整體防御，補齊系統的各個短板，但攻防它又是不對稱的，因此我們需要利用縱深防御的理念，將完整的攻擊鏈條進行拆分和細化，在每個環節進行深度分析和防御，從而建立起立體化的安全防御體系。
前言
隨著互聯網的高速發展，Web應用在其中所扮演的地位也越來越重要，因為很多業務都選擇使用Web的形式來提供服務，但隨之而來的Web安全問題也日漸凸顯出來，企業往往會因此遭受巨大的損失，此時很多企業都會在Web應用上線前或運行中對其進行相應的安全測試來保證安全性，減少由于安全問題造成的損失。
通常而言，Web應用的安全測試技術主要有：黑盒測試和白盒測試，還有一種灰盒測試，它是介于黑盒和白盒之間的。這里我們主要說一下黑盒測試，它又稱為動態調試，這種方法主要是測試應用的功能點。它不需要分析內部代碼，也不需要測試代碼實現的邏輯。在黑盒測試過程中，只需要通過網頁爬蟲模擬正常用戶訪問Web應用的全部路徑，然后基于探測的路徑生成安全測試用例即可。在該過程中，被測站點往往被視為一個黑盒，此時不用關心其內部如何運行，用何種語言編寫，只需依賴于Web應用的可用性。因此，黑盒測試常常是安全人員首選的測試方法，同時它具有實施性強、兼容性好，以及測試效率高等特點，因而得到了廣泛的應用。
本書所講的Web掃描器，屬于黑盒測試的范疇，在Web應用安全測試中起著至關重要的作用，同時它的價值也是顯而易見的。
? 對于企業建設來說，它可以幫助企業快速建立起常態、持續的安全掃描和監控體系，盡早發現安全問題并修復，從而節省人力成本和避免安全損失。
? 對于安全測試來說，它可以通過自動化的方式提高測試人員的效率及業務的覆蓋面。
? 對于安全技術來說，Web掃描器早已作為安全人員的必備工具，因此我們有必要了解其原理和思路，然后通過持續的安全研究和對漏洞庫的積累打造屬于自己的安全掃描器，提高安全能力。
因此，對于Web掃描器的學習和研究顯得尤為重要。
本書適用的目標讀者
? 甲方安全人員，
? 滲透測試人員，
? 安全測試人員，
? 安全開發人員，
? 技術負責人員，
? Web掃描器開發人員，
? 對Web掃描器感興趣的安全從業人員。
為什么寫這本書
我還記得，在2014年年中的時候，我受邀參加上海的QCon大會，并在安全分會場上做了一場關于云WAF的演講，會后博文視點的編輯找到了我，希望我可以寫一本關于云WAF的書，經過慎重考慮，主要由于工作和時間的諸多不確定性，沒敢貿然答應，此事只好作罷。
然而，時至今日，寫書的想法卻在心中越發強烈起來，我也深知寫書不易，尤其是寫一本技術類的書籍更難，它需要耗費大量的精力和時間去研究、調試、測試，以及論證。本書沒有選擇以云WAF為主題，主要是因為現階段它與公司的業務過于密切，而且由于近年來我的工作角色的轉變，已基本沒有負責WAF相關的事情，所以最終放棄了，但也因此有了新的選擇。
在安全寶被百度全資收購后，我有幸加入了百度安全，轉而負責公司對外的企業安全服務。由于工作的需要，我經常會去拜訪企業客戶。在這個過程中，發現甲方客戶其實很少會像BAT那樣把安全當成一種習慣來執行，大多數都是事后出現安全問題才會想到使用滲透測試或APP測試這類服務來幫助排查和解決問題。至于Web掃描器那就更慘了，幾乎快被人遺忘了，主要是因為很多甲方人員用掃描器來檢測漏洞的時候，經常不能發現高危的安全問題，時間一久就開始對Web掃描器的價值產生質疑。
其實Web掃描就好比日常生活中的健康體檢，你需要對安全進行長期的監控和檢測，只有把掃描當成一種習慣，同時真正建立起企業專屬有效的掃描體系，把安全當成一種習慣來對待，你才能優于攻擊者提前發現安全問題。
為了改變人們對掃描的一些誤解，重新認識掃描特有的價值，所以，我決定寫一本關于Web掃描的安全書籍。在寫書之初，我就開始對之前自己所寫的掃描類文章進行重構和整理，希望可以借此將更多有價值的內容詳細地寫出來，同時讓讀者有更多的收益或啟示。
掃描器環境
操作系統：Debian 8 x64 賬號：imiyoo/anquanbao
掃描測試：LNMP 1.2+ Wavesp 1.5
語言環境：Python 2.7.9
本書涉及的代碼均以Python來實現，至于為什么選擇Python語言？理由如下：
? Python簡單易學，上手很快，而且跨平臺，可移植性強。
? 除了內置的庫外，還有大量的第三方庫，減少重復“造輪”工作。
約定
本書所提到的掃描器特指Web掃描器，為了便于內容簡潔和避免讀者誤解，所以書中會統一使用掃描器來代替Web掃描器；同時閱讀本書需要讀者有一定的安全和開發基礎，本書對一些比較基礎的名稱和技術并沒有做太多的解釋，讀者可以通過百度等搜索引擎自行查閱。
由于時間關系，書中所涉及的相關資源暫無法全部上傳，后面會陸續上傳到筆者的Github上，讀者可以在https://github.com/imiyoo2010上獲取。
導讀
全書共分為9章，內容之間有一定的關聯性，所以建議大家最好從頭到尾地閱讀和學習。
第1章為掃描器基礎，主要介紹掃描器的一些基礎和必備知識，幫助讀者更快地進入掃描器的世界并開始有目標地學習。
第2章和第3章分別為Web爬蟲基礎和Web爬蟲進階。爬蟲作為Web掃描器的重要組成部分，內容非常多，這里分兩章來介紹，Web爬蟲基礎主要介紹Web爬蟲的一些必要的理論知識；Web爬蟲進階則重點關注功能原理和代碼實現，并對業界流行的Web 2.0爬蟲進行思考和實踐。
第4章為應用指紋識別，它也是Web掃描器必備的一個功能組成部分，主要介紹應用指紋識別的原理及實踐。
第5章為安全漏洞審計，它是Web掃描器的核心，也是本書的重點內容之一，主要分為通用漏洞審計和Nday/0day漏洞審計，通過對漏洞進行場景化分析，由淺入深地介紹安全漏洞審計的原理和實踐。
第6章為掃描器進階，主要從整體的角度來設計和實現Web掃描器。
第7章為云掃描，主要介紹云掃描的知識及相關技術的具體實踐。
第8章為企業安全掃描實踐，主要介紹企業常用的掃描場景及實踐。
第9章為防御，主要介紹掃描器的常見防御方式和手段。
致謝
我相信每一本書的完成都少不了身邊親人和朋友的支持， 需要感謝的人太多了。
感謝我的老婆，為我生了一個聰明可愛的小子，并一直操勞著這個家，讓我有足夠的時間和精力來寫作，老婆辛苦了，我愛你。
感謝我的父母，他們不計回報地付出和關愛著我，只求我健康成長。
感謝我所在的公司百度，百度是一家以技術為導向的公司，寬松的工作環境和良好的技術氛圍，讓我很快地成長起來。
感謝博文視點的編輯及其團隊，在書籍出版的過程中，他們給了我很多專業的意見和幫助。
特別感謝馮景輝為本書寫推薦序，他是一個充滿激情且令人敬佩的領導，能邀請到他為本書寫序，我十分榮幸。在公司內部我們都喜歡稱他為馮老板，他敏銳的洞察力和成熟的方法論，以及對問題抽絲剝繭的能力，讓我們受益良多。
還有感謝那些在背后給我支持和幫助的朋友、同事，以及領導，他們分別是：劉文杰、石祖文、王胄、周永成、劉焱、耿志峰、李婷婷、程巖、馬哲超、陳燕。
最后感謝所有對本書做出貢獻的人，沒有你們，這本書不會這么快面世。
謝謝你們！
本書的寫作大部分是我利用業余時間來實踐和完成的，匆忙中難免會有些問題或錯誤，歡迎各位讀者提出意見和建議，筆者不勝感激。
劉 漩
2017年2月27日 |
內容簡介：Web掃描器是一種可以對Web應用程序進行自動化安全測試的工具，它可以幫助我們快速發現目標存在的安全風險，并能夠對其進行持續性安全監控。本書詳細講述了Web掃描器的概念、原理、實踐及反制等知識，筆者憑借多年的安全工作經驗，站在安全和開發的雙重角度，力求為讀者呈現出一個完整的Web掃描知識體系。通過對本書的學習和實踐，它可以讓你快速建立自己的Web掃描體系，提高安全基礎能力。 |
目錄：第1章 掃描器基礎 1
1.1 什么是Web掃描器 1
1.2 掃描器的重要性 2
1.3 掃描器的類型 3
1.4 常見的掃描器（掃描器的示例） 4
1.5 掃描器評測 8
1.6 漏洞測試平臺 9
1.7 掃描環境部署 9
1.7.1 測試環境 9
1.7.2 開發環境 12
第2章 Web爬蟲基礎 19
2.1 什么是Web爬蟲 19
2.2 瀏覽器手工爬取過程 19
2.3 URL 21
2.4 超級鏈接 22
2.5 HTTP協議（Request/Response） 23
2.5.1 HTTP請求 23
2.5.2 HTTP響應 24
2.6 HTTP認證 25
2.6.1 Basic認證（基本式） 26
2.6.2 Digest認證（摘要式） 27
2.7 HEAD方法 29
2.8 Cookie機制 29
2.9 DNS本地緩存 31
2.9.1 瀏覽器緩存 31
2.9.2 系統緩存 32
2.10 頁面解析 33
2.11 爬蟲策略 34
2.11.1 廣度優先策略 34
2.11.2 深度優先策略 34
2.11.3 最佳優先策略（聚焦爬蟲策略） 35
2.12 頁面跳轉 35
2.12.1 客戶端跳轉 36
2.12.2 服務端跳轉 37
2.13 識別404錯誤頁面 38
2.14 URL重復/URL相似/URL包含 39
2.14.1 URL重復 39
2.14.2 URL相似 39
2.14.3 URL包含 39
2.15 區分URL的意義 40
2.16 URL去重 40
2.16.1 布隆過濾器（Bloom Filter） 41
2.16.2 哈希表去重 41
2.17 頁面相似算法 42
2.17.1 編輯距離（Levenshtein Distance） 42
2.17.2 Simhash 43
2.18 斷連重試 43
2.19 動態鏈接與靜態鏈接 43
第3章 Web爬蟲進階 44
3.1 Web爬蟲的工作原理 44
3.2 實現URL封裝 45
3.3 實現HTTP請求和響應 47
3.4 實現頁面解析 58
3.4.1 HTML解析庫 58
3.4.2 URL提取 59
3.4.3 自動填表 66
3.5 URL去重去似 67
3.5.1 URL去重 67
3.5.2 URL去似去含 73
3.6 實現404頁面識別 75
3.7 實現斷連重試 77
3.8 實現Web爬蟲 78
3.9 實現Web 2.0爬蟲 83
第4章 應用指紋識別 94
4.1 應用指紋種類及識別 94
4.2 應用指紋識別的價值 95
4.3 應用指紋識別技術 96
第5章 安全漏洞審計 102
5.1 安全漏洞審計三部曲 102
5.2 通用型漏洞審計 103
5.2.1 SQL注入漏洞 103
5.2.2 XSS跨站漏洞 111
5.2.3 命令執行注入 120
5.2.4 文件包含漏洞 129
5.2.5 敏感文件泄露 136
5.3 Nday/0day漏洞審計 146
5.3.1 Discuz!7.2 faq.php SQL注入漏洞 147
5.3.2 Dedecms get webshell漏洞 150
5.3.3 Heartbleed漏洞（CVE-2014-0160） 153
5.3.4 PHP multipart/form-data遠程DDoS（CVE-2015-4024） 157
第6章 掃描器進階 160
6.1 掃描流程 160
6.2 軟件設計 163
6.3 功能模塊 164
6.4 軟件架構 165
6.5 數據結構 166
6.6 功能實現 167
6.6.1 IP/端口掃描和檢測（端口模塊） 167
6.6.2 端口破解模塊 170
6.6.3 子域名信息枚舉 172
6.6.4 文件、目錄暴力枚舉探測（不可視URL爬取） 175
6.6.5 掃描引擎 176
6.7 掃描報告 180
6.8 掃描測試 182
第7章 云掃描 185
7.1 什么是云掃描 185
7.2 云掃描架構 185
7.3 云掃描實踐 187
7.3.1 Celery框架 188
7.3.2 掃描器Worker部署 189
7.3.3 云端調度 193
7.4 云掃描服務 199
第8章 企業安全掃描實踐 202
8.1 企業為什么需要掃描 202
8.2 企業掃描的應用場景 202
8.2.1 基于網絡流量的掃描 202
8.2.2 基于訪問日志的掃描 208
8.2.3 掃描的應用場景比較 217
第9章 關于防御 218
9.1 爬蟲反制 218
9.1.1 基于IP的反爬蟲 218
9.1.2 基于爬行的反爬蟲 221
9.2 審計反制 223
9.2.1 云WAF 223
9.2.2 云WAF的價值 223
9.3 防御策略 225
附錄A 227
附錄B 229 |
| 序： |
