<nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

    <bdo id="rub96"></bdo>

      1. <track id="rub96"><div id="rub96"></div></track>
        <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

            <nobr id="rub96"><address id="rub96"><big id="rub96"></big></address></nobr>
          1. <menuitem id="rub96"><strong id="rub96"><menu id="rub96"></menu></strong></menuitem>
            <dl id="rub96"><source id="rub96"><tr id="rub96"></tr></source></dl>
            1. <tbody id="rub96"><div id="rub96"></div></tbody>
              1. <bdo id="rub96"><optgroup id="rub96"></optgroup></bdo>
              2. <bdo id="rub96"><dfn id="rub96"><dd id="rub96"></dd></dfn></bdo>
                1. <option id="rub96"><source id="rub96"></source></option>
                2. <bdo id="rub96"></bdo>

                    <p id="rub96"><tr id="rub96"></tr></p>
                  1. <tbody id="rub96"></tbody>

                    <bdo id="rub96"></bdo>

                  2. <option id="rub96"><source id="rub96"></source></option>

                    <bdo id="rub96"><optgroup id="rub96"><dd id="rub96"></dd></optgroup></bdo>
                      <track id="rub96"></track>

                        <bdo id="rub96"></bdo>
                      1. <option id="rub96"><p id="rub96"><tr id="rub96"></tr></p></option>

                          <bdo id="rub96"></bdo>
                          1. <track id="rub96"></track>
                            1. <track id="rub96"></track>
                                  <bdo id="rub96"></bdo>
                                  <option id="rub96"></option>

                                      1. <track id="rub96"><span id="rub96"></span></track>

                                          <option id="rub96"></option>

                                          1. 
                                            
                                              <option id="rub96"><span id="rub96"></span></option>
                                              <bdo id="rub96"><address id="rub96"></address></bdo>
                                              <option id="rub96"><source id="rub96"></source></option>
                                                <nobr id="rub96"><address id="rub96"></address></nobr>
                                              1. <nobr id="rub96"><optgroup id="rub96"><big id="rub96"></big></optgroup></nobr>
                                                <track id="rub96"></track>

                                                <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>
                                                1. paulwong

                                                  2019年8月16日 #

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  一、概述

                                                  本文以淘寶作為例子,介紹從一百個并發到千萬級并發情況下服務端的架構的演進過程,同時列舉出每個演進階段會遇到的相關技術,讓大家對架構的演進有一個整體的認知,文章最后匯總了一些架構設計的原則。

                                                  二、基本概念

                                                  在介紹架構之前,為了避免部分讀者對架構設計中的一些概念不了解,下面對幾個最基礎的概念進行介紹:

                                                  1)分布式

                                                  系統中的多個模塊在不同服務器上部署,即可稱為分布式系統,如Tomcat和數據庫分別部署在不同的服務器上,或兩個相同功能的Tomcat分別部署在不同服務器上。

                                                  2)高可用

                                                  系統中部分節點失效時,其他節點能夠接替它繼續提供服務,則可認為系統具有高可用性。

                                                  3)集群

                                                  一個特定領域的軟件部署在多臺服務器上并作為一個整體提供一類服務,這個整體稱為集群。如Zookeeper中的Master和Slave分別部署在多臺服務器上,共同組成一個整體提供集中配置服務。

                                                  在常見的集群中,客戶端往往能夠連接任意一個節點獲得服務,并且當集群中一個節點掉線時,其他節點往往能夠自動的接替它繼續提供服務,這時候說明集群具有高可用性。

                                                  4)負載均衡

                                                  請求發送到系統時,通過某些方式把請求均勻分發到多個節點上,使系統中每個節點能夠均勻的處理請求負載,則可認為系統是負載均衡的。

                                                  5)正向代理和反向代理

                                                  • 系統內部要訪問外部網絡時,統一通過一個代理服務器把請求轉發出去,在外部網絡看來就是代理服務器發起的訪問,此時代理服務器實現的是正向代理;
                                                  • 當外部請求進入系統時,代理服務器把該請求轉發到系統中的某臺服務器上,對外部請求來說,與之交互的只有代理服務器,此時代理服務器實現的是反向代理。

                                                  簡單來說,正向代理是代理服務器代替系統內部來訪問外部網絡的過程,反向代理是外部請求訪問系統時通過代理服務器轉發到內部服務器的過程。

                                                  三、架構演進

                                                  單機架構

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  以淘寶作為例子。在網站最初時,應用數量與用戶數都較少,可以把Tomcat和數據庫部署在同一臺服務器上。瀏覽器往www.taobao.com發起請求時,首先經過DNS服務器(域名系統)把域名轉換為實際IP地址10.102.4.1,瀏覽器轉而訪問該IP對應的Tomcat。

                                                  隨著用戶數的增長,Tomcat和數據庫之間競爭資源,單機性能不足以支撐業務。

                                                  第一次演進:Tomcat與數據庫分開部署

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  Tomcat和數據庫分別獨占服務器資源,顯著提高兩者各自性能。

                                                  隨著用戶數的增長,并發讀寫數據庫成為瓶頸。

                                                  第二次演進:引入本地緩存和分布式緩存

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  在Tomcat同服務器上或同JVM中增加本地緩存,并在外部增加分布式緩存,緩存熱門商品信息或熱門商品的html頁面等。通過緩存能把絕大多數請求在讀寫數據庫前攔截掉,大大降低數據庫壓力。

                                                  其中涉及的技術包括:使用memcached作為本地緩存,使用Redis作為分布式緩存,還會涉及緩存一致性、緩存穿透/擊穿、緩存雪崩、熱點數據集中失效等問題。

                                                  緩存抗住了大部分的訪問請求,隨著用戶數的增長,并發壓力主要落在單機的Tomcat上,響應逐漸變慢。

                                                  第三次演進:引入反向代理實現負載均衡

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  在多臺服務器上分別部署Tomcat,使用反向代理軟件(Nginx)把請求均勻分發到每個Tomcat中。

                                                  此處假設Tomcat最多支持100個并發,Nginx最多支持50000個并發,那么理論上Nginx把請求分發到500個Tomcat上,就能抗住50000個并發。

                                                  其中涉及的技術包括:Nginx、HAProxy,兩者都是工作在網絡第七層的反向代理軟件,主要支持http協議,還會涉及session共享、文件上傳下載的問題。

                                                  反向代理使應用服務器可支持的并發量大大增加,但并發量的增長也意味著更多請求穿透到數據庫,單機的數據庫最終成為瓶頸。

                                                  第四次演進:數據庫讀寫分離

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  把數據庫劃分為讀庫和寫庫,讀庫可以有多個,通過同步機制把寫庫的數據同步到讀庫,對于需要查詢最新寫入數據場景,可通過在緩存中多寫一份,通過緩存獲得最新數據。

                                                  其中涉及的技術包括:Mycat,它是數據庫中間件,可通過它來組織數據庫的分離讀寫和分庫分表,客戶端通過它來訪問下層數據庫,還會涉及數據同步,數據一致性的問題。

                                                  業務逐漸變多,不同業務之間的訪問量差距較大,不同業務直接競爭數據庫,相互影響性能。

                                                  第五次演進:數據庫按業務分庫

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  把不同業務的數據保存到不同的數據庫中,使業務之間的資源競爭降低,對于訪問量大的業務,可以部署更多的服務器來支撐。

                                                  這樣同時導致跨業務的表無法直接做關聯分析,需要通過其他途徑來解決,但這不是本文討論的重點,有興趣的可以自行搜索解決方案。

                                                  隨著用戶數的增長,單機的寫庫會逐漸會達到性能瓶頸。

                                                  第六次演進:把大表拆分為小表

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  比如針對評論數據,可按照商品ID進行hash,路由到對應的表中存儲;針對支付記錄,可按照小時創建表,每個小時表繼續拆分為小表,使用用戶ID或記錄編號來路由數據。

                                                  只要實時操作的表數據量足夠小,請求能夠足夠均勻的分發到多臺服務器上的小表,那數據庫就能通過水平擴展的方式來提高性能。其中前面提到的Mycat也支持在大表拆分為小表情況下的訪問控制。

                                                  這種做法顯著的增加了數據庫運維的難度,對DBA的要求較高。數據庫設計到這種結構時,已經可以稱為分布式數據庫,但是這只是一個邏輯的數據庫整體,數據庫里不同的組成部分是由不同的組件單獨來實現的。

                                                  如分庫分表的管理和請求分發,由Mycat實現,SQL的解析由單機的數據庫實現,讀寫分離可能由網關和消息隊列來實現,查詢結果的匯總可能由數據庫接口層來實現等等,這種架構其實是MPP(大規模并行處理)架構的一類實現。

                                                  目前開源和商用都已經有不少MPP數據庫,開源中比較流行的有Greenplum、TiDB、Postgresql XC、HAWQ等,商用的如南大通用的GBase、睿帆科技的雪球DB、華為的LibrA等等。

                                                  不同的MPP數據庫的側重點也不一樣,如TiDB更側重于分布式OLTP場景,Greenplum更側重于分布式OLAP場景。

                                                  這些MPP數據庫基本都提供了類似Postgresql、Oracle、MySQL那樣的SQL標準支持能力,能把一個查詢解析為分布式的執行計劃分發到每臺機器上并行執行,最終由數據庫本身匯總數據進行返回。

                                                  也提供了諸如權限管理、分庫分表、事務、數據副本等能力,并且大多能夠支持100個節點以上的集群,大大降低了數據庫運維的成本,并且使數據庫也能夠實現水平擴展。

                                                  數據庫和Tomcat都能夠水平擴展,可支撐的并發大幅提高,隨著用戶數的增長,最終單機的Nginx會成為瓶頸。

                                                  第七次演進:使用LVS或F5來使多個Nginx負載均衡

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  由于瓶頸在Nginx,因此無法通過兩層的Nginx來實現多個Nginx的負載均衡。

                                                  圖中的LVS和F5是工作在網絡第四層的負載均衡解決方案,其中LVS是軟件,運行在操作系統內核態,可對TCP請求或更高層級的網絡協議進行轉發,因此支持的協議更豐富,并且性能也遠高于Nginx,可假設單機的LVS可支持幾十萬個并發的請求轉發;F5是一種負載均衡硬件,與LVS提供的能力類似,性能比LVS更高,但價格昂貴。

                                                  由于LVS是單機版的軟件,若LVS所在服務器宕機則會導致整個后端系統都無法訪問,因此需要有備用節點。可使用keepalived軟件模擬出虛擬IP,然后把虛擬IP綁定到多臺LVS服務器上,瀏覽器訪問虛擬IP時,會被路由器重定向到真實的LVS服務器,當主LVS服務器宕機時,keepalived軟件會自動更新路由器中的路由表,把虛擬IP重定向到另外一臺正常的LVS服務器,從而達到LVS服務器高可用的效果。

                                                  此處需要注意的是,上圖中從Nginx層到Tomcat層這樣畫并不代表全部Nginx都轉發請求到全部的Tomcat。

                                                  在實際使用時,可能會是幾個Nginx下面接一部分的Tomcat,這些Nginx之間通過keepalived實現高可用,其他的Nginx接另外的Tomcat,這樣可接入的Tomcat數量就能成倍的增加。

                                                  由于LVS也是單機的,隨著并發數增長到幾十萬時,LVS服務器最終會達到瓶頸,此時用戶數達到千萬甚至上億級別,用戶分布在不同的地區,與服務器機房距離不同,導致了訪問的延遲會明顯不同。

                                                  第八次演進:通過DNS輪詢實現機房間的負載均衡

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  在DNS服務器中可配置一個域名對應多個IP地址,每個IP地址對應到不同的機房里的虛擬IP。

                                                  當用戶訪問www.taobao.com時,DNS服務器會使用輪詢策略或其他策略,來選擇某個IP供用戶訪問。此方式能實現機房間的負載均衡,至此,系統可做到機房級別的水平擴展,千萬級到億級的并發量都可通過增加機房來解決,系統入口處的請求并發量不再是問題。

                                                  隨著數據的豐富程度和業務的發展,檢索、分析等需求越來越豐富,單單依靠數據庫無法解決如此豐富的需求。

                                                  第九次演進:引入NoSQL數據庫和搜索引擎等技術

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  當數據庫中的數據多到一定規模時,數據庫就不適用于復雜的查詢了,往往只能滿足普通查詢的場景。

                                                  對于統計報表場景,在數據量大時不一定能跑出結果,而且在跑復雜查詢時會導致其他查詢變慢,對于全文檢索、可變數據結構等場景,數據庫天生不適用。

                                                  因此需要針對特定的場景,引入合適的解決方案。如對于海量文件存儲,可通過分布式文件系統HDFS解決,對于key value類型的數據,可通過HBase和Redis等方案解決,對于全文檢索場景,可通過搜索引擎如ElasticSearch解決,對于多維分析場景,可通過Kylin或Druid等方案解決。

                                                  當然,引入更多組件同時會提高系統的復雜度,不同的組件保存的數據需要同步,需要考慮一致性的問題,需要有更多的運維手段來管理這些組件等。

                                                  引入更多組件解決了豐富的需求,業務維度能夠極大擴充,隨之而來的是一個應用中包含了太多的業務代碼,業務的升級迭代變得困難。

                                                  第十次演進:大應用拆分為小應用

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  按照業務板塊來劃分應用代碼,使單個應用的職責更清晰,相互之間可以做到獨立升級迭代。這時候應用之間可能會涉及到一些公共配置,可以通過分布式配置中心Zookeeper來解決。

                                                  不同應用之間存在共用的模塊,由應用單獨管理會導致相同代碼存在多份,導致公共功能升級時全部應用代碼都要跟著升級。

                                                  第十一次演進:復用的功能抽離成微服務

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  如用戶管理、訂單、支付、鑒權等功能在多個應用中都存在,那么可以把這些功能的代碼單獨抽取出來形成一個單獨的服務來管理,這樣的服務就是所謂的微服務。

                                                  應用和服務之間通過HTTP、TCP或RPC請求等多種方式來訪問公共服務,每個單獨的服務都可以由單獨的團隊來管理。此外,可以通過Dubbo、SpringCloud等框架實現服務治理、限流、熔斷、降級等功能,提高服務的穩定性和可用性。

                                                  不同服務的接口訪問方式不同,應用代碼需要適配多種訪問方式才能使用服務,此外,應用訪問服務,服務之間也可能相互訪問,調用鏈將會變得非常復雜,邏輯變得混亂。

                                                  第十二次演進:引入企業服務總線ESB屏蔽服務接口的訪問差異

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  通過ESB統一進行訪問協議轉換,應用統一通過ESB來訪問后端服務,服務與服務之間也通過ESB來相互調用,以此降低系統的耦合程度。這種單個應用拆分為多個應用,公共服務單獨抽取出來來管理,并使用企業消息總線來解除服務之間耦合問題的架構,就是所謂的SOA(面向服務)架構,這種架構與微服務架構容易混淆,因為表現形式十分相似。

                                                  個人理解,微服務架構更多是指把系統里的公共服務抽取出來單獨運維管理的思想,而SOA架構則是指一種拆分服務并使服務接口訪問變得統一的架構思想,SOA架構中包含了微服務的思想。

                                                  業務不斷發展,應用和服務都會不斷變多,應用和服務的部署變得復雜,同一臺服務器上部署多個服務還要解決運行環境沖突的問題,此外,對于如大促這類需要動態擴縮容的場景,需要水平擴展服務的性能,就需要在新增的服務上準備運行環境,部署服務等,運維將變得十分困難。

                                                  第十三次演進:引入容器化技術實現運行環境隔離與動態服務管理

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  目前最流行的容器化技術是Docker,最流行的容器管理服務是Kubernetes(K8S),應用/服務可以打包為Docker鏡像,通過K8S來動態分發和部署鏡像。

                                                  Docker鏡像可理解為一個能運行你的應用/服務的最小的操作系統,里面放著應用/服務的運行代碼,運行環境根據實際的需要設置好。把整個“操作系統”打包為一個鏡像后,就可以分發到需要部署相關服務的機器上,直接啟動Docker鏡像就可以把服務起起來,使服務的部署和運維變得簡單。

                                                  在大促的之前,可以在現有的機器集群上劃分出服務器來啟動Docker鏡像,增強服務的性能,大促過后就可以關閉鏡像,對機器上的其他服務不造成影響(在3.14節之前,服務運行在新增機器上需要修改系統配置來適配服務,這會導致機器上其他服務需要的運行環境被破壞)。

                                                  使用容器化技術后服務動態擴縮容問題得以解決,但是機器還是需要公司自身來管理,在非大促的時候,還是需要閑置著大量的機器資源來應對大促,機器自身成本和運維成本都極高,資源利用率低。

                                                  第十四次演進:以云平臺承載系統

                                                  淘寶千萬級并發分布式架構的14次演進

                                                  系統可部署到公有云上,利用公有云的海量機器資源,解決動態硬件資源的問題,在大促的時間段里,在云平臺中臨時申請更多的資源,結合Docker和K8S來快速部署服務,在大促結束后釋放資源,真正做到按需付費,資源利用率大大提高,同時大大降低了運維成本。

                                                  所謂的云平臺,就是把海量機器資源,通過統一的資源管理,抽象為一個資源整體。在之上可按需動態申請硬件資源(如CPU、內存、網絡等),并且之上提供通用的操作系統,提供常用的技術組件(如Hadoop技術棧,MPP數據庫等)供用戶使用,甚至提供開發好的應用。用戶不需要關系應用內部使用了什么技術,就能夠解決需求(如音視頻轉碼服務、郵件服務、個人博客等)。在云平臺中會涉及如下幾個概念:

                                                  • IaaS:基礎設施即服務。對應于上面所說的機器資源統一為資源整體,可動態申請硬件資源的層面;
                                                  • PaaS:平臺即服務。對應于上面所說的提供常用的技術組件方便系統的開發和維護;
                                                  • SaaS:軟件即服務。對應于上面所說的提供開發好的應用或服務,按功能或性能要求付費。

                                                  至此,以上所提到的從高并發訪問問題,到服務的架構和系統實施的層面都有了各自的解決方案,但同時也應該意識到,在上面的介紹中,其實是有意忽略了諸如跨機房數據同步、分布式事務實現等等的實際問題,這些問題以后有機會再拿出來單獨討論。

                                                  四、 架構設計總結

                                                  架構的調整是否必須按照上述演變路徑進行?

                                                  不是的,以上所說的架構演變順序只是針對某個側面進行單獨的改進,在實際場景中,可能同一時間會有幾個問題需要解決,或者可能先達到瓶頸的是另外的方面,這時候就應該按照實際問題實際解決。

                                                  如在政府類的并發量可能不大,但業務可能很豐富的場景,高并發就不是重點解決的問題,此時優先需要的可能會是豐富需求的解決方案。

                                                  對于將要實施的系統,架構應該設計到什么程度?

                                                  對于單次實施并且性能指標明確的系統,架構設計到能夠支持系統的性能指標要求就足夠了,但要留有擴展架構的接口以便不備之需。對于不斷發展的系統,如電商平臺,應設計到能滿足下一階段用戶量和性能指標要求的程度,并根據業務的增長不斷的迭代升級架構,以支持更高的并發和更豐富的業務。

                                                  服務端架構和大數據架構有什么區別?

                                                  所謂的“大數據”其實是海量數據采集清洗轉換、數據存儲、數據分析、數據服務等場景解決方案的一個統稱。

                                                  在每一個場景都包含了多種可選的技術,如數據采集有Flume、Sqoop、Kettle等,數據存儲有分布式文件系統HDFS、FastDFS,NoSQL數據庫HBase、MongoDB等,數據分析有Spark技術棧、機器學習算法等。

                                                  總的來說大數據架構就是根據業務的需求,整合各種大數據組件組合而成的架構,一般會提供分布式存儲、分布式計算、多維分析、數據倉庫、機器學習算法等能力。而服務端架構更多指的是應用組織層面的架構,底層能力往往是由大數據架構來提供。

                                                  有沒有一些架構設計的原則?

                                                  1)N+1設計

                                                  系統中的每個組件都應做到沒有單點故障。

                                                  2)回滾設計

                                                  確保系統可以向前兼容,在系統升級時應能有辦法回滾版本。

                                                  3)禁用設計

                                                  應該提供控制具體功能是否可用的配置,在系統出現故障時能夠快速下線功能。

                                                  4)監控設計

                                                  在設計階段就要考慮監控的手段。

                                                  5)多活數據中心設計

                                                  若系統需要極高的高可用,應考慮在多地實施數據中心進行多活,至少在一個機房斷電的情況下系統依然可用

                                                  6)采用成熟的技術

                                                  剛開發的或開源的技術往往存在很多隱藏的bug,出了問題沒有商業支持可能會是一個災難。

                                                  7)資源隔離設計

                                                  應避免單一業務占用全部資源。

                                                  8)架構應能水平擴展

                                                  系統只有做到能水平擴展,才能有效避免瓶頸問題

                                                  9)非核心則購買

                                                  非核心功能若需要占用大量的研發資源才能解決,則考慮購買成熟的產品。

                                                  10)使用商用硬件

                                                  商用硬件能有效降低硬件故障的機率。

                                                  11)快速迭代

                                                  系統應該快速開發小功能模塊,盡快上線進行驗證,早日發現問題大大降低系統交付的風險。

                                                  12)無狀態設計

                                                  服務接口應該做成無狀態的,當前接口的訪問不依賴于接口上次訪問的狀態。

                                                  設計到此結束,其實,解決方案有很多,但是這個只是我采用的,覺得最輕便的一個。

                                                  原創文章,轉載請注明: 轉載自并發編程網 – ifeve.com本文鏈接地址: 淘寶千萬級并發分布式架構的14次演進

                                                  posted @ 2019-08-16 10:05 paulwong 閱讀(30) | 評論 (0)編輯 收藏

                                                  2019年8月1日 #

                                                  Guide to the Most Important JVM Parameters

                                                  https://www.baeldung.com/jvm-parametersa

                                                  Optimising Your Minecraft: Jvm Arguments
                                                  https://xealgaming.net/threads/optimising-your-minecraft-jvm-arguments.4758/

                                                  posted @ 2019-08-01 16:55 paulwong 閱讀(19) | 評論 (0)編輯 收藏

                                                  JVM內存配置

                                                  JVM內存主要分為兩個部分,分別是PermanentSapce和HeapSpace。

                                                  PermantSpace主要負責存放加載的Class類級對象如class本身,method,field等反射對象,一般不用配置。

                                                  JVM的Heap區可以通過-X參數來設定。HeapSpace= {Old + NEW {= Eden , from, to } }

                                                  當一個URL被訪問時,內存申請過程如下:

                                                  1. JVM會試圖為相關Java對象在Eden中初始化一塊內存區域 
                                                  2. 當Eden空間足夠時,內存申請結束。否則到下一步 
                                                  3. JVM試圖釋放在Eden中所有不活躍的對象(這屬于1或更高級的垃圾回收), 釋放后若Eden空間仍然不足以放入新對象,則試圖將部分Eden中活躍對象放入Survivor區
                                                  4.  Survivor區被用來作為Eden及OLD的中間交換區域,當OLD區空間足夠時,Survivor區的對象會被移到Old區,否則會被保留在Survivor區 
                                                  5. 當OLD區空間不夠時,JVM會在OLD區進行完全的垃圾收集(0級) 
                                                  6. 完全垃圾收集后,若Survivor及OLD區仍然無法存放從Eden復制過來的部分對象,導致JVM無法在Eden區為新對象創建內存區域,則出現”out of memory錯誤”

                                                  Xms/Xmx:定義NEW+OLD段的總尺寸,ms為JVM啟動時NEW+OLD的內存大小;mx為最大可占用的NEW+OLD內存大小。。在用戶生產環境上一般將這兩個值設為相同,以減少運行期間系統在內存申請上所花的開銷; 

                                                  NewSize/MaxNewSize:定義單獨NEW段的尺寸,NewSize為JVM啟動時NEW的內存大小;MaxNewSize為最大可占用的NEW的內存大小。在用戶生產環境上一般將這兩個值設為相同,以減少運行期間系統在內存申請上所花的開銷;

                                                  Xms/Xmx和NewSize/MaxNewSize定義好后,OLD區間也自然定義完畢了,即OLD區初始大小=(Xms-NewSize),OLD區最大可占用大小=(Xmx-MaxNewSize); 

                                                  PermSize/MaxPermSize:定義Perm段的尺寸,PermSize為JVM啟動時Perm的內存大小;MaxPermSize為最大可占用的Perm內存大小。在用戶生產環境上一般將這兩個值設為相同,以減少運行期間系統在內存申請上所花的開銷。

                                                  posted @ 2019-08-01 16:44 paulwong 閱讀(40) | 評論 (0)編輯 收藏

                                                  使用 Awaitility 測試異步代碼

                                                  自動化工具 異步校驗工具 awaitility 快速入門
                                                  https://testerhome.com/topics/7408


                                                  https://yanbin.blog/test-asyn-call-with-awaitility/

                                                  Introduction to Awaitlity
                                                  https://www.baeldung.com/awaitlity-testing




                                                  posted @ 2019-08-01 10:06 paulwong 閱讀(22) | 評論 (0)編輯 收藏

                                                  2019年7月31日 #

                                                  Spring Batch JUnit test for multiple jobs


                                                  https://stackoverflow.com/questions/34217101/spring-batch-junit-test-for-multiple-jobs

                                                  @Configuration
                                                  public class TestBatchConfiguration implements MergedBeanDefinitionPostProcessor {

                                                      @Autowired
                                                      @Qualifier("JobA")
                                                      private Job job;

                                                      @Bean(name="jtestl")
                                                      public JobLauncherTestUtils jobLauncherTestUtils() {
                                                          JobLauncherTestUtils jobLauncherTestUtils = new JobLauncherTestUtils();
                                                          jobLauncherTestUtils.setJob(job);
                                                          return jobLauncherTestUtils;
                                                      }

                                                      /**
                                                       * 
                                                  https://stackoverflow.com/questions/22416140/autowire-setter-override-with-java-config
                                                       * This is needed to inject the correct job into JobLauncherTestUtils
                                                       
                                                  */
                                                      @Override
                                                      public void postProcessMergedBeanDefinition(RootBeanDefinition beanDefinition, Class<?> beanType, String beanName) {
                                                          if(beanName.equals("jtestl")) {
                                                              beanDefinition.getPropertyValues().add("job", getMyBeanFirstAImpl());
                                                          }
                                                      }

                                                      private Object getMyBeanFirstAImpl() {
                                                          return job;
                                                      }

                                                      @Override
                                                      public Object postProcessBeforeInitialization(Object bean, String beanName) throws BeansException {
                                                          return bean;
                                                      }

                                                      @Override
                                                      public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
                                                          return bean;
                                                      }
                                                  }

                                                  posted @ 2019-07-31 10:48 paulwong 閱讀(30) | 評論 (0)編輯 收藏

                                                  2019年7月30日 #

                                                  Keep SSH session alive

                                                  sshd (the server) closes the connection if it doesn't hear anything from the client for a while. You can tell your client to send a sign-of-life signal to the server once in a while.

                                                  The configuration for this is in the file "~/.ssh/config", create it if the configuration file does not exist. To send the signal every four minutes (240 seconds) to the remote host, put the following in your "~/.ssh/config" file.

                                                  Host remotehost:     HostName remotehost.com     ServerAliveInterval 240 

                                                  This is what I have in my "~/.ssh/config":

                                                  To enable it for all hosts use:

                                                  Host * ServerAliveInterval 240 

                                                  Also make sure to run:

                                                  chmod 600 ~/.ssh/config 

                                                  because the config file must not be world-readable.

                                                  posted @ 2019-07-30 13:46 paulwong 閱讀(23) | 評論 (0)編輯 收藏

                                                  2019年7月25日 #

                                                  publish over ssh 實現 Jenkins 遠程部署

                                                  Jenkins遠程部署,一開始沒有任何頭緒,想了很多方案. 因為兩臺機器都是windows系統,所以想到publish over cifs, 但是這個網上資料太少,貌似只能內網使用。又想到了Jenkins 分布式構建,但是Jenkins構建的代碼和產物最后自動拷貝到主節點。而遠程機器其實是客戶方的機器,所以這個分布式構建并不適用。最后還是選定publish over ssh來實現遠程部署。 
                                                  請注意:在進行遠程部署操作前,先要確保客戶機能ssh 登錄到遠程機器。如果不知道SSH怎么登陸,請參考http://blog.csdn.net/flyingshuai/article/details/72897692 
                                                  1. 安裝publish over ssh 插件,安裝很簡單,在此不表。 
                                                  2. 在Jenkins系統設置里找到Publish over SSH模塊 
                                                  3. 用戶名/密碼方式登錄的,系統設置里設置如下: 
                                                  4. 如果是證書登錄的,系統設置里設置如下: 
                                                  5. Job設置,點擊增加構建后操作步驟,選擇send build artifacts over ssh, 設置如下: 
                                                  6. 文件上傳到遠程服務器后,還有一些后續操作,比如,替換數據庫配置文件。可以把bat命令寫到一個批處理文件中,存到服務器上。Exec command填寫批處理文件的絕對路徑。如上圖所示。
                                                  關于bat腳本: 
                                                  如果每次都需要替換同樣的文件,用copy /y 是無條件覆蓋,不會詢問。而xcopy可以實現批量拷貝文件和文件夾。如果文件較多可用此命令 
                                                  注意腳本運行失敗,構建也會顯示藍色成功圖標,所以一定要打開控制臺輸出,看是否真的成功。
                                                  --------------------- 
                                                  作者:flyingshuai 
                                                  來源:CSDN 
                                                  原文:https://blog.csdn.net/flyingshuai/article/details/72898665 
                                                  版權聲明:本文為博主原創文章,轉載請附上博文鏈接!

                                                  posted @ 2019-07-25 09:33 paulwong 閱讀(42) | 評論 (0)編輯 收藏

                                                  2019年7月24日 #

                                                  How do I clear my Jenkins/Hudson build history?

                                                       摘要: 問題:I recently updated the configuration of one of my hudson builds. The build history is out of sync. Is there a way to clear my build history?Please and thank you回答1:If you click Manage Hudson / Relo...  閱讀全文

                                                  posted @ 2019-07-24 16:18 paulwong 閱讀(28) | 評論 (0)編輯 收藏

                                                  Springboot ActiveMQ jmsTemplate配置

                                                  @Configuration
                                                  @DependsOn(value="cachingConnectionFactory")
                                                  public class JmsTemplateConfiguration {

                                                  @Value("${wechat.sendmessage.queue}")
                                                  private String queueName;

                                                  @Value("${wechat.sendmessage.topic}")
                                                  private String topicName;

                                                  @Value("${spring.jms.pub-sub-domain}")
                                                  private boolean isPubSubDomain;


                                                  /**
                                                   * 定義點對點隊列
                                                   * 
                                                  @return
                                                   
                                                  */
                                                  @Bean
                                                  public Queue queue() {
                                                      return new ActiveMQQueue(queueName);
                                                  }



                                                  /**
                                                   * 定義一個主題
                                                   * 
                                                  @return
                                                   
                                                  */
                                                  @Bean
                                                  public Topic topic() {
                                                      return new ActiveMQTopic(topicName);
                                                  }

                                                  private final ObjectProvider<DestinationResolver> destinationResolver;
                                                  private final ObjectProvider<MessageConverter> messageConverter;
                                                  private final CachingConnectionFactory cachingConnectionFactory;

                                                  @Autowired
                                                  public JmsTemplateConfiguration(ObjectProvider<DestinationResolver> destinationResolver,
                                                                                  ObjectProvider<MessageConverter> messageConverter,
                                                                                  CachingConnectionFactory cachingConnectionFactory) {
                                                      this.destinationResolver = destinationResolver;
                                                      this.messageConverter = messageConverter;
                                                      this.cachingConnectionFactory = cachingConnectionFactory;
                                                  }

                                                  /**
                                                   * 配置隊列生產者的JmsTemplate
                                                   * 
                                                  @return JmsTemplate
                                                   
                                                  */
                                                  @Bean(name="jmsQueueTemplate")
                                                  public JmsTemplate jmsQueueTemplate() {
                                                      //設置創建連接的工廠
                                                      
                                                  //JmsTemplate jmsTemplate = new JmsTemplate(connectionFactory);
                                                      
                                                  //優化連接工廠,這里應用緩存池 連接工廠就即可
                                                      JmsTemplate jmsTemplate = new JmsTemplate(cachingConnectionFactory);
                                                      //設置默認消費topic
                                                     
                                                  //jmsTemplate.setDefaultDestination(topic());
                                                      
                                                  //設置P2P隊列消息類型
                                                      jmsTemplate.setPubSubDomain(isPubSubDomain);

                                                      DestinationResolver destinationResolver = (DestinationResolver) this.destinationResolver.getIfUnique();
                                                      if (destinationResolver != null) {
                                                          jmsTemplate.setDestinationResolver(destinationResolver);
                                                      }
                                                      MessageConverter messageConverter = (MessageConverter) this.messageConverter.getIfUnique();
                                                      if (messageConverter != null) {
                                                          jmsTemplate.setMessageConverter(messageConverter);
                                                      }
                                                      //deliveryMode, priority, timeToLive 的開關,要生效,必須配置為true,默認false
                                                      jmsTemplate.setExplicitQosEnabled(true);
                                                      //DeliveryMode.NON_PERSISTENT=1:非持久 ; DeliveryMode.PERSISTENT=2:持久
                                                      
                                                  //定義持久化后節點掛掉以后,重啟可以繼續消費.
                                                      jmsTemplate.setDeliveryMode(DeliveryMode.PERSISTENT);
                                                      //默認不開啟事務
                                                      System.out.println("默認是否開啟事務:"+jmsTemplate.isSessionTransacted());
                                                      //如果不啟用事務,則會導致XA事務失效;
                                                      
                                                  //作為生產者如果需要支持事務,則需要配置SessionTransacted為true
                                                    
                                                  //jmsTemplate.setSessionTransacted(true);
                                                      
                                                  //消息的應答方式,需要手動確認,此時SessionTransacted必須被設置為false,且為Session.CLIENT_ACKNOWLEDGE模式
                                                      
                                                  //Session.AUTO_ACKNOWLEDGE  消息自動簽收
                                                      
                                                  //Session.CLIENT_ACKNOWLEDGE  客戶端調用acknowledge方法手動簽收
                                                      
                                                  //Session.DUPS_OK_ACKNOWLEDGE 不必必須簽收,消息可能會重復發送
                                                      jmsTemplate.setSessionAcknowledgeMode(Session.CLIENT_ACKNOWLEDGE);
                                                      return jmsTemplate;
                                                  }

                                                  /**
                                                   * 配置發布訂閱生產者的JmsTemplate
                                                   * 
                                                  @return JmsTemplate
                                                   
                                                  */
                                                  @Bean(name="jmsTopicTemplate")
                                                  public JmsTemplate jmsTopicTemplate() {
                                                      //設置創建連接的工廠
                                                     
                                                  //JmsTemplate jmsTemplate = new JmsTemplate(connectionFactory);
                                                      
                                                  //優化連接工廠,這里應用緩存池 連接工廠就即可
                                                      JmsTemplate jmsTemplate = new JmsTemplate(cachingConnectionFactory);
                                                      //設置默認消費topic
                                                    
                                                  //jmsTemplate.setDefaultDestination(topic());
                                                      
                                                  //設置發布訂閱消息類型
                                                      jmsTemplate.setPubSubDomain(isPubSubDomain);


                                                      //deliveryMode, priority, timeToLive 的開關,要生效,必須配置為true,默認false
                                                      jmsTemplate.setExplicitQosEnabled(true);
                                                      //DeliveryMode.NON_PERSISTENT=1:非持久 ; DeliveryMode.PERSISTENT=2:持久
                                                      jmsTemplate.setDeliveryMode(DeliveryMode.PERSISTENT);

                                                      //默認不開啟事務
                                                      System.out.println("是否開啟事務"+jmsTemplate.isSessionTransacted());
                                                      //如果session帶有事務,并且事務成功提交,則消息被自動簽收。如果事務回滾,則消息會被再次傳送。
                                                      
                                                  //jmsTemplate.setSessionTransacted(true);

                                                      
                                                  //不帶事務的session的簽收方式,取決于session的配置。
                                                      
                                                  //默認消息確認方式為1,即AUTO_ACKNOWLEDGE
                                                      System.out.println("是否消息確認方式"+jmsTemplate.getSessionAcknowledgeMode());

                                                      //消息的應答方式,需要手動確認,此時SessionTransacted必須被設置為false,且為Session.CLIENT_ACKNOWLEDGE模式
                                                      
                                                  //Session.AUTO_ACKNOWLEDGE  消息自動簽收
                                                      
                                                  //Session.CLIENT_ACKNOWLEDGE  客戶端調用acknowledge方法手動簽收
                                                      
                                                  //Session.DUPS_OK_ACKNOWLEDGE 不必必須簽收,消息可能會重復發送
                                                      jmsTemplate.setSessionAcknowledgeMode(Session.CLIENT_ACKNOWLEDGE);

                                                      return jmsTemplate;
                                                  }

                                                  }

                                                  posted @ 2019-07-24 11:40 paulwong 閱讀(50) | 評論 (0)編輯 收藏

                                                  2019年7月18日 #

                                                  Enterprise Integration Patterns

                                                  Why Enterprise Integration Patterns?

                                                  Enterprise integration is too complex to be solved with a simple 'cookbook' approach. Instead, patterns can provide guidance by documenting the kind of experience that usually lives only in architects' heads: they are accepted solutions to recurring problems within a given context. Patterns are abstract enough to apply to most integration technologies, but specific enough to provide hands-on guidance to designers and architects. Patterns also provide a vocabulary for developers to efficiently describe their solution.

                                                  Patterns are not 'invented'; they are harvested from repeated use in practice. If you have built integration solutions, it is likely that you have used some of these patterns, maybe in slight variations and maybe calling them by a different name. The purpose of this site is not to "invent" new approaches, but to present a coherent collection of relevant and proven patterns, which in total form an integration pattern language.

                                                  Despite the 700+ pages, our book covers only a fraction of patterns (and the problems to be solved) in the integration space. The current patterns focus on Messaging, which forms the basis of most other integration patterns. We have started to harvest more patterns but are realizing (once again) how much work documenting these patterns really is. So please stay tuned.

                                                  Messaging Patterns

                                                  We have documented 65 messaging patterns, organized as follows:

                                                  Message Construct.
                                                  Message
                                                  Command Message
                                                  Document Message
                                                  Event Message
                                                  Request-Reply
                                                  Return Address
                                                  Correlation Identifier
                                                  Message Sequence
                                                  Message Expiration
                                                  Format Indicator
                                                  Message Routing
                                                  Pipes-and-Filters
                                                  Message Router
                                                  Content-based Router
                                                  Message Filter
                                                  Dynamic Router
                                                  Recipient List
                                                  Splitter
                                                  Aggregator
                                                  Resequencer
                                                  Composed Msg. Processor
                                                  Scatter-Gather
                                                  Routing Slip
                                                  Process Manager
                                                  Message Broker
                                                  Message
                                                  Transformation
                                                  Message Translator
                                                  Envelope Wrapper
                                                  Content Enricher
                                                  Content Filter
                                                  Claim Check
                                                  Normalizer
                                                  Canonical Data Model
                                                  Messaging Endpoints
                                                  Message Endpoint
                                                  Messaging Gateway
                                                  Messaging Mapper
                                                  Transactional Client
                                                  Polling Consumer
                                                  Event-driven Consumer
                                                  Competing Consumers
                                                  Message Dispatcher
                                                  Selective Consumer
                                                  Durable Subscriber
                                                  Idempotent Receiver
                                                  Service Activator
                                                  Messaging Channels
                                                  Message Channel
                                                  Point-to-Point Channel
                                                  Publish-Subscr. Channel
                                                  Datatype Channel
                                                  Invalid Message Channel
                                                  Dead Letter Channel
                                                  Guaranteed Delivery
                                                  Channel Adapter
                                                  Messaging Bridge
                                                  Message Bus
                                                  Systems Mgmt.
                                                  Control Bus
                                                  Detour
                                                  Wire Tap
                                                  Message History
                                                  Message Store
                                                  Smart Proxy
                                                  Test Message
                                                  Channel Purger


                                                  https://www.enterpriseintegrationpatterns.com/patterns/messaging/index.html

                                                  posted @ 2019-07-18 14:11 paulwong 閱讀(33) | 評論 (0)編輯 收藏

                                                  僅列出標題  下一頁
                                                  精准平特三肖
                                                  <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

                                                  <bdo id="rub96"></bdo>

                                                    1. <track id="rub96"><div id="rub96"></div></track>
                                                      <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

                                                          <nobr id="rub96"><address id="rub96"><big id="rub96"></big></address></nobr>
                                                        1. <menuitem id="rub96"><strong id="rub96"><menu id="rub96"></menu></strong></menuitem>
                                                          <dl id="rub96"><source id="rub96"><tr id="rub96"></tr></source></dl>
                                                          1. <tbody id="rub96"><div id="rub96"></div></tbody>
                                                            1. <bdo id="rub96"><optgroup id="rub96"></optgroup></bdo>
                                                            2. <bdo id="rub96"><dfn id="rub96"><dd id="rub96"></dd></dfn></bdo>
                                                              1. <option id="rub96"><source id="rub96"></source></option>
                                                              2. <bdo id="rub96"></bdo>

                                                                  <p id="rub96"><tr id="rub96"></tr></p>
                                                                1. <tbody id="rub96"></tbody>

                                                                  <bdo id="rub96"></bdo>

                                                                2. <option id="rub96"><source id="rub96"></source></option>

                                                                  <bdo id="rub96"><optgroup id="rub96"><dd id="rub96"></dd></optgroup></bdo>
                                                                    <track id="rub96"></track>

                                                                      <bdo id="rub96"></bdo>
                                                                    1. <option id="rub96"><p id="rub96"><tr id="rub96"></tr></p></option>

                                                                        <bdo id="rub96"></bdo>
                                                                        1. <track id="rub96"></track>
                                                                          1. <track id="rub96"></track>
                                                                                <bdo id="rub96"></bdo>
                                                                                <option id="rub96"></option>

                                                                                    1. <track id="rub96"><span id="rub96"></span></track>

                                                                                        <option id="rub96"></option>

                                                                                        1. 
                                                                                          
                                                                                            <option id="rub96"><span id="rub96"></span></option>
                                                                                            <bdo id="rub96"><address id="rub96"></address></bdo>
                                                                                            <option id="rub96"><source id="rub96"></source></option>
                                                                                              <nobr id="rub96"><address id="rub96"></address></nobr>
                                                                                            1. <nobr id="rub96"><optgroup id="rub96"><big id="rub96"></big></optgroup></nobr>
                                                                                              <track id="rub96"></track>

                                                                                              <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>
                                                                                                <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

                                                                                                <bdo id="rub96"></bdo>

                                                                                                  1. <track id="rub96"><div id="rub96"></div></track>
                                                                                                    <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>

                                                                                                        <nobr id="rub96"><address id="rub96"><big id="rub96"></big></address></nobr>
                                                                                                      1. <menuitem id="rub96"><strong id="rub96"><menu id="rub96"></menu></strong></menuitem>
                                                                                                        <dl id="rub96"><source id="rub96"><tr id="rub96"></tr></source></dl>
                                                                                                        1. <tbody id="rub96"><div id="rub96"></div></tbody>
                                                                                                          1. <bdo id="rub96"><optgroup id="rub96"></optgroup></bdo>
                                                                                                          2. <bdo id="rub96"><dfn id="rub96"><dd id="rub96"></dd></dfn></bdo>
                                                                                                            1. <option id="rub96"><source id="rub96"></source></option>
                                                                                                            2. <bdo id="rub96"></bdo>

                                                                                                                <p id="rub96"><tr id="rub96"></tr></p>
                                                                                                              1. <tbody id="rub96"></tbody>

                                                                                                                <bdo id="rub96"></bdo>

                                                                                                              2. <option id="rub96"><source id="rub96"></source></option>

                                                                                                                <bdo id="rub96"><optgroup id="rub96"><dd id="rub96"></dd></optgroup></bdo>
                                                                                                                  <track id="rub96"></track>

                                                                                                                    <bdo id="rub96"></bdo>
                                                                                                                  1. <option id="rub96"><p id="rub96"><tr id="rub96"></tr></p></option>

                                                                                                                      <bdo id="rub96"></bdo>
                                                                                                                      1. <track id="rub96"></track>
                                                                                                                        1. <track id="rub96"></track>
                                                                                                                              <bdo id="rub96"></bdo>
                                                                                                                              <option id="rub96"></option>

                                                                                                                                  1. <track id="rub96"><span id="rub96"></span></track>

                                                                                                                                      <option id="rub96"></option>

                                                                                                                                      1. 
                                                                                                                                        
                                                                                                                                          <option id="rub96"><span id="rub96"></span></option>
                                                                                                                                          <bdo id="rub96"><address id="rub96"></address></bdo>
                                                                                                                                          <option id="rub96"><source id="rub96"></source></option>
                                                                                                                                            <nobr id="rub96"><address id="rub96"></address></nobr>
                                                                                                                                          1. <nobr id="rub96"><optgroup id="rub96"><big id="rub96"></big></optgroup></nobr>
                                                                                                                                            <track id="rub96"></track>

                                                                                                                                            <nobr id="rub96"><optgroup id="rub96"></optgroup></nobr>
                                                                                                                                            1. 上海时时号 极速时时主页 陕西快乐十分助手免费版 下载单机麻将免流量 陕西快乐十分如何下载 腾讯时时彩计划官网 一分赛计划 陕西省快乐十分预测微信群 湖北快三最近500期结果 广西福彩快三现场开奖 免费单机二人麻将 天津福彩快乐十点钟 安徽快三走势图一 南粤36选7走势图预测 时时360走势图 极速快乐十分开奖