中國聯(lián)通賴羿明:沃云平臺(tái)高可用實(shí)踐分享

賴羿明：各位下午好，首先請?jiān)试S我先自我介紹一下，我來自聯(lián)通云數(shù)據(jù)有限公司云計(jì)算與大數(shù)據(jù)研發(fā)部，我的名字叫賴羿明，現(xiàn)在就職于我們聯(lián)通云公司的高級項(xiàng)目經(jīng)理職位，我也很榮幸能跟隨我們聯(lián)通云數(shù)據(jù)公司跟了很多行業(yè)和政企大的項(xiàng)目，也使我成長頗多。同時(shí)對我們整個(gè)開源云計(jì)算這個(gè)行業(yè)以及我們沃云自身都有一個(gè)更深的了解。今天跟大家分享的題目是沃云平臺(tái)高可用實(shí)踐分享。

當(dāng)下無論各位的企業(yè)還是政府，他們自身都有很強(qiáng)的動(dòng)力，去將自己原有的IT信息系統(tǒng)往云上部署。上云整體來講是個(gè)趨勢，除了國家政策驅(qū)動(dòng)之外，采用云計(jì)算與虛擬化的技術(shù)，確實(shí)會(huì)為使用者和租戶帶來明顯的好處。首先會(huì)明顯提升IT基礎(chǔ)設(shè)施資源的利用率，通過虛擬化的技術(shù)我們可以大幅度提高單臺(tái)CPU、內(nèi)存還有存儲(chǔ)使用率，可以用更少的投資做更多的事。同時(shí)針對更多的中小企業(yè)來講，他們通過購買第三方的公有云的平臺(tái)資源，可以減少各種非核心的IT基礎(chǔ)設(shè)施的投資，他們將可以更加專心專注于自己的業(yè)務(wù)。第二點(diǎn)，云計(jì)算具有部署靈活和可擴(kuò)展性高的特點(diǎn)，應(yīng)用運(yùn)行在云計(jì)算的各種虛擬化的設(shè)備中，本身與物理機(jī)是解耦合的，可以方便的實(shí)現(xiàn)資源的管理和調(diào)度的調(diào)配，同時(shí)也可以實(shí)現(xiàn)資源的快速交付開通、按需擴(kuò)展規(guī)模。第三點(diǎn)，提高我們整個(gè)IT環(huán)境管理的效率，利用虛擬化的工具和統(tǒng)一的云平臺(tái)監(jiān)管的平臺(tái)，我們可以對云資源實(shí)現(xiàn)統(tǒng)一的調(diào)配和調(diào)度，提升整體的管理效率。四是借助云平臺(tái)，借助整個(gè)虛擬化的各種技術(shù)，可以有效提升服務(wù)應(yīng)用的可靠性、服務(wù)的連續(xù)性。比如說一般來講我們的云平臺(tái)，我們的計(jì)算節(jié)點(diǎn)都會(huì)以集群的形式對外提供服務(wù)，單臺(tái)節(jié)點(diǎn)掛掉之后，我們可以很方便的利用我們的云技術(shù)，將所有的寄宿在這臺(tái)宕掉的主機(jī)中遷移到健康的虛機(jī)中，來保證業(yè)務(wù)的高可用性和業(yè)務(wù)的連續(xù)性。

除了上云會(huì)帶來一些新的技術(shù)和實(shí)現(xiàn)的改變，更重要會(huì)帶來管理模式的改變。在傳統(tǒng)企業(yè)的信息化的建設(shè)上，如果采用這種傳統(tǒng)的方式，或者說這種煙囪式的模式，通常每一套應(yīng)用系統(tǒng)均要部署一套屬于自己的服務(wù)器、硬件平臺(tái)、數(shù)據(jù)庫以及中間件。根據(jù)我跟過的許多項(xiàng)目來講，他們原則有關(guān)的這些信息化系統(tǒng)如果采用煙囪化的方式建，基本上很難進(jìn)行統(tǒng)一的管理，同時(shí)他們每個(gè)系統(tǒng)由于是單獨(dú)建設(shè)，會(huì)有自己單獨(dú)的規(guī)劃、單獨(dú)的需求，很難做到系統(tǒng)之間的互聯(lián)互通。采用購買云服務(wù)的方式，我們就相當(dāng)于為整個(gè)部門進(jìn)行一個(gè)統(tǒng)一的資源的分配、資源的管理，當(dāng)業(yè)務(wù)部門想要構(gòu)建自己的應(yīng)用系統(tǒng)平臺(tái)的時(shí)候，我們直接從統(tǒng)一的管理平臺(tái)將各種可需要的資源以服務(wù)的方式交付給他，實(shí)現(xiàn)這種靈活、快速的部署，就由這種傳統(tǒng)分散的效率低下的管理模式變成了集中高效統(tǒng)一的管理模式。

同時(shí)采用云化之后，對整個(gè)平臺(tái)運(yùn)維也提出了更高的要求。首先我們所有的云平臺(tái)建設(shè)實(shí)際上都要以客戶的業(yè)務(wù)為驅(qū)動(dòng)，客戶購買云服務(wù)肯定想專注于自己的業(yè)務(wù)應(yīng)用，更多的鉆研自己的業(yè)務(wù)為出發(fā)點(diǎn)。在應(yīng)用往下這層，他們不想過多投入精力。作為一個(gè)云服務(wù)商，我們構(gòu)建云平臺(tái)，勢必要把越來越多靠近業(yè)務(wù)側(cè)的一些組件、通用的功能納入我們提供服務(wù)的范圍內(nèi)，要將越來越多靠近業(yè)務(wù)側(cè)的東西變成我們標(biāo)準(zhǔn)化、模塊化的服務(wù)，去提供給用戶，去實(shí)現(xiàn)業(yè)務(wù)的快速交付、靈活部署，提供一個(gè)可靠的支撐的IT環(huán)境，也就是說我們的云服務(wù)商勢必要從提供傳統(tǒng)的通用的IaaS層向提供PaaS服務(wù)和SaaS服務(wù)進(jìn)行轉(zhuǎn)換，越貼近于SaaS層，建的云平臺(tái)的等級越高，對于我們整個(gè)平臺(tái)的可用性和運(yùn)維都提出了更高的要求。同時(shí)由于我們采用的是這種大集中式的建設(shè)方式，集中化的提高會(huì)帶來大管理、大運(yùn)維，整體來看對我們的運(yùn)維和平臺(tái)的高可靠性提出了更高的要求。

我現(xiàn)在再來說一下我們聯(lián)通所謂堅(jiān)持選擇這種開源的路線，我們這個(gè)沃云平臺(tái)是依托于當(dāng)年我們聯(lián)通研究院的一項(xiàng)項(xiàng)目，他們當(dāng)時(shí)對市面上主流的開源的云計(jì)算無論是底層的虛擬化技術(shù)還是云管理平臺(tái)開源的軟件，最終確定使用OpenStack加KVM來滿足我們沃云發(fā)展的需求。用OpenStack+KVM，首先我們得到幾點(diǎn)好處，一是開放，OpenStack是一個(gè)龐大的穩(wěn)定的開源社區(qū)，也可以通過開源的方式去解除這個(gè)廠家的鎖定。同時(shí)我們通過OpenStack，我們可以提供平臺(tái)型的解決方案，我們通過OpenStack+KVM的方式，不光搭建我們的公有云資源池，也同時(shí)為我們的客戶搭建私有云或者專享云的解決方案。同時(shí)采用了開源的方案，我們可以減少許多l(xiāng)icense的支出，是一個(gè)低投資低成本的方式。同時(shí)OpenStack自己本身所有的接口都是標(biāo)準(zhǔn)化的，二次開發(fā)的難度下降。同時(shí)各位組件具有松耦合的特性，我們在專享云中可以根據(jù)客戶的各類需求進(jìn)行靈活的調(diào)配。同時(shí)還有易用性。這個(gè)圖是我們沃云平臺(tái)使用了各類的開源組件，左邊主要用的OpenStack內(nèi)部的組件，首先是比較重要的Nova、cinder、neutron、MySQL等等這些內(nèi)部的組件，除了OpenStack內(nèi)部的這些功能服務(wù)的組件，我們還融合了很多其他的開源的組件，去豐富我們沃云平臺(tái)的功能，比如我們利用haproxy實(shí)現(xiàn)高可用和負(fù)載均衡，vyatta提供VPN，Zabbix實(shí)現(xiàn)整個(gè)云平臺(tái)對物理資源和虛擬資源統(tǒng)一管理監(jiān)控的平臺(tái)，還有很多，不一一贅述。

在我們沃云理解的云環(huán)境的HA或者這個(gè)高可用，主要是分三個(gè)層次，首先是應(yīng)用層的HA。它可以包含應(yīng)用級的雙活、主備或者數(shù)據(jù)級的備份，或者說虛擬機(jī)層面的高可用。往下一層就是所謂的云控制服務(wù)和IaaS層的HA，實(shí)際上就是云的高可用。最底層是硬件以及基礎(chǔ)設(shè)施的高可用，包含基礎(chǔ)的網(wǎng)絡(luò)、基礎(chǔ)的各類硬件設(shè)施以及機(jī)房環(huán)境條件的高可用。本次我跟大家分享的主要是云環(huán)境、云平臺(tái)的高可用。

說了這么多高可用，先說一下高可用到底是什么，有些關(guān)鍵的概念。首先高可用的定義，在本地單個(gè)組件發(fā)生故障的情況下，能夠繼續(xù)訪問應(yīng)用的能力。這種服務(wù)的能力一般來講我們可以用服務(wù)的SLA或者這個(gè)服務(wù)的可用性來描述。這個(gè)服務(wù)的可用性一般來講我們可以用這個(gè)服務(wù)是有幾個(gè)9的可靠性來描述，比如四個(gè)9，某項(xiàng)服務(wù)的可用性達(dá)到99.99%，意味著在一年當(dāng)中這項(xiàng)服務(wù)只有52.56分鐘是不可用的。如果更高一個(gè)層面，比如說99.999%，就證明這個(gè)服務(wù)一年中不可用的時(shí)間只有5分鐘左右9個(gè)個(gè)數(shù)越多，可靠性越高。什么叫服務(wù)的不可用，首先應(yīng)用無法訪問，服務(wù)終端，應(yīng)用訪問緩慢，無法持續(xù)對外提供這種服務(wù)。這個(gè)不可用實(shí)際上協(xié)調(diào)分兩類，首先是計(jì)劃中和非計(jì)劃中的，計(jì)劃中，由于我們定期的對硬件軟件進(jìn)行升級而造成的計(jì)劃內(nèi)的對外服務(wù)不可用的形式，一種是計(jì)劃外，軟硬件突發(fā)的故障導(dǎo)致的不可用。從整體高可用的目標(biāo)上來講，我們當(dāng)然希望這個(gè)云平臺(tái)所有的服務(wù)是一直可用的，物理層面也是一直沒有宕機(jī)的。但現(xiàn)實(shí)中這個(gè)問題一定會(huì)存在，所以我們在高可用這個(gè)層面上來講，我們實(shí)際的目標(biāo)實(shí)際上是要降低故障發(fā)生的頻率，也要降低單次故障發(fā)生的時(shí)間，降低故障所波及的范圍，同時(shí)盡量通過我們云平臺(tái)各類高可用的技術(shù)，讓客戶對平臺(tái)發(fā)生的故障是沒有感知的。

針對高可用我們也是有兩種通用的切換維度，首先是RTO，業(yè)務(wù)恢復(fù)時(shí)間目標(biāo)，RPO數(shù)據(jù)恢復(fù)時(shí)間目標(biāo)，針對這種本地的服務(wù)的HA，我們主要看重的是業(yè)務(wù)恢復(fù)時(shí)間的維度。高可用框架背景下，我們的服務(wù)分為兩類，一個(gè)是有狀態(tài)服務(wù)，一個(gè)是無狀態(tài)服務(wù)，有狀態(tài)的服務(wù)，他的下一次服務(wù)的請求是依賴于上一次服務(wù)請求關(guān)聯(lián)的關(guān)系。無狀態(tài)的服務(wù)，每次服務(wù)請求與請求之間，相互之間沒有強(qiáng)聯(lián)系。這種服務(wù)的分類是我們采用何種高可用的方案有著很大影響，對于我們HA的實(shí)現(xiàn)方案的種類，我們分兩種，一種是所謂的Active/Passive，一般來講需要主備的方式，另外還有一種叫Active/Active，如果是兩臺(tái)就是雙活，如果是多臺(tái)就是多活。

整體介紹一下我們沃云使用OpenStack的這些組件這些架構(gòu)，我們主要在OpenStack里面使用的組件是neutron、nova、glance、ironic、trove等，glance為虛機(jī)、數(shù)據(jù)庫提供鏡像服務(wù)，ironic是我們新納過來的一個(gè)組件，是用來提供整個(gè)沃云平臺(tái)里物理機(jī)及服務(wù)的需求。我們現(xiàn)在擁有RDS服務(wù)有RDS for MySQL。

基于沃云OpenStack底層的架構(gòu)，我們實(shí)際上是對原生的三節(jié)點(diǎn)的部署方式進(jìn)行了一種小的調(diào)整，原生OpenStack三節(jié)點(diǎn)部署，我們需要部署一個(gè)控制節(jié)點(diǎn)，一個(gè)計(jì)算節(jié)點(diǎn)和一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，針對于虛機(jī)整個(gè)云平臺(tái)東西向流量，由于虛機(jī)都是分布于多個(gè)計(jì)算節(jié)點(diǎn)之中，所以說東西向的流量就會(huì)由不同的計(jì)算節(jié)點(diǎn)互相之間進(jìn)行流通。但是如果是想進(jìn)行南北向通信，所有的流量都會(huì)集中到我們所謂的網(wǎng)絡(luò)節(jié)點(diǎn)中。如果當(dāng)這個(gè)云平臺(tái)的規(guī)模非常大之后，所有的南北向的流量都會(huì)集中流向網(wǎng)絡(luò)節(jié)點(diǎn)再向上，這個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)就會(huì)成為我們整個(gè)資源池整個(gè)平臺(tái)中一個(gè)性能的瓶頸。為了消除這個(gè)瓶頸，我們做了一個(gè)簡單的改動(dòng)，在原生架構(gòu)之上，我們將獨(dú)立部署的網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行了消除，我們將其內(nèi)含的所有的組件分布部署在計(jì)算節(jié)點(diǎn)中，這樣每個(gè)計(jì)算節(jié)點(diǎn)有了南北向流量通信的能力，從而為我們整個(gè)沃云的架構(gòu)穩(wěn)定性和可靠性都有提升。

介紹一下我們現(xiàn)在整體的沃云平臺(tái)里高可用實(shí)現(xiàn)的這些事情。首先針對云平臺(tái)中不同的組件，我們肯定是要根據(jù)不同的實(shí)現(xiàn)的策略去實(shí)現(xiàn)我們所謂的高可用。但是我們也一定要確定一個(gè)實(shí)現(xiàn)的規(guī)則和實(shí)現(xiàn)高可用的原則。第一個(gè)，定增加冗余節(jié)點(diǎn)，無論在硬件上還是云平臺(tái)的軟件上，防止出現(xiàn)單節(jié)點(diǎn)的故障。第二個(gè)是我們要因地制宜的根據(jù)不同的服務(wù)采用比較成熟的failover故障恢復(fù)的技術(shù)。我們在高可用的方案實(shí)踐上，我們盡量要采取多活的方式加負(fù)載均衡這種方式，類似于集群的方式去實(shí)現(xiàn)。如果我們實(shí)現(xiàn)困難，再利用所謂的主備的方式實(shí)現(xiàn)服務(wù)的高可用。同時(shí)我們也盡量在平臺(tái)中使用OpenStack原生技術(shù)，實(shí)現(xiàn)困難無法便捷實(shí)現(xiàn)功能的時(shí)候，我們再引入外部工具。

首先我向大家介紹的是我們沃云平臺(tái)針對我們OpenStack管理節(jié)點(diǎn)高可用的實(shí)踐。整體來講，我們主要做了這么幾件事情，我們用了三臺(tái)物理節(jié)點(diǎn)構(gòu)成集群，使用MySQL Galera這個(gè)插件，同時(shí)用RabbitMQ構(gòu)建集群，用haproxy進(jìn)行負(fù)載均衡。我們對管理節(jié)點(diǎn)高可用，我們采取的所謂的高可用的方式是想采取多組多活的方式，我們一定要在物理節(jié)點(diǎn)冗余的選擇上采取奇數(shù)。同時(shí)用MySQL Galera這個(gè)插件去實(shí)現(xiàn)MySQL數(shù)據(jù)庫的集群化，多機(jī)讀寫，保證三臺(tái)管理節(jié)點(diǎn)和數(shù)據(jù)庫數(shù)據(jù)的一致性。相似的RabbitMQ，消息隊(duì)列也是一樣的，我們也是跨三個(gè)節(jié)點(diǎn)部署這個(gè)集群，然后去保證三臺(tái)節(jié)點(diǎn)中消息隊(duì)列和鏡像信息的一致性。虛擬IP，我們引入了Keepalived引入了對外服務(wù)的虛擬的IP，通過它我們可以做到這個(gè)虛擬的IP在三臺(tái)管理節(jié)點(diǎn)的網(wǎng)卡中進(jìn)行自由靈活的調(diào)度分配，遇到故障之后可以進(jìn)行漂移。在管理節(jié)點(diǎn)中，同樣也會(huì)運(yùn)行很多OpenStack的api的服務(wù)，在我們這個(gè)平臺(tái)里這些組件基本上都是無狀態(tài)的，我們會(huì)在每一臺(tái)管理節(jié)點(diǎn)中都部署相同的服務(wù)，通過Haproxy進(jìn)行集群的負(fù)載。

這張圖展示了一下我們整個(gè)管理節(jié)點(diǎn)所用到的所有的組件，無論是keepalived還是Haproxy等，整體上我們做到了管理節(jié)點(diǎn)上的多組多活。

到了網(wǎng)絡(luò)組件，首先介紹一下L3，我們采用的是社區(qū)里面提供的原生的VRRP方案，虛擬路由協(xié)議的方案，我們也通過引入keepalived去實(shí)現(xiàn)vrouter高可用。在兩臺(tái)計(jì)算節(jié)點(diǎn)上，我們分別啟一個(gè)vrouter，通過心跳監(jiān)測，當(dāng)備vrouter接收不到主vrouter，就認(rèn)為主的宕掉了，它就起來去服務(wù)。網(wǎng)絡(luò)組件另一個(gè)是DHCP Agent HA，實(shí)現(xiàn)起來還是比較方便的，在我們實(shí)踐中，一般在多個(gè)網(wǎng)卡的控制節(jié)點(diǎn)去部署多個(gè)DHCP的Agent，為了為某個(gè)租戶的網(wǎng)絡(luò)提供多個(gè)DHCP的服務(wù)，去實(shí)現(xiàn)所謂的高可用。

接下來是計(jì)算節(jié)點(diǎn)高可用，我們首先肯定是計(jì)算節(jié)點(diǎn)發(fā)生之后之后，我們的處理方法，要將故障計(jì)算節(jié)點(diǎn)上的虛擬機(jī)都靈活的漂移到健康的宿主機(jī)中。但是我們實(shí)現(xiàn)的方式是這樣，我們將比如每三臺(tái)或每五臺(tái)計(jì)算節(jié)點(diǎn)，我們在這個(gè)資源池內(nèi)劃成三個(gè)或五個(gè)為一組，檢查管理網(wǎng)、存儲(chǔ)網(wǎng)和業(yè)務(wù)網(wǎng)的連通性。比如說compute1這個(gè)節(jié)點(diǎn)，通過業(yè)務(wù)網(wǎng)絡(luò)一直pin compute2和compute3，如果發(fā)現(xiàn)一直pin不通，它的虛擬訪問不到網(wǎng)絡(luò)，服務(wù)出問題，也就說明compute1出了問題，這個(gè)時(shí)候要出發(fā)我們自己相應(yīng)的虛擬機(jī)遷移機(jī)制，將虛機(jī)往健康的宿主機(jī)上去遷移，實(shí)現(xiàn)所謂計(jì)算節(jié)點(diǎn)高可用。

說到存儲(chǔ)節(jié)點(diǎn)，我這邊主要介紹一下我們Cinder-volume服務(wù)高可用。首先我們也是引入casemaker，采用主備的方式，我們的策略是在每個(gè)沃云資源池AZ部署多個(gè)cinder-volume服務(wù)，以這種主備的方式實(shí)現(xiàn)cinder-volume服務(wù)的高可用。

針對整體高可用實(shí)踐的總結(jié)，首先通過我們之前這些分析和角度，這對于云平臺(tái)來講，高可用性、高運(yùn)維度是云平臺(tái)本身一個(gè)亮點(diǎn)的東西，它也是在構(gòu)建我們云生產(chǎn)環(huán)境中必須具有的能力。我們平時(shí)在客戶進(jìn)行交流的時(shí)候，我們肯定會(huì)或多或少放大云能夠提供的帶來的好處，高可用是在我們沃云構(gòu)建中考慮得非常多的一件事情。在選擇高可用這個(gè)模式方面，我們盡量是以多組多活的方式為主。我們基于OpenStack原生的功能以及對自身服務(wù)的特性進(jìn)行二次開發(fā)，實(shí)現(xiàn)了云管理節(jié)點(diǎn)高可用、網(wǎng)絡(luò)組件高可用以及存儲(chǔ)和計(jì)算節(jié)點(diǎn)高可用。

以上我提到的所有的功能已經(jīng)廣泛應(yīng)用于我們沃云平臺(tái)，已經(jīng)服務(wù)了我們絕大多數(shù)客戶。一些非常早期的客戶我們也將會(huì)通過我們云平臺(tái)迭代升級來實(shí)現(xiàn)上述的這些功能。

再簡單說一下我們通過沃云平臺(tái)現(xiàn)在已經(jīng)服務(wù)了哪些客戶和實(shí)現(xiàn)了哪些案例。我們的案例主要包括五大省級的政務(wù)云。沃云平臺(tái)，我們云公司提供了從頂層設(shè)計(jì)調(diào)研規(guī)劃開始，一直到應(yīng)用的部署遷移，以及私有云應(yīng)用部署的一套的解決方案。我們除了深耕政務(wù)云，我們也著力打造教育云，通過OpenStack開放特性，我們也實(shí)現(xiàn)了物理平臺(tái)和虛擬化平臺(tái)混合部署的架構(gòu)。同時(shí)我們還做外企的車聯(lián)云的平臺(tái)，通過我們的平臺(tái)與第三方云平臺(tái)API的調(diào)測，我們提供異構(gòu)混合云的部署，承載國際客戶車聯(lián)信息化的平臺(tái)。同時(shí)我們也為很多省份的環(huán)保云平臺(tái)做過成功案例，首先他們使用公有云、私有云混合部署，通過我們沃云平臺(tái)提供大數(shù)據(jù)的服務(wù)能力的支撐。對于企業(yè)這塊，我們也有公有云，通過我們公有云按需付費(fèi)、按量使用的方式，我們?yōu)楹芏嘀行∑髽I(yè)也進(jìn)行了服務(wù)的支撐。針對政務(wù)云來講，我們深耕細(xì)作，于今年3月也率先推出了沃云電子政務(wù)云的白皮書，在這個(gè)白皮書里面我們推出了電子政務(wù)云很多標(biāo)準(zhǔn)化、模塊化的產(chǎn)品以及對流量的模型，以及云網(wǎng)一體化總體架構(gòu)進(jìn)行了說明，我們云公司希望通過對我們這個(gè)云平臺(tái)深耕細(xì)作以及對這個(gè)行業(yè)的深入了解，要從一個(gè)行業(yè)的參與者變成一個(gè)規(guī)則的制定者。

我今天的分享到此結(jié)束，謝謝大家!

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。