<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          電信領域方案和多樣算力需求(附下載)

          共 7660字,需瀏覽 16分鐘

           ·

          2021-05-19 17:14



          本文來自“多樣性算力技術(shù)愿景白皮書”,白皮書內(nèi)容包括多樣性算了現(xiàn)狀、發(fā)展趨勢、挑戰(zhàn)、ARM發(fā)展策略和方案等方面,下載鏈接:多樣性算力技術(shù)愿景白皮書



          處理器技術(shù)的發(fā)展,不僅僅體現(xiàn)在算力本身的提升,上層應用的兼容性也是生態(tài)建設的重要方面。而應用的兼容性可以從以下幾個方面考量,處理器指令集直接決定了上層軟件的技術(shù)路線, 操作系統(tǒng)是應用的底座,編譯器很大程度上決定了程序運行的性能。本章節(jié)將分析目前ARM架構(gòu) CPU采用的指令集,操作系統(tǒng)和編譯器的版本,并給出電信行業(yè)ARM架構(gòu)CPU指令集、操作系統(tǒng) 和編譯器的統(tǒng)一標準建議。


          1 ARM技術(shù)發(fā)展

          1.1 ARM指令集

          ARM架構(gòu)是不斷演進的,基于功能、性能和安全性的考慮, ARM公司每年都會推出不同的架構(gòu) 擴展并進行指令集的版本演進,同時ARM和生態(tài)伙伴會在Linux Kernel中持續(xù)增加功能來來支持 這些最新的ARM架構(gòu)擴展,從而對絕大部分上層應用屏蔽底層硬件系統(tǒng)架構(gòu)的區(qū)別??紤]到電信 行業(yè)高可靠性的要求,并基于當前電信應用以及主流ARM架構(gòu)CPU的現(xiàn)狀, 建議今年將電信行業(yè) 數(shù)據(jù)中心領域ARM指令集版本起點標準定義為ARM v8.0,推薦標準為ARM v8.2。以后每年審 視,綜合考慮各個廠家產(chǎn)品的實際研發(fā)進度,以及ARM指令集新的版本是否針對電信行業(yè)實際需 求做過優(yōu)化等因素,再決定是否升級指令集版本標準。


          1.2 編譯器

          不同應用對編譯器更新頻度以及穩(wěn)定等有不同要求。具體到電信行業(yè),網(wǎng)絡云場景偏重業(yè)務穩(wěn) 定性,因此穩(wěn)定的GCC版本是其基本訴求;而對于IT云和公有云等場景,則要求最新的GCC版本 充分釋放算力。


          GCC各個版本的升級都帶來新的功能特性和性能收益,但考慮ARM服務器廠商的應用現(xiàn)狀和遵 循漸進的原則,建議今年電信行業(yè)ARM架構(gòu)下編譯器推薦版本為GCC9。相比較GCC7/8, 性能方 面GCC9具有更強大的自動矢量化、循環(huán)展開等優(yōu)化特性。前端語言方面,GCC9全面支持C+ +17,同時在后端架構(gòu)適配方面,支持ARM Cortex-A76、ARM Neoverse N1等CPU核心,能 夠充分發(fā)揮ARM架構(gòu)優(yōu)勢。此外,GCC9提供了最新的編譯告警提示信息,可以更方便地幫助開 發(fā)者進行開發(fā)調(diào)試。


          以后每年審視編譯器版本,遵循版本漸進的原則,同時考慮電信行業(yè)對編譯器穩(wěn)定的要求,原 則上只采用發(fā)布一年以上的GCC新版本。例如2021年可推動各個CPU廠家采用2020年已發(fā)布的 最新版GCC10。GCC10不僅包含許多新的體系結(jié)構(gòu)功能,而且還是迄今為止性能最高的GCC版 本。采用GCC10編譯應用程序可以充分利用最新ARM架構(gòu)的優(yōu)勢,例如GCC10完全支持SVE的 ARM C語言擴展,這使得開發(fā)者可以訪問4000多種內(nèi)部函數(shù),并在內(nèi)核中使用SVE的許多高級功 能。此外,GCC10在自動向量化、循環(huán)展開等方面做了更多優(yōu)化。以ARM Neoverse N1為例, 采用GCC10進行編譯相較于之前的版本,性能有極大的提升。


          1.3   操作系統(tǒng)

          當前主流的Linux操作系統(tǒng)包括Ubuntu,SUSE,openEuler等。Ubuntu的開發(fā)由英國 Canonical有限公司主導,基于Debian發(fā)行版和GNOME桌面環(huán)境,每2年發(fā)布一個LTS長期支持 版本, 服務器版可以獲得為期5年的技術(shù)支持。SUSE是Linux操作系統(tǒng)的發(fā)行版之一,源自德國。 現(xiàn)時SUSE屬于Novell旗下的業(yè)務,同時亦是桌面 Linux 聯(lián)盟(Desktop Linux Consortium)的 發(fā)起成員之一。openEuler 是一個開源、免費的 Linux 發(fā)行版,將通過開放的社區(qū)形式與全球的 開發(fā)者共同構(gòu)建一個開放、多元和架構(gòu)包容的軟件生態(tài)體系。


          電信行業(yè)本身對操作系統(tǒng)的性能、可靠性和有效性有著專門的高標準和要求?;诋斍靶袠I(yè)應 用情況,建議今年將電信行業(yè)ARM架構(gòu)操作系統(tǒng)版本基線定義為

          ●  Ubuntu Kylin18.04 LTS或以上

          ●  SUSE12.5或以上

          ●  openEuler LTS 20.03或以上


          在此操作系統(tǒng)版本基線之上,還建議系統(tǒng)應滿足高度中文支持,提供與桌面環(huán)境高度融合的中 文化體驗;針對Linux操作系統(tǒng)管理、維護及易用性差等問題,提供插件式系統(tǒng)管理與維護框 架,快速實現(xiàn)或擴展?jié)M足特定需求的系統(tǒng)管理和維護工具;針對Linux系統(tǒng)軟件包依賴關(guān)系復 雜、普通用戶安裝軟件困難等問題,提供基于軟件倉庫的軟件包自動更新技術(shù);從而為電信級市 場提供高穩(wěn)定性、高安全性、高質(zhì)量、高性能和高可用性的操作系統(tǒng)平臺,推薦支持內(nèi)核熱補丁 和熱替換特性,縮短業(yè)務中斷時間。具備vCPU的陷入陷出、內(nèi)存CPU占用率等觀察能力,提升 虛擬化層維護效率。


          此外,針對操作系統(tǒng)內(nèi)核版本,建議使用Linux Kernel 4.18 或以上版本,更新的內(nèi)核版本將帶 來更多功能增強和更多的設備支持。以Ubuntu Kylin 20.04 LTS采用的Linux 5.4內(nèi)核為例,該內(nèi) 核的重要更新包括升級exFAT 文件系統(tǒng)驅(qū)動程序、優(yōu)化 Nouveau 開源顯卡驅(qū)動的顯示顏色管 理、以及RTL8125 網(wǎng)絡設備和RK3288 VP8 解碼支持等。


          今后建議每年審視,綜合考慮各個廠家產(chǎn)品的實際研發(fā)進度,操作系統(tǒng)新的版本是否針對電信 行業(yè)實際需求做過優(yōu)化等因素,再決定是否升級操作系統(tǒng)版本建議標準。


          2 電信領域引入多樣性算力的推進方案

          2.1   硬件上制定客觀完備的測試基準,推進硬件開放

          傳統(tǒng)計算平臺之外,引入多樣性算力首先要解決“能不能用”的問題。面向不同技術(shù)路線下的 各類處理器產(chǎn)品在云計算場景下的應用,需聯(lián)合應用行業(yè)代表、測試機構(gòu)代表、處理器廠商、整 機廠商、OS廠商、從事基準研究的高校,共同開發(fā)有技術(shù)競爭力和產(chǎn)業(yè)影響力的性能基準,填補 國家產(chǎn)業(yè)基準空白的同時引領多樣性算力性能的蓬勃發(fā)展。其中,考慮核心應用對CPU的資源消 耗情況,尤其各類處理器核心的性能差異,在電信行業(yè)虛擬化條件下制定計算性能的評估制定基 準測試標準。同時,基于電信行業(yè)典型應用場景,對性能基準的負載選擇也進行評估和開發(fā)。目 標是推動制定NFV服務器計算基準測試標準,全面、客觀地評估不同架構(gòu)處理器及計算核心算力。


          數(shù)據(jù)中心服務器硬件上存在生態(tài)壟斷、企業(yè)間產(chǎn)品互相捆綁的情況。為推動基礎軟件(尤其是 OS)、固件、CPU及其它硬件間的兼容適配,支持更強的可擴展性,促進ARM服務器生態(tài)的發(fā) 展,需要制定基于ARM架構(gòu)的服務器在系統(tǒng)管理、軟硬件解耦等方面的開放標準。包括規(guī)定基于 BMC的帶外、帶內(nèi)管理功能要求(訪問、部署配置、維護診斷、告警監(jiān)控等)、軟件管理接口要 求、硬件管理技術(shù)要求、安全要求(賬號安全、協(xié)議、訪問策略等)、BMC啟動性能要求等。確 立相關(guān)技術(shù)標準后,通過功能、性能測試方式來評估各廠商產(chǎn)品滿足用戶需求的程度,并通過兼 容性測試來驗證OS、固件、硬件之間的適配和兼容。


          2.2   軟件技術(shù)棧的生態(tài)準備與選型評估

          現(xiàn)代應用軟件功能日益豐富,代碼規(guī)模大,多采用組件化分工協(xié)作,不同組件還可能由不同組 織提供和維護,相互依賴關(guān)系復雜。因此需要從IT技術(shù)全棧視角審視支持多樣性算力適配和遷移 的條件。如下圖所示,典型的軟件技術(shù)棧具體包括操作系統(tǒng)、虛擬化、數(shù)據(jù)庫、中間件、應用軟 件等層次。



          2.2.1 操作系統(tǒng)(OS)

          為更好地適配多樣性算力,建議從生態(tài)、功能、可靠性、安全性和服務支持能力幾個維度開展 操作系統(tǒng)綜合評估和選擇,以滿足上層應用遷移適配的要求。


          1. 生態(tài)上,OS要能同時適配多樣化的CPU算力底座,要支持鯤鵬、飛騰等ARM芯片,要能 適配主流板卡,包括但不限于網(wǎng)卡、RAID卡、GPU卡、硬盤等設備。供應上要基于開源社區(qū)打 造多元化OS底座,既與國際主流社區(qū)保持回合同步,又可以獨立演進不受極端情況斷供的影響; 選取軟件包時要能覆蓋90%以上的客戶場景,并能做到版本間的前向兼容;


          2. 功能上,OS要能提供上層應用必需的能力。包括OS必須集成滿足一定性能要求的編譯環(huán) 境(gcc、jdk)和動態(tài)庫(glibc),必須集成主流開發(fā)語言(如python等);此外,OS還要對 常見業(yè)務提供基礎的底層支撐,如能提供基于KVM、QEMU的虛擬化能力,提供基于docker、 k8s的容器能力等;


          3. 可靠性上,OS要提供良好的可靠性保障:如能對內(nèi)核崩潰提供快速的定位、恢復機制,能 對可靠性要求較高的容器、虛擬化提供額外的可靠性保障;


          4. 安全方面,OS需要具備完善的安全能力:要能根據(jù)影響程度及時修復影響較大的CVE漏 洞,并在官方網(wǎng)站上發(fā)布修復公告,能提供完整性度量、機密計算等高級安全特性,做到OS層面 的高可信、高安全度;


          5. 服務支撐方面,商用OS需要考慮OSV的團隊服務能力,非商用OS需要考慮社區(qū)服務能 力。


          當前支持ARM平臺的國產(chǎn)商用操作系統(tǒng)包括銀河麒麟、麒麟信安、統(tǒng)信、普華、拓林思、傲萊 等,開源操作系統(tǒng)包括SUSE,openEuler等。


          2.2.2 虛擬化層

          首先應推動包括QEMU-KVM、OpenStack、Docker、K8s等為代表的開源虛擬化層軟件支持 多樣性算力。其次,在虛擬化軟件層建立基準要求,能納管不斷豐富的IT基礎設施,包括x86/ ARM等不同指令集架構(gòu)的硬件,支持不同架構(gòu)硬件資源池的混合部署,助力用戶應用朝著更敏 捷、更高效、更多元的方向發(fā)展。


          為更好地適配多樣性算力,建議從生態(tài)、功能、性能、可靠性和安全性等幾個維度開展虛擬化 層軟件的綜合評估。


          1. 在軟件生態(tài)上,針對多樣化CPU算力底座進行適配時,需要制定基準要求來統(tǒng)一虛擬化軟 件的生態(tài),要求屏蔽不同CPU架構(gòu)的差異,除x86外,還要能支持鯤鵬、飛騰等ARM芯片,支持 不同架構(gòu)資源池的混合部署,從而為用戶提供差異化的選擇;在適配多樣化CPU算力底座需要考 慮的主要包括:

          ●  網(wǎng)卡等硬件驅(qū)動適配

          ●  BIOS適配

          ●  HostOS內(nèi)核升級及適配

          ●  Switch卸載特性

          ●  NUMA特性

          ●  虛擬層管理軟件編譯


          2. 從功能上,虛擬化層軟件需要提供必須的基礎能力,包括CPU虛擬化技術(shù)、內(nèi)存虛擬化技 術(shù)、IO虛擬機化技術(shù)等,支持跨主機熱遷移、智能內(nèi)存復用、虛擬機高可用、動態(tài)資源調(diào)度等關(guān) 鍵特性;在硬件支持情況、設備的驅(qū)動支持和Host/GuestOS的操作系統(tǒng)支持等方面要能在多類 型的硬件平臺混合部署,實現(xiàn)更靈活更好的擴展性;


          3. 從性能上,技術(shù)路線的發(fā)展應該支持處理器架構(gòu)發(fā)展方向為更高密度的核數(shù),更低的功 耗,更強的性能,比如提升單VM計算性能及整機VM計算性能,降低整體TCO;


          4. 可靠性上,虛擬化層軟件能支持包括虛擬機HA、虛擬機熱遷移、虛擬機負載均衡、故障檢 測等特性;


          5. 安全方面,虛擬化層軟件安全解決方案需要從不同層面解決。在物理資源層可以通過可信 計算技術(shù)來保證主機硬件(BIOS、操作系統(tǒng)引導程序等)的安全性;操作系統(tǒng)層通過Host/ Guest OS的安全機制來保障操作系統(tǒng)的安全可靠;在虛擬化層可以通過Hypervisor安全機制或 者虛擬機自省技術(shù)確保虛擬機監(jiān)視器的安全運行。


          2.3.3 數(shù)據(jù)庫層

          為更好地適配多樣性算力,建議從業(yè)務場景、可遷移性、性能、高可用、安全等幾個維度開展 數(shù)據(jù)庫綜合評估和選擇,以滿足上層應用遷移適配的要求。


          1. 在業(yè)務場景上,數(shù)據(jù)庫要支持多引擎,要能同時支持行存引擎、列存引擎、內(nèi)存引擎等多 種引擎模式,來充分支撐交易型、分析型、高性能等不同的業(yè)務需要;同時要考慮不同類型數(shù)據(jù) 庫間的遷移,要考慮所選數(shù)據(jù)庫具有良好的語法兼容性;


          2. 性能上,數(shù)據(jù)庫要能滿足高性能場景的業(yè)務訴求,包括高tpmC和高并發(fā)下的穩(wěn)定性。數(shù)據(jù) 庫要能充分利用ARM多核NUMA的特點,對數(shù)據(jù)結(jié)構(gòu)做NUMA分區(qū)化改造,比如部分廠商的2 路服務器,可以達到150萬的tpmC,在高并發(fā)(800并發(fā))時仍能保持穩(wěn)定的性能。對于更高性 能要求的數(shù)據(jù)庫場景(如CRM、Boss),推薦引入4路服務器;


          3. 高可用上,要求數(shù)據(jù)庫能在一定負載強度、一定業(yè)務量下達到能滿足業(yè)務需求的RTO時間 (故障恢復時長),比如60%負載、70+萬tpmC下建議能滿足RTO < 10s;


          4. 可遷移性上,標準須約束數(shù)據(jù)庫具備完整、可靠的手動/自動遷移流程/規(guī)范,可以對自動 化方式實現(xiàn)主流數(shù)據(jù)庫遷移提出要求,可以對遷移成功率設置最低標準(比如90%以上);


          5. 安全性上,數(shù)據(jù)庫需要在運行安全和存儲信息的安全兩方面滿足安全訴求,需要能對核心 數(shù)據(jù)的存儲做到加密,需要有一定的防漏洞、防攻擊機制,需要能對敏感數(shù)據(jù)做到匿名化。


          當前已支持ARM平臺的國產(chǎn)數(shù)據(jù)庫廠商包括海量數(shù)據(jù)、云和恩墨、虛谷偉業(yè)、神舟通用、人大 金倉、達夢、南大通用、阿里、騰訊、電信自研數(shù)據(jù)庫(TiDB,Teledb)、東方國信行云數(shù)據(jù) 庫、思特奇iddbs、亞信antDB等,開源數(shù)據(jù)庫包括openGauss、MySQL、PG、MariaDB等。


          2.2.4 中間件層

          中間件與操作系統(tǒng)、數(shù)據(jù)庫并稱三大核心基礎軟件,為上層應用軟件便捷、通用和標準化的研 發(fā)提供了強有力的支撐,通過服務或者服務組件來實現(xiàn)更高層次的復用、解耦和互操作。當前, 對中間件的選擇,從供應來源上來看,推薦從持續(xù)投入研發(fā)、創(chuàng)新以及服務能力建設且聚焦基礎 軟件的廠商如寶蘭德、東方通等供應商以及開放性較好的開源軟件中選擇,呈上啟下,連接好底 層軟件和上層應用,端到端做到對多樣性算力的支持。


          2.2.5  應用層

          當前,在數(shù)據(jù)量爆發(fā)性增長、行業(yè)應用場景需求差異化以及運營商業(yè)務模式多元化變革的趨勢 下,電信云面臨從架構(gòu)到底層硬件基礎設施的全面升級。


          IT云方面,隨著運營商業(yè)務模式更加多元,IT支撐系統(tǒng)業(yè)務邏輯更趨復雜,實時數(shù)據(jù)處理、高并 發(fā)數(shù)據(jù)處理、大數(shù)據(jù)分析等技術(shù)需求不斷擴大,容器化部署、分布式處理等場景加速向CRM、 BOSS、MSS等核心系統(tǒng)滲透,需要底層IT基礎設施在并行計算、內(nèi)存容量和帶寬等方面提供更 高能力匹配。


          網(wǎng)絡云(電信云/CT云)方面,基于NFV技術(shù)的解決方案已成為運營商核心網(wǎng)擴容和新建的優(yōu)選 考慮。5G核心網(wǎng)采用原生云化設計思路和微服務架構(gòu),將網(wǎng)元功能拆分為細粒度的網(wǎng)絡服務, “無縫”對接云化NFV平臺輕量級部署單元,為差異化的業(yè)務場景提供敏捷的系統(tǒng)架構(gòu)支持,核 心網(wǎng)容器化、硬件資源池化成為發(fā)展方向,對底層計算架構(gòu)的多樣性、負載能力和計算效率提出 新的要求。


          在邊緣節(jié)點,為應對大視頻、物聯(lián)網(wǎng)等各類高帶寬和低時延的邊緣計算類業(yè)務,電信云計算能力向移動邊緣節(jié)點下沉,以實現(xiàn)網(wǎng)絡業(yè)務、服務及應用更快的分發(fā)下載速度,從而有效緩解核心 網(wǎng)壓力,提升用戶網(wǎng)絡體驗,邊緣數(shù)據(jù)中心IT基礎設施將面臨計算、存儲等網(wǎng)絡能力的全面提升 以實現(xiàn)大流量、高并發(fā)、低時延的本地數(shù)據(jù)處理能力。



          從ARM在各運營商業(yè)務的遷移實踐來看,NFV、大數(shù)據(jù)、DPI已經(jīng)有成熟的商用案例,并積累 了豐富遷移經(jīng)驗。當前,運營商ARM成熟還面臨如下關(guān)鍵挑戰(zhàn),需要協(xié)同推進多樣性算力適配和逐步成熟。

          ●  IT云:CRM和BOSS定制版本角度,當前進一步豐富遷移實踐;OSS和VAS場景多,生態(tài)呈碎 片化,需進一步加強

          ●  網(wǎng)絡云:NFV需要更多的廠商參與ARM適配,豐富ARM遷移經(jīng)驗


          2.3   應用遷移的自動化工具體系

          一個應用從x86平臺到ARM平臺典型的遷移過程包括如下五個步驟。

          現(xiàn)代軟件的規(guī)模越來越大,人力往往很緊張。在應用的遷移過程中存在如下典型問題:

          ●  在技術(shù)分析階段,移植代碼依賴手動掃描分析,通過編譯試錯定位,準確率低,人工分析投入 大、周期長。

          ●  在編譯遷移階段,涉及底層匯編語言分析,編譯選項設置,對人員專業(yè)技能要求高。反復定位 試錯周期長、準確率低。

          ●  性能調(diào)優(yōu)依賴個人經(jīng)驗,人工定位手段單一,定位困難,效率和準確率低下。


          為了提升應用遷移效率,需要提供自動化的工具體系。解決在應用適配和遷移過程中三個關(guān)鍵問題。

          1. 分析掃描工具能夠一鍵生成可移植性評估報告。移植前可先用該工具分析可移植性和移植投入。工具自動識別依賴庫和評估源碼工作量,C/C++ 源碼工作量。

          2. 代碼遷移工具自動分析出需修改的代碼內(nèi)容,并指導開發(fā)人員修改。該工具解決了代碼兼容性人工排查困難、開發(fā)人員移植經(jīng)驗欠缺、反復依賴編譯調(diào)錯定位等遷移適配難點。


          3. 性能分析和優(yōu)化工具能收集服務器的處理器硬件、操作系統(tǒng)、進程/線程、函數(shù)等各層次的性能數(shù)據(jù),分析出系統(tǒng)性能指標,定位到瓶頸點及熱點函數(shù)。

          基于這些工具,可大幅降低遷移難度、人工錯誤,提升遷移的效率??紤]到遷移無法完全靠遷移工具完成,往往需要手動介入,需結(jié)合技術(shù)棧各層的特征發(fā)布指導具體應用案例遷移的流程和規(guī)范指南。遷移工具和指南可通過參考文獻獲取。



          下載鏈接:多樣性算力技術(shù)愿景白皮書
          下載地址:服務器研究框架合集

          1、華為鯤鵬生態(tài)研究框架

          2、服務器研究框架
          3、國產(chǎn)架構(gòu)服務器研究框架
          4、服務器系列報告(計算篇)CPU平臺


          下載鏈接:深度報告:RISC-V異構(gòu)IoT全新架構(gòu)

          開啟國產(chǎn)CPU和AI芯片的騰飛之路

          CPU和GPU研究框架合集

          1、行業(yè)深度報告:GPU研究框架

          2、信創(chuàng)產(chǎn)業(yè)研究框架

          3、ARM行業(yè)研究框架

          4、CPU研究框架

          5、國產(chǎn)CPU研究框架

          6、行業(yè)深度報告:GPU研究框架

          國產(chǎn)基礎軟硬件:開源、遷移、上云,關(guān)鍵在生態(tài)





          免責申明:本號聚焦相關(guān)技術(shù)分享,內(nèi)容觀點不代表本號立場,可追溯內(nèi)容均注明來源,發(fā)布文章若存在版權(quán)等問題,請留言聯(lián)系刪除,謝謝。


          電子書<服務器基礎知識全解(終極版)>更新完畢,知識點深度講解,提供182頁完整版下載。

          獲取方式:點擊“閱讀原文”即可查看PPT可編輯版本和PDF閱讀版本詳情。



          溫馨提示:

          請搜索“AI_Architect”或“掃碼”關(guān)注公眾號實時掌握深度技術(shù)分享,點擊“閱讀原文”獲取更多原創(chuàng)技術(shù)干貨。


          瀏覽 44
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  五月天综合 | 日本丁香婷婷五月天色电 | 青青青草视频在线观看 | 青青草,超碰在线 | 91成人一区二区三区 |