• <dd id="jsvrh"></dd>

    <dd id="jsvrh"><track id="jsvrh"></track></dd>
  • <dd id="jsvrh"><track id="jsvrh"></track></dd>

    <dd id="jsvrh"><noscript id="jsvrh"></noscript></dd>
    1. <li id="jsvrh"><tr id="jsvrh"><u id="jsvrh"></u></tr></li>
    2. 手機:13823353625

      電話:86 0755 89586630

      傳真:86 0755 28904939

      公司地址:深圳市龍崗區中心城風臨國際A座2211室

      工廠地址:中國 廣東省東莞市清溪鎮羅馬路羅馬二橋241號

      郵編:518000

      企業官網:http://www.getmesmileys.com

      新聞中心
      虛擬試衣:Virtual Try-on Network系列工作
      時間:2020/10/9 4:26:00 來源: 作者: 點擊: 次

      序言:原來在知乎上用Markdown LaTex編寫的軟件無效了,略微調整了下長公式計算,短的標記也不一一改動了。最好訪問感受見:http://grayxu.cn/2019/07/30/VITON/

      詳細介紹

      文中關鍵講在3D虛擬試衣這一每日任務上2個實際效果比較好的工作中。主要是幾篇文章內容,一篇是VITON: An Image-based Virtual Try-on Network發于CVPR 2018,另一篇是Toward Characteristic-Preserving Image-based Virtual Try-On Networks多見ECCV 2018。

      每日任務

      現況與挑戰

      虛擬試衣(Virtual Try-On)的有關工作中有很多。目前市面上的商業商品基礎是轉化成一個身體的三d model,在這個model上開展衣服的試衣服,優勢便是優化算法很平穩,但界面的真實有效就無法得到確保(不足sharp),并且掃描儀三d等實際操作花銷也大(或是只有手動式輸入大約數據信息)。3D上做變換的傳統式互聯網在衣服有很大變形的狀況下實際效果都很槽糕,限定了pose。
      在訓煉的數據上,得到 paired數據信息的挑戰也非常大,必須女模特一樣姿勢穿倆件衣服。

      這系列產品的方式優勢

      總體來說,總體目標是期待可以輸入一個隨意姿勢隨意衣服的人$I_i$,一個衣服圖片$c_i$,最終能輸出一個衣著這一件衣服的人。另外衣服上的細節,身體不被遮蓋的細節都可以被儲存出來。這系列產品方式的時間花銷相對性很大,流程也不便,但轉化成實際效果不錯較平穩,應用的Refine Network等方式來管束衣服的細節保存。

      VITON

      由于前文論述的數據過度難造,文中則還是期待根據現有的女模特圖片來開展訓煉,但那樣潛在性的難題是輸入的圖片經歷強的監管導致過擬合。因此 在輸入上先開展一個Stage 0的數據信息準備工作。



      如圖所顯示,根據輸入的$I_i$檢驗出其Body shape(多通道),pose map(18個pose,18個安全通道),扣圖獲得的人的識別圖(三安全通道RGB,這兒應用了面部和秀發,實際上還可以包含其牛仔褲子等不期待被更改的一部分)。根據那樣的實際操作來降低輸入圖片的參照幅度。每一個輸入map的尺寸均為256*192



      如下圖所示,VITON互聯網關鍵分成2個一部分。第一個一部分輸入的是規范的待穿衣服圖片$c_i$,和身體如上分割獲得的22個安全通道的特點信息內容$p$,輸入一個類U-Net的Encoder-Decoder實體模型,輸出一個生成的穿特定衣服的人圖$I'$和衣服的Mask,$M$意味著的是形變以后的衣服圖片。
      在這個Stage中,必須測算的Loss為$I'$和$I$的Perceptual Loss,轉化成Mask$M$和真正Mask$M_o$的L1 Loss。$I$是原本就會有的數據,$M_o$則來自于數據上的扣圖解決。

      最終的Loss為:

      在這個Stage 1轉化成的圖片經常難確保待穿衣服的細節信息內容,則進到Stage 2。



      如下圖所示,根據Stage 1轉化成的$M$和初始規范衣服圖片的Mask來測算TPS轉換的主要參數,將這套主要參數應用到規范圖片上,轉化成一個形變衣服圖$c'$。對Stage 2的互聯網$G_R$輸入形變衣服圖片和Stage 1轉化成的基本結果$I'$,輸出一個組成mask$alpha$,來組成二張圖片轉化成refined result $hat{I}$,即 。
      運用Perceptual Loss來提升$G_R$,此外,對組成mask釋放一個L1 loss和Total Variation Norm,促使最終Stage 2的提升總體目標為:

      實際完成細節與量化分析結果不表,但因為全部互聯網是2 Stage的(實際上算上分割面部,是三個流程),又應用了TPS等優化算法,總體的時間花銷較為大,一張圖在K40上大約必須0.6秒。

      CP-VTON

      CP-VTON根據前邊這一工作中,提升了一個“GMM控制模塊”降低了測算量,應用一個互聯網來仿真模擬TPS轉換全過程,另外改進了衣服細節的保存實際效果,修補了coarse-to-?ne strategy對misalignment不足魯棒性的難題。



      如下圖所示,為CP-VTON的網絡結構。數據信息提前準備的全過程是和上文相近的,但互聯網已不是一個輸出mask和基本結果的多個任務互聯網。在Stage 1中,先向輸入的2個map開展卷積和獲取高維空間特點,隨后根據一個correlation layer綜合性后再次卷積和輸出,輸出一套轉換主要參數$ heta$,應用這套主要參數對衣服圖片$c$開展TPS轉換。
      提升的loss為轉換后的衣服圖片$hat{c}$和摳出來的衣服圖片$c_t$的L1 loss。即

      在Stage 2中用類U-Net互聯網,輸入人的特點$p$(與上文的22安全通道一樣)和形變后的衣服圖片,輸出一個組成mask和基本圖片$I_r$。再應用組成mask對$I_r$和形變衣服圖$hat{c}$開展組成。應用L1 Loss和Perceptual Loss 則Stage 2的Try on Module的Loss為:

      實際網絡結構不表。

      在Loss的設計方案上取消了前邊工作中應用的TV光滑,反倒用其做為一個測試標準,覺得有點兒不對勁,看github上的issue的確加了TV loss后立刻崩壞三。。實際效果有較為顯著的提高,但針對有身體擋住到衣服的圖片主要表現并不太好,應該是應用mask的拼湊方式針對這類狀況不足魯棒性。文中沒有得出詳細的極限速度,小編的實體模型仍在訓煉中。

      Adversarial Training?

      一般來說,在這類image translation的每日任務里加抵抗loss都能合理提高圖象的真實性(及其轉化成圖象的多變性)。在文中的試驗一部分表明抵抗訓煉具有的實際效果并不顯著。
      ~~沒把Adversarial加上,假裝insightful,,和 SeqGAN一比高下立判。~~

      To Conclude

      盡管方式是多步,并且好多個加管束的方式(摳pose摳shape)都看起來挺暴力行為的,但實際效果的確棒,測算全過程盡管如今看上去不便,但或許之后就會有更強的近似算法來開展提升…第二篇文章內容試驗一部分論述很大。

      Thin Plate Spline

      TPS轉換是一種插值法方式。傳統式的插值法方式如雙線性插值,只是可以確保投射前后左右的圖片有四個測量點被精確投射。TPS則根據歪曲圖片來確保有好幾個點可以另外被投射,另外降到最低彎折動能。


      實際優化算法內容參照:Thin Plate Spline -- 百度百家:今日又密碼忘了

      Perceptual Loss

      Perceptual Loss是應用pre-trained VGG來對圖片獲取特點,應用好幾個淺部的輸出激話值來測算MSE。來自于Style Transfer



      Correlation Layer

      源于FlowNet,關鍵便是測算2個feature map的correlation,實際的測算全過程類似conv,解析xmlf1上的patch對f2上每一個很有可能部位一樣尺寸的patch做配對(即卷積計算),具體完成的時候會對配對范疇和stride開展限定。

      Reference

      VITON: An Image-based Virtual Try-on Network,Xintong Han, Zuxuan Wu, Zhe Wu, Ruichi Yu, Larry S. Davis.

      Toward Characteristic-Preserving Image-based Virtual Try-On Networks, Bochao Wang, Huabin Zheng, Xiaodan Liang, Yimin Chen, Liang Lin, Meng Yang

      文章內容內均有其編碼開源系統詳細地址。

      專業高端橡膠密封元件的研發設計、生產和銷售

      粵ICP備18156249號

      電話:86 0755 89586630 傳真:86 0755 28904939 郵編:518000
      公司地址:深圳市龍崗區中心城風臨國際A座2211室
      工廠地址:中國 廣東省東莞市清溪鎮羅馬路羅馬二橋241號

      CopyRight©2017.深圳市奧克橡膠技術有限公司All Rights Reserved.

      耐高溫密封圈哪家好?密封件廠家報價是多少?密封圈廠家質量怎么樣?深圳市奧克橡膠技術有限公司專業承接耐高溫密封圈,密封件廠家,密封圈廠家,電話:13823353625 0755-89586630
    3. <dd id="jsvrh"></dd>

      <dd id="jsvrh"><track id="jsvrh"></track></dd>
    4. <dd id="jsvrh"><track id="jsvrh"></track></dd>

      <dd id="jsvrh"><noscript id="jsvrh"></noscript></dd>
      1. <li id="jsvrh"><tr id="jsvrh"><u id="jsvrh"></u></tr></li>
      2. 初高中生啪啪网站汐汐最迷人_2021国内精品久久久久精免费_国产乱子伦xxxx_美女脱内衣禁止18以下看免费