三地彩票

    當前位置:首頁 > 新聞中心 > 三地彩票网動態

三地彩票网動態

自動化所提出針對小樣本問題的學習生成匹配網絡方法

  • 发表日期:2019-05-24 【 【打印】【關閉】
  •   當前人工智能領域的成功,往往依賴于機器算力的提升以利用大量的數據,但人類智能卻可以利用以往的經驗針對新的問題從少量的樣本中進行有效的學習。在現實中,隨著更多應用場景的湧現,我們也將必然面臨更多數據不足的問題,因此如何能夠讓機器像人類一樣能夠利用學習經驗從小樣本中進行有效學習,成爲了一個重要的研究方向。 

      目前,成功的深度神經網絡往往依賴于大量訓練數據和訓練時間,當訓練數據較少時,神經網絡通常容易過擬合,這是由于傳統的基于梯度的更新算法沒有針對當前任務的先驗知識,無法在神經網絡的參數空間中找到具有較好泛化能力的參數點。當一個神經網絡計算結構固定的時候,網絡的參數權重決定了網絡的功能,而具有較好泛化能力的參數點可以看作是一個基于訓練數據的條件概率分布。根據這樣的觀察,我們針對小樣本問題提出了一種基于訓練數據直接生成具有較好泛化性網絡參數的元學習方法,讓神經網絡在大量的任務中積累經驗,自己學會如何解決小樣本問題。 

      如圖一所示,我們的方法框架,主要由兩部分組成,即元網絡(MetaNet)和目標網絡(TargetNet)。目標網絡是針對某個問題設計的網絡結構,如分類或回歸網絡,並且目標網絡中沒有可學習參數,它的參數由元網絡産生,在本文中使用matching networks的網絡結構作爲TargetNet來解決小樣本分類問題。 

      元網絡,由任務環境編碼網絡(task context encoder)和參數生成器(weight generator)組成,它的目的是編碼任務數據(如果是高維數據則編碼數據特征)然後采樣生成目標網絡的功能參數。 

      在訓練過程中,不斷地從環境中獲取不同的小樣本任務,使用任務環境網絡將任務數據表示爲一個任務特征,基于這個任務特征,通過參數生成器采樣出一個針對當前這個任務的目標網絡對應層的參數,使網絡具有解決當前任務的分類能力,通過累積不同任務的loss來調整元網絡的參數,從而在元網絡中學習到如何讓目標網絡解決小樣本任務的能力。 

       

      圖一、算法整體框架 

      OmniglotminiImageNet數據集上驗證了方法的有效性,在不同的N-way K-shot都獲得了很好的效果,特別在5-way 1-shot任務上對比SOTA結果提升了8% 

      本研究提出了通過參數生成的方式來學習嵌入先驗知識解決小樣本問題的方法,這種方式不需要進行微調,當遇到新的相似任務的時候,可以快速適應。 相關工作已被國際會議ICML2019接收。 

      LGM-Net: Learning to Generate Matching Networks for Few-Shot Learning 

      Huaiyu Li, Weiming Dong, Xing Mei, Chongyang Ma, Feiyue Huang, Bao-Gang Hu 

      網址鏈接: https://arxiv.org/abs/1905.06331 

    热门关键词:三地彩票注册| 三地彩票客户端| 三地彩票手机版| 三地彩票图库| 三地彩票注册邀请码| 三地彩票是不是正规| 三地彩票官方版| 三地彩票开户| 三地彩票提的出来吗| 三地彩票网| 三地彩票官方平台| 三地彩票开奖查询| 三地彩票下载安装| 三地彩票iOS| 三地彩票官网| 三地彩票注册登录| 三地彩票软件| 三地彩票平台可靠吗| 三地彩票主页| 三地彩票登入| 三地彩票苹果版| 三地彩票安卓下载| 三地彩票平台| 三地彩票iphone版| 三地彩票靠谱吗| 三地彩票平台下载| 三地彩票是不是正规的| 三地彩票引擎| 三地彩票注册登录| 三地彩票网站| 三地彩票网址| 三地彩票迷图| 三地彩票安全吗| 三地彩票大小单双技巧| 三地彩票下载| 三地彩票官方网站| 三地彩票开奖结果| 三地彩票苹果版| 三地彩票app| 三地彩票开奖结果|