人類全自動環境監測深度強化學習向現實應用邁出了重一步

根據英國《自然》雜志3日發表的一項計算機科學最新突破，加拿大科學家團隊報告：完全由人工智能控制的氣球，成功實現自主導航，在平流層一連數周待在原地。這一成果標志著深度強化學習向現實應用邁出了重要且非常難得的一步，同時提高了人類全自動環境監測的可能性。

人工智能在氣象領域的應用，正在爆發式增長，并且呈現出由傳統的機器學習向深度學習發展的趨勢。通常，填充氦氣的超壓氣球常被用于高層大氣實驗，如氣象監測，但如果被風吹偏了航道，它們必須要返回原駐點，而深度強化學習可以訓練人工智能系統進行決策——對于超壓氣球來說，這些主動決策就包括采取哪些行動來保持它們的位置不變。

此次，加拿大谷歌研究院科學家馬克·貝爾麥爾及其同事，訓練了一種人工智能控制器，能根據風的歷史記錄、預報、局地風觀測和其他因素(如氦氣損失和電池疲勞)，決定是否要移動氣球。

研究團隊利用一種數據增強算法來解釋數據中的空白。他們將這一新成果——名為“StationSeeker”的技術應用到分布在全球各地的“Loon氣球”上，包括一項在太平洋上空進行的為期39天的受控實驗。“Loon氣球”原本是一個互聯網項目，團隊將高空超壓氣球發放至平流層，組成空中的無線網絡。而貝爾麥爾的實驗證明，受到“StationSeeker”控制的氣球能成功實現自主導航，一旦被吹偏航道，它們能比傳統控制器控制的氣球更快地回到原駐點。

深度強化學習的應用此前已在受控環境——如電腦游戲中得到了演示，但在受控環境中，擁有完整的數據集和明確定義的參數。而在現實世界中，可預測性變得更差，比如關于環境中風的數據就不完整，因此很難采取最優調整而讓氣球保持在原位。

在一篇同時發表的“新聞與觀點”文章中，英國牛津大學科學家斯科特·奧斯佩爾表示，正是由于這一理由，此次最新成果可以說代表了增強學習在現實世界應用的一次巨大進步。張夢然

標簽： 深度強化學習