時裝經常是二十年一輪回，原來過時的時裝有可能會再次流行起來，雖然這個輪回的時間線會有長有短。其原因在於審美本身並不是一個進化的問題，而是一直在隨著時間環境而變化其品味。比如80年代末到90年代初曾一度流行的健美褲，也有稱踩腳褲或腳蹬褲的，沉寂許多年後，最近這些年又開始流行了，不過通過改良製作工藝，舒適度提升不少，也因更適合鍛煉，名字換成瑜伽褲重生了。那麼，人工智慧的研究有沒有與時裝輪回類似的規律呢？    當然有。從人工智慧的歷史來看，自1956年開始，一度流行的是連接主義，以羅森布萊特的感知機為代表，但由於最初的模型缺乏非線性求解方式，不能解決異或問題，很快就沒了聲音，讓位於人工智慧的其他研究方向。到1986年，由於反向傳播演算法的推出，神經網路又重新興起。但十年後，1995年統計學習理論出山，在理論演算法方面都略勝一籌，以至於神經網路的研究再次進入低谷期。曾有一段時間，神經網路的論文投稿很容易被拒，因為既缺乏理論性的證明，演算法的參數也嚴重依賴經驗調整。 但2006年辛頓提出深度學習概念後，人工智慧又開始慢慢轉向，到2012年Alex網路在ImageNet競賽上遠超傳統統計學習方向性能後，人工智慧正式邁入了深度學習的時代。人工智慧的學者們發現，只要有巨量的高質量數據，有足夠量參數的深度模型，通過購買大量的顯卡後，進行深度調參後，往往能取得應用級的性能。俗話說，君子報仇，十年不晚。現在統計學習的文章投稿時，常會因為要分好兩步或多步才能完成，而不是端到端一步實現而被人工智慧頂會的專家詬病。 不過，一個人工智慧學者可能會思考的問題是，如何暫時還找不到全新的人工智慧理論體系，來突破現有深度學習和大模型建立的王國的話，統計學習這套理論體系是否還能再次回歸，就像時裝一樣出現輪回呢？。    不妨再回顧下，之前我在前文提到過的預測模式和t-sne（t分佈隨機鄰域嵌入）可視化技術。目前深度學習模型、大語言模型湊效的主要原因是通過足量的數據集來訓練模型，以實現高精度的預測。而預測通常是需要有標籤的。這種標籤可以是人工標注、也可以是自監督學習或通過強化學習中的獎勵模型等獲得，也可能通過蒸餾其他模型來獲得高質量的輸入輸出對，也可以通過掩碼技術來利用序列特徵的前若干個預測隨後的一個或多個token。但不管如何表述，本質上都是依賴標籤實現監督。而要獲得高性能的預測，往往會回到一個基本概念：即通過優化模型參數使得相同類的距離應該足夠近，不同類的應該足夠遠。 如何看出效果的好壞呢，除了定量指標，另一個便是辛頓的t-sne可視化了。然而，需要注意的是，通過模型來提升類間距離和縮小類內距離，存在一個不足。即當輸入數據的維度偏低時，才會導致數據集在原空間裏，不同類的有可能擠到一起，傻傻分不清楚。 因此，才需要通過巨量參數進行特徵的升維，再通過判別分析、對比學習或類似的演算法來將類別分開。 但是，如果輸入的維度本身就是高維，或者超高維，那麼就有可能在不需要引入巨量模型參數前，原本的空間就能得到很好的數據分離，也因此可以得到好的學習效果，且不需要再利用提及的判別分析技術將數據原本可呈現的幾何、拓撲結構壓縮扭曲。 那麼，超高維輸入維度的數據結構，以前有沒有研究過呢？至少在我的知識認知框架下，我還沒見過，比如10的8次方的輸入維度或更高數量級維度的輸入特徵。從網路報導的資訊看，手機攝像頭目前有做到2億像素的，但圖像和視頻真正作為深度學習模型的輸入端時，往往會大幅度壓縮，比如2048*2048，否則目前的顯存會在計算內積時直接爆掉。 而生命在感知方面，往往具備極為豐富、功能多樣、且有精細感知能力的感測器，它也意味著如果將這些多模態的輸入合併在一起來看的話，其特徵維度必然會張成一個超高維度空間。 一個自然的問題是，如此高維的輸入會有什麼好處或優勢呢？ 多數生命是無法與人類交流的，所以我們也很難完全清楚它們是如何利用這些高維輸入來幫助其生存和演化的。 但人類科學家還是發現過不少有意思的規律，比如格式塔心理學。人類對視覺可見的圖形，能通過無標籤或無監督的方式，自動對圖形進行聚類，比如根據黑白點的疏密性自動聚成團，對缺失的圓進行自動補全，對不同視角的圖像可以按關注點來自動生成合適的結構，對散點能根據自己的知識能產生相對應的圖案，對不同角度的立方形來進行虛擬旋轉，判斷其在不同角度的形狀，諸如此類。這可以視為是在視覺空間完成的自動聚類。 而對於更高維的、不同於視覺的多模態感知數據，一個可以想像的情況是，如前所述，在這個超高維空間的，同類型的感知數據會更自然地靠在一起，不同類的會相對疏遠。因而，人類或其他生命體有可能能借助這個超高維感知空間獲得足夠的稀疏性，並利用類似於格式塔的聚類機制，來總結、歸納式地學習知識，而無需考慮或較少需要考慮利用現在深度學習或大語言模型裏類似對比學習、判別分析的方式來完成，因為高維空間中本就能很好地實現不同類足夠遠，同類足夠近。       如果此構想成立，那麼，就並不需要進行大量的手工或自動標注數據，也就無需巨量的數據來幫助學習和優化模型。這也許就是感知先行、認知後成可能有的好處。 它同時也可以讓傳統統計學習重新發揮其力量，只是需要改變下思維模式，即在已有的理論演算法基礎上考慮一個新的、但更難的研究方向，有限超高維輸入樣本下的統計（機器）學習。 而它也意味著，我們需要對很多舊瓶裝入新的酒，比如如何構造相應的超高維多模態數據集來幫助測試，是否能夠發展出有限樣本的超高維統計學習理論，如何發現超高維輸入之間的相互協同關係和長程關係等等。不僅在理論演算法層面需要有新的酒，在輸入端也是如此。比如如何人工合成超高維的多模態感測器、如何進行仿真模擬等。與深度學習可以無限制快速增加參數不一樣的是，輸入端的增加、合成是與生命科學仿生學材料工藝等學科密切相關的，而這些方向的發展都是實打實要消耗時間的，很多通過時間加速器來實現。  除此以外，超高維輸入除了能夠幫助學習，在幫助建設“自我”上也可能有著特別的意義。下回再說！