前言

• 至今為止，我們已經學到了『結構化資料』、『圖像』、『語言』等三項任務的基礎模型，這其中包含：

– 對於神經網路的輸入\(X\)，我們能允許『結構化資料』、『圖像』、『語言』等輸入

– 對於神經網路的輸出\(Y\)，我們同樣能允許『結構化資料』、『圖像』、『語言』等輸出，其中『圖像』又能分為輸出原始圖像、分割機率、物件框等

• 上面這些任務都是一對一映射任務，而假設我們希望輸出具有隨機性，那我們就必須在輸入內增加「亂數」，而要訓練這種模型則需要對抗生成網路來幫忙。

• 儘管我們已經學會了這麼多模型，但還有好多種資料我們沒有教過，像是：

1. 圖像部分，我們只教了2D圖片，3D影像（如CT影像）或是影片都仍然沒有涉獵。

2. 除了圖像之外，人的感知中除了視覺外還有聽覺是已經被電子化的（有收音機能夠錄製），因此還有語音任務我們也沒講到。

3. 任務的種類我們也沒有講完全，像是我們還沒說過『對比學習』、『多模態學習』、『強化學習』等。

• 這些深度學習的子領域在近幾年也有相當多的突破，並且迄今為止深度學習依然在這些任務上對非深度學習的方法有絕對的領先，因此想要好好鑽研深度學習領域，我們一樣不能忽視這些領域的發展。

– 閱讀文獻的能力是很重要的，首先要先讀懂，而後要能覆現，最後還需要基於這些成果之上完成創新！

本學期課程未涵蓋到的經典論文列表(1)

• 我們最後一節課教到的Transformer架構，現在已經有取代卷積神經網路的趨勢，目前已經初步在視覺領域中被認為可以取代卷積神經網路。

– Browse State-of-the-Art網站蒐集了目前在幾個重要的資料集上不同時期的最佳模型，大家可以隨時在上面看看研究的進展。

• 其中首先『成功』將Transformer應用到圖像任務上的是這篇研究：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

– 基於這篇研究，後續的Swin-Transformer結合了卷積神經網路的特點到Transformer之上，算是一個重要的突破：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

– 基於Transformer與BERT的邏輯，何愷銘等人又創立了視覺任務上的標竿：Masked Autoencoders Are Scalable Vision Learners

本學期課程未涵蓋到的經典論文列表(2)

• 老師認為本門課沒有講到最可惜的部分就是『對比學習』，從他的基本架構之下引申出非常多了不起的研究與應用。

1. 對比學習的經典任務-人臉識別：Deep Learning Face Representation by Joint Identification-Verification

2. 對比學習的經典應用-小樣本學習（Few-shot Learning）：Learning to Compare: Relation Network for Few-Shot Learning

3. 對比學習應用到多模態任務-零樣本學習（Zero-shot Learning）：Learning Transferable Visual Models From Natural Language Supervision

– 這個領域非常的火爆，上面那篇開山之作被稱為CLIP，後續有一大堆的論文，包含：

Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks

4. 對比學習應用到文檔檢索：A Neural Corpus Indexer for Document Retrieval

本學期課程未涵蓋到的經典論文列表(3)

• 對於圖像生成，在2020年後有項新技術突破了GAN的統治地位：Diffusion model

– 核心論文是這篇：Denoising Diffusion Probabilistic Models

• 結合多模態學習，他將可以用於做給定文字條件的生成，像是：

Hierarchical Text-Conditional Image Generation with CLIP Latents

DALL-E 2

– 你現在看到的許多文生圖網站，像是DALLE、Midjourney等，都是用這類技術做出來的。

本學期課程未涵蓋到的經典論文列表(4)

• 最後，強化學習是用來解決一種很特殊的任務，也許大家也可以看看這類的論文，了解一下如果遇到這類問題該如何處理。

– 奠基論文是這篇：Playing Atari with Deep Reinforcement Learning

– 隨後最重要的一個改進：Continuous control with deep reinforcement learning

– 強化學習的模型很難訓練，其中這篇研究是目前所有技巧的集大成之作：Deep Reinforcement Learning with Double Q-learning

• 強化學習非常有趣，InstructGPT（GPT-3以後的所有GPT模型）基本上都用到了這項技術，從而讓模型效能變得更好：Training language models to follow instructions with human feedback

本學期課程未涵蓋到的經典論文列表(5)

• 你應該有發現現代模型幾乎都是透過『大資料』+『大模型』，從而出現超級好的結果。

– 如果你想在有限的資源之下做出還不錯的研究（不僅限於特定領域的應用），那你還能做點什麼呢？

1. 為模型加料：Parameter-Efficient Transfer Learning for NLP

2. 如何應用現有語言模型：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

– 這個方法真的是非常重要，老師覺得AlphaFold之所以能夠準確地預測蛋白質結構，就是通過這種方法加強模型：Highly accurate protein structure prediction with AlphaFold

• 這些都是目前很有前途的研究方向，並且耗用的資源都不多，適合碩博士生嘗試！

本學期課程未涵蓋到的經典論文列表(6)

• 有些論文不在上述的方向，但老師覺得這些論文還是非常值得一看：

1. GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training

2. Recurrent Neural Networks for Multivariate Time Series with Missing Values

3. Is Space-Time Attention All You Need for Video Understanding?

4. GroupViT: Semantic Segmentation Emerges from Text Supervision

結語

• 即使深度學習領域發展如此快速，產生的應用也相當具有突破性，但你應該可以發現他們的本質仍然屬於弱人工智慧（Weak artificial intelligence），想要讓模型發展出所謂的『自我意識』，也就是通用人工智慧（Artificial General Intelligence），可能還有一段很長的距離。

– 無論現在的應用如chatGPT再怎麼令人驚豔，本質上他還是一個數學方程式，而模型的訓練都是透過一些巧妙的方式讓他能達到更好的效果。

– 因此，在我們仍然搞不清楚『自我意識』到底是什麼之前，我們不太可能設計出一個數學方程式能產生自我意識。

• 在這門課的結束，對於未來的人工智慧時代，你應該有更清晰的認知，你應該會知道哪些任務是『有可能』做得到的，而哪些又是不太可能做到的。

– 你也需要隨時關注最新的研究突破，並且了解可能會有哪些領域被新的突破所影響。