AI識物讀景，圖影瞬間文字敘述

小編最近嘗試AI對於圖影的解析，其和人類觀看差異在哪?探究一下這個蠻有趣的議題。當AI接收到一張圖片或一支短影時，它的解析與人類的觀察在本質上截然不同，基本上AI解析較不像人類的直觀感受，而是有步驟地分解圖影細節，然後理性建構它所觀察的全局，但最終目標是生成人類能夠理解的流暢敘述。

AI的解析過程：從像素到語義

AI的解析並非像人類一樣「理解」畫面，而是一個多步驟的資料處理與推論過程，以下說明AI的解析過程與最終的觀察敘述：

1.特徵提取：

圖片： AI將圖片視為數百萬個像素點的集合。透過其神經網路預先訓練的深度學習模型，它會逐層提取從低階到高階的特徵。

• 低階特徵： 邊緣、角點、顏色、紋理。
• 中階特徵： 物體的局部部分（如眼睛、輪胎、窗戶）。
• 高階特徵： 完整的物體、場景類別（如一個人、一隻狗、街道」。

短片： 短片本質上是一連串的圖片(影格)，AI除了對每個影格進行上述的特徵提取外，還會利用另一類模型，如視訊分類、動作辨識或循環神經網路等多個領域，來分析幀與幀之間的時序變化，例如物體的移動軌跡、動作的連續性(如揮手、跳躍)。

2.物體偵測與識別：

AI會使用物體偵測模型來框出畫面中重要的元素，並標記它們是什麼。例如：這是一隻貓、這是一張沙發。

3.場景理解與關係分析：

接著，AI會嘗試將識別出的物體與整個畫面的上下文結合，理解它們之間的關係和所處的環境。這可能透過場景分類(這是一個廚房)或關係模型(貓「坐」在沙發上)來實現。

4.對短影的動作與事件分析：

這是短片解析的關鍵。AI透過分析連續影格，判斷物體在做什麼，以及是否構成一個「事件」；例如從「人舉起手」–>手向前揮動」–>「臉部有微笑表情」的序列中，推論出「這個人正在開心地道別」。

5.生成語言描述：

最後，將以上所有結構化的資訊(物體、屬性、場景、關係、動作)輸入到一個自然語言生成模型中。這個模型就像一個「翻譯官」，將機器讀懂的數據「翻譯」成符合人類語法習慣的流暢句子。

AI的觀察敘述：最終輸出

綜合以上解析過程，AI最終會輸出一段融合靜態圖片與動態影片資訊的敘述；它會嘗試抓住重點，並建立連貫性。
下面就以AI識物讀景、聊天對話，瞬間，解析後化為文字敘述的真實範例：


_{汪汪AI創作}

上傳上述晴空萬里風景照，Gemini識物讀景先做了地標辨識，圖中分別是克羅埃西亞舊城區的札達主教座堂的高聳鐘樓(右上)及聖多那教堂(下)，然後對景吟詞如下：

第一首(針對景)：晨光輕拂、城市甦醒，飛鳥振翅、自由飛翔，古老石牆、見證時光
第二首(針對景)：天空湛藍、一片純淨，風吹著、帶走煩憂，早安、這寧靜的一刻，屬於、我和這片風景。第三首(針對貓)：陽光曬著、一隻橘貓，輕盈地、越過教堂鐘樓，和一隻海鷗、和煦的風
托著牠，牠在微笑。
第四首(針對貓)：這座老城、牠曾無數次，在屋頂上、遙望，牠的橘色夢、飄蕩，在純淨的、藍色天空上。