[閒聊] Google 這台最強 AI 手機,憑什麼靠單鏡

作者
看板 Mobilecomm
時間
留言 則留言,30人參與討論
推噓 21推 3噓 19→
加入最愛文章備份
作者: lem1 (胖胖) 看板: MobileComm 標題: [閒聊] Google 這台最強 AI 手機,憑什麼靠單鏡 時間: Fri Oct 12 22:34:34 2018 剝去技術和參數的外衣,探求設計與人文的本源。 沒有太多硬體基因的 Google,對於智慧手機產品一直有另一番理解,尤其是在拍照方面 。 2016 年 10 月 5 日,Google CEO 桑德爾· 皮蔡(Sundar Pichai)提出了由「行動 優先 」轉為「AI 優先」的口號,同日亮相的初代 Pixel 手機就是這個理念的體現。 表面上看,Pixel 使用的鏡頭和更早推出的 Nexus 6P 並沒有太大變化,大家都是一樣 的 1230 萬像素和 1.55 μm 的單像素尺寸,區別僅僅是加入了數位對焦功能。 但兩者卻在 DxOMark 上獲得了完全不同的評價— Nexus 6P 只有不起眼的 73 分,但 Pixel 卻憑藉 89 分拿下了當時的榜首。 之後的第二代 Pixel 推出時,Google 也開始把關鍵賣點放在了拍照上,這款手機的評分 漲到了 98 分,一舉超過同期的三星 Galaxy Note 8 和蘋果 iPhone 8 Plus 再度登頂, DxOMark 當時給出的評語是「創下智慧手機相機質量的新記錄」。 連續兩次拿下榜單首位,加上媒體和用戶的好評如潮,開始讓 Google 親兒子手機散發出 一種神秘的吸引力。 雖然 DxOMark 的得分僅僅只是一個參考,但其中最讓人不解的是,兩代 Pixel 手機都僅 憑單鏡頭就獲得了這一成績,而其它手機基本都是後置雙鏡頭,難道 Google 的 AI 算法 真的已經強大到能無視物理硬體了嗎? 哪怕是在今天,新發表的 Pixel 3 手機也依舊沒有採用時下主流的雙鏡頭乃至是三鏡頭 組合,這種「靠單鏡頭獨步天下」的功力,除了 Google 你也很難再找到第二家了。 但現在來看,它確實有這份「任性」的資格和底氣。 Pixel 3 的鏡頭有多聰明? 在大眾用戶的認知中,攝影的過程無非就是三個步驟:1. 看到自己想拍的東西 2. 打開 相機按下快門,記錄這個瞬間 3. 獲得一張靜止不動的照片。 專業攝影師就不一樣了。他們得根據現場的光照情況對應調整快門和光圈大小,選擇合適 焦段的鏡頭,拍攝時會考究構圖和按快門的時機,拍完還要拿去 PS 或 LR 後製一下,最 終才得出了我們眼中的各種大作。 但智慧手機的普及改變了這一切,不管是 Pixel 還是 iPhone 或其它手機,手機廠商都 在淡化原本只有攝影師才懂的 ISO、曝光時間等數值,這些交給處理器和算法完成就好了 ,用戶只要懂得按下快門,也能拍出一張媲美卡片機的照片。 Google 顯然也懂得這個「拍照傻瓜化」的道理,只是比起尋求專用硬體來點亮更多的技 能樹,它更喜歡利用 AI 和各種堆疊算法來解決問題。 這種思路很有趣,說白了,它希望讓機器自己去學習如何才能拍得更好。 在去年的 Pixel 2 系列中,Google 專門加入了一顆名為「Pixel Visual Core」的定製 圖像處理器,這是 Google 與英特爾合作開發的 8 核心協處理器,目的是用來加速各種 與 AI 拍照相關的任務,比如 Pixel 系列一貫主打的 HDR+。 而在 Pixel 3 上,這顆 Visual Core 核心也獲得了更新,它的處理速度比去年快了 40% ,意味著它能對更快地處理各種繁雜的照片數據,在機器學習的幫助下還讓 Pixel 3 解 決了一些日常拍照的痛點。 首先是名為「Top Shot」的照片精選特性,它能夠在你按下快門時自動記錄前後數秒的影 像,有點類似 iPhone 中的 Live Photos,但此時 AI 還會自動將「最佳時刻」打上標籤 供你挑選,所以就算是你不小心拍到別人閉眼的窘態,也可以選擇其它畫面作為最終照片 。 至於在伸手看不清五指的場景下,Google 給出的方案是「Night Sight」夜景模式,這個 功能的核心還是藉助 HDR+ 的連續採樣和多幀合成,目的是盡可能地提高照片的亮度,徹 底解決「暗光拍不到」的問題。 為了強調這個模式的出眾效果,Google 在發表會上還對隔壁 iPhone XS 進行了一番「吊 打」,也不知道蘋果此時的心情是怎麼樣的。 還有一個是「Super Res Zoom」,主要是取景是變焦後圖片放大的情況,其實是將一些傳 統單眼中的「像素偏移模式」用在了變焦功能上。 具體來說,Google 抓住了我們取景時都會輕微抖動的小細節,它會在這個過程自動根據 手部運動移動感光元件,然後並連續抓拍數張照片,再藉助算法進行合成。 在這個方式下,每個像素都可以獲得足夠的 RGB 資料,最終便能實現一張擁有超高解析 力的照片。 按照 Android Central 的說法,哪怕是放大 8 倍,Pixel 3 的變焦照片仍然能保持和 Pixel 2 上 2 倍變焦的清晰度。這意味著就算沒有獨立的長焦鏡頭,Pixel 3 仍然可以 拍出不亞於光學變焦效果的照片。 Google 延展的不止是拍照的廣度,還有拍照的深度 我們已經看過所有能選擇的鏡頭組合,單純加一顆鏡頭對我們而言並沒有好處。 在 Pixel 3 發表會後,Google 的產品副總裁 Brian Rakowski 這樣說道。在他看來, Pixel 手機已經能過藉由感應器獲得足夠多的資料,之後再透過機器學習等方式,同樣能 產生用戶所需要的照片。 本質上看,Google 是在嘗試用「運算攝影(Computational Photography)」的概念,為 傳統攝影引入 AI 機器學習等高級算法,等同於是對分辨率、光照、對焦點和景深等這類 圖像資訊進行一次重新梳理,以此突破單鏡頭的物理邊界。 打個比方,以 Pixel 2 中的 HDR+ 為例,表面上看你用手機拍照只是打開取景器再咔嚓 一聲,可暗地裡鏡頭在你打開取景器後就開始採集工作了,這些數據會實時保留在手機緩 存中,並最終被合成算法所調用。 除此之外,Google 還將圖片分割成一個個獨立的方塊,保留高動態範圍和細節的同時, 也會盡可能地去除模糊、鬼影和噪點。 還有「Top Shot」這種「先拍後選」的模式,其實也受到了運算攝影思維的影響,它們都 是在用戶無法感應到的底層去實現。 DPReview 近期採訪了 Pixel 的相機產品經理 Isaac Reynolds 以及運算攝影主管 Marc Levoy,他們表示,為了保證零延遲快門的體驗,當初 Pixel 2 的安全快門值設為了 1/15 秒,這樣哪怕是在最糟糕的暗光環境,HDR+ 也可以保證在 0.6 秒內對最高 9 張圖 像進行合成;若是光線充足狀態下則可以縮短到 150 毫秒。 很顯然,用戶是不會感知到這些後處理流程的,呈現在我們眼前的只是最終的成品照。 而在 Pixel 3 上,用於「Super Res Zoom」變焦模式的合成圖像會高達 15 張之多,而 「Night Sight」夜景模式更是犧牲了零延遲快門。 它和一些手機的超級夜景一樣,需要你在按下快門的同時保持機身穩定,此時相機會捕捉 最高 15 張照片並進行合成,每張照片的快門速度最低為 1/3 秒,由此來獲得接近 5 秒 曝光效果的照片,其中因手抖而糊掉的照片也會被自動刪除。 不僅如此,考慮到黑暗環境下的糟糕光源,「Night Sight」拍攝出來的照片也會藉助機 器學習來實現自動白平衡。 另一個不得不說的是自 Google Pixel 2 時代就備受好評的人像模式,雖然這款手機並沒 有配備雙鏡頭,但依舊可以拍出不輸於同期雙鏡頭旗艦的虛化照片。 實際上,它藉助的是鏡頭感應器的 PDAF 雙像素特性,來捕獲左右兩種視覺圖像,從而得 到簡單的深度資料,然後再依靠圖像分割技術,對圖像輪廓進行精準定位。 在這個過程中,Google 花了不少心思訓練了一個神經網路模型,它會根據深度資訊分辨 出照片中哪些部分屬於人物,哪些部分是屬於背景的,畢竟只有分清前景和後景,算法才 能對正確的區域進行虛化處理,最終才能合成一張淺景深的照片。 在今年的 Pixel 3 上,Google 對深度映射算法又做了新的調整,通過機器學習來獲取更 精準的深度圖。 從上面的對比圖中也能看到,如果只是單純基於雙像素和立體算法,碰到像掏空的玩具球 、玻璃杯或是有網格欄杆這類前後景模糊的場景時,深度信息很可能會識別出錯。 但在機器學習參與後,整個虛化效果和範圍就跟以前不一樣了。 有了 AI 拍照,能讓 Pixel 手機變得和 iPhone 一樣流行嗎? Google 是靠搜尋和工具業務起家的,本質上不是一家硬體公司,即使是 Pixel 手機,它 的整個重心都是圍繞服務和 AI 展開的。 所以在歷屆 Pixel 發表會上,最出風頭的仍然是 Google 的軟體服務。演講人不會對配 置做太多的介紹,更多會去強調那些「只有 Pixel 手機才能用上的功能和服務」,這其 中就有各種 AI 拍照的身影。 但面對蘋果、亞馬遜等巨頭公司的步步緊逼,Google 又不得不做硬體,就像 Google 的 硬體負責人 Rick Osterloh 所說的那樣,他要找到更多的方法讓 Google 智慧助手出現 在人們面前。所以你不僅能看到 Pixel 手機,還有各種音箱、耳機與平板電腦。 這並不是一個主流的玩法,在很多人看來,智慧手機是一門硬體生意,推動消費者每年換 手機的動力來自更好看的外觀、更強的處理器和更多的鏡頭,各種手機產品的橫評也只是 硬體參數的對比,而無法量化的軟件只能一筆帶過。 畢竟,除了 iPhone,其它主流手機都是用 Android 作為底層,跑同樣的 apk 應用,也 唯獨只有硬體能做出比較大的差異。 可 Pixel 手機依舊和其它 Android 不一樣,這是 Google 親自參與的,只有它能夠將 Android 系統改造成自己想要的東西,不然你也不會看到那麼多基於底層的拍照算法。 在 AI 加持下,沒人能猜到 Pixel 手機還能帶來多少我們所不知道的玩法。 但 AI 並非無所不能,Pixel 3 上依舊有只能靠硬體來實現的特性。比如說新加入的 800 萬前置廣角鏡頭,就是專門用來拍多人集體照和大場景自拍的,這兩種場景都沒辦法 靠傳統的自拍鏡頭實現。 還有那顆 Visual Core 核心,如果沒有它的協助,Pixel 3 的 AI 拍照也無從談起。 歸根結底,手機中的 AI 仍然要依靠足夠的運算力來驅動,沒有優秀的硬體做基礎,軟體 體驗顯然得打個對折。 但 Google 顯然在為手機攝影帶來另一種發展方向,這也給那些原本就有強大物理硬體加 持的同僚們更多啟示。當然,也無疑讓消費者們對手機拍照有了更大的期待。 原文:https://goo.gl/RZ4HUV Google 懂得大多數人使用手機的方法就是開啟相機按下快門兩個步驟,在眾廠尋求堆高 硬體來使得所拍出來的相片效果更好的時候,Google 更傾向於利用 AI 自主學習和各種 堆疊算法來解決問題。 這就是 Google 與主流手機產品走向不同之處,在大多數消費者眼裡智慧型手機就是一種 硬體生意,每年換手機的動力來自更好看的外觀、更強的處理器和更多的鏡頭,各種手機 產品的評比也只是硬體參數的對比,而無法量化的軟體研發與學習只能雲淡風輕的帶過。 但空有強大的軟體也只是一個巴掌拍不響,就如同剛發表的 Pixel 3 上之 Visual Core 的處理速度比去年快了 40%,就代表著即使 AI 會學習會進化依舊需要硬體的相輔相成, 軟硬體對於手機的發展來說是一樣重要的都需要資金研發,期許使用智慧型手機的我們在 看到了更新硬體售價提高之餘,也不要忘記 AI 學習服務應用更多元廣泛下所反映在售價 上的成本!xD -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.175.186 ※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1539354877.A.A14.html
1Fkamir: 確定幹掉嗎?10/12 22:37
原文標題啦,每個人的感受不同,這沒有一定的答案 … xD
2Fggirls: google也懂得發文洗白?10/12 22:40
3Fggirls: 廢文,重點只有最後一句。10/12 22:41
覺得整理得還不錯,可以多了解 Pixel 系列!
4FDFIGHT: 別說了行不?拜託xda大神們快出pixel3相機版本吧@10/12 22:42
5FDFIGHT: [email protected]10/12 22:42
6Fagong: 會不會電池不夠電 直接斷電10/12 22:45
7Fabc0922001: 好想買阿~10/12 22:52
8Fkamir: 提取相機不是有了嗎?最低要求是9.0以上10/12 22:53
9Fsymjay: 嗯嗯,相機最強,然後呢10/12 22:56
沒有誰是最強的,換個人可能感受就不同,選自己需要也喜歡的手機購買就是了。
10Fwu0h96p: 嗯嗯 原來如此10/12 22:56
11Fchenming867: 真的猛,下一隻換小隻的10/12 22:59
12Fzzooazsx: 對pixel的期望:中文助手&相機其它手機能使用10/12 23:03
13Fsony1733: 一堆使用sony開源的功能 更悲哀的是 做得比sony還好10/12 23:04
14Ffrfreedom: 目前白天樣張看不出比其他旗艦強多少,摳圖也馬馬虎10/12 23:08
15Ffrfreedom: 虎,夜晚貌似沒更新night sight也是被p20p吊打,等正10/12 23:08
16Ffrfreedom: 式更新再看看10/12 23:08
17Fggirls: AI再強最後還是要做成晶片才省電。現在借我的電池10/12 23:15
18Floking: 字太多10/12 23:15
19Fggirls: 給你運算,是Google要補貼我電池費,哼。10/12 23:16
20Floking: 我猜他是用字數算稿費10/12 23:16
可能因為也有提到些先前的 Pixel 系列吧!
21Fabc21086999: 太神啦10/12 23:19
22Fbcs: 等p4,今年cmos都差不多。10/12 23:23
23Fsupashang: 所以就是合成的啊...難怪看起來這麼厲害10/12 23:23
24Fsection: 看到8倍數位變焦媲美光學變焦就看不下去了10/12 23:27
25Fkissa0924307: 剛好在晶片進代的時候出的機種會有比較大的進步10/12 23:37
26FDarenR: 農場標題10/12 23:47
但像我這種非手機專業的版友,應該還是可以從內容多理解一些 Pixel 的秘密,覺得整理?
27Fhydebeast: 對Super Res Zoom效果如何非常期待 現在的手機相機10/13 00:00
28Fhydebeast: 最不足的真的剩變焦了10/13 00:00
29FGeorgeWen25: 看來還是一堆人沒接觸過HDR+10/13 00:02
30FFMANT: 希望不會落到變成牛皮吹上天的結局10/13 00:03
31FFMANT: 元件先天限制就是那麼小的cmos 硬要說可以靠演算補10/13 00:11
32FFMANT: 到時候大家拿到手機發現沒這回事 那就很糗了10/13 00:11
就等正式販售機子後出來的實測吧!
33FAPC: 您的分類與眾不同~10/13 00:13
我也有考慮過新聞或是情報,但好像不大像新聞,之前的情報分類也都是有發表什麼東西或
34FYAUN: HDR+ 真的不錯10/13 00:29
35FAerogel: Google 應該要做milc 屌打各家電光學廠10/13 00:40
36FCorumChen: 用算的算出人眼期待的假像10/13 01:16
37Fnlriey: 這演算法真的猛,不過這次重點真的只放在AI10/13 01:20
38FSCYAzure: 單鏡不可能打贏多鏡的,google只是用演算法證明可10/13 10:49
39FSCYAzure: 以很逼近多鏡的效果,但終究還是差了一點10/13 10:49
40Fakoken: 有長焦有廣角嗎?演算得出來嗎?10/13 12:56
41Fabev66: 樓樓上以為雙鏡不靠演算法嗎?10/13 13:06
42Flaicyun: 這篇文章寫了一堆卻沒半個照片XD10/13 13:39
原文裡面有唷!
43FSCYAzure: 我可沒說雙鏡不用靠演算法,再多思考一下吧10/13 16:56
※ 編輯: lem1 (122.116.175.186), 10/15/2018 21:39:50
看更多 lem1 的文章,或回到 mobilecomm 看板

推薦文章

完整討論串

留言數 標題 作者 日期
43 >> [閒聊] Google 這台最強 AI 手機,憑什麼靠單鏡 lem1 2018-10-12T22:34:34
38 Re: [閒聊] Google 這台最強 AI 手機,憑什麼靠單鏡 laosaigame 2018-10-13T00:10:10