11月15日から17日(現地時間)の3日間に渡り、米国ハワイ州で、Qualcommの「Snapdragon Summit」が開催された。コロナ禍でオンライン開催に切り替えていた同イベントだが、21年は小規模ながら現地開催を復活。2022年は名称をSnapdragon Summitに改め、世界各国から参加者が集った。渡航制限が厳しい中国のメディアや登壇者が少なかったことを除けば、ほぼコロナ禍前に戻ったと言っていいただろう。

 そんなSnapdragon Summitで発表されたのが、次期フラグシップモデル向けのプロセッサ「Snapdragon 8 Gen 2」だ。同モデルは、AIの強化に加え、カメラの制御を担うISPも大きく進化させた。その一端を担うのが、センサーを開発するソニーセミコンダクタソリューションズ(以下、肩書き以外ではソニーと表記する)だ。

 同社は、2021年のイベントでQualcommとのジョイントラボ設立を発表。その成果がSnapdragon 8 Gen 2に取り込まれている。では、それはどのようなものか。ソニーセミコンダクタソリューションズのモバイルシステム事業部 副事業部長の御厨道樹氏に話を聞きつつ、イメージセンサーメーカーに接近しているQualcommの狙いを解説していきたい。

●一押しはAIカメラ、ソニーとは新しいHDR撮影を実現

 「Snapdragon 8 Gen 2で一押しの機能を1つ挙げるとすれば、やはりAIカメラ。高画質なカメラをAIがサポートすることで、ユーザー体験がよいよいものになる」――こう語るのは、Qualcommでシニアバイスプレジデントを務める、アレックス・カトージアン氏。実際、Snapdragon 8 Gen 2は、AI処理を担うDSP(Digital Signal Processor)とも連携し、その表現力を大きく伸ばした。

 新たに採用される、「セマンティックセグメンテーション」は、そんなAIの力を応用した機能の1つだ。この機能は、被写体をリアルタイムに分析し、要素ごとに分解。それぞれに最適な処理を施すことで、写真の仕上がりがよりビビッドになる。また、トリプルカメラで18ビットのデータを扱えるようになり、より美しいボケを実現する「ボケエンジン2」を搭載しているのも、Snapdragon 8 Gen 2の特徴だ。

 QualcommがISPの機能を強化しているのは、「スマートフォンを購入する際に、カメラは本当に重視されている」(同)からだという。とはいえ、Qualcommが手掛けられるのはあくまでISPまで。カメラをカメラとして機能させるには、光を取り込むためのセンサーや、それを受けてデジタルデータに変えるセンサーが必要になる。そこでQualcommは、ソニーやサムスン電子といったセンサーメーカーと提携。協力関係を築くことで、カメラ機能の強化を図っている。

 Snapdragon 8 Gen 2では、サムスンの2億画素(200メガピクセル)センサーである「ISOCELL HP3」をサポート。さらに、ソニーセミコンダクタソリューションが開発する「IMX800」と「IMX989」の2つに対応。前者は1/1.5型、後者は1型のセンサーで、いずれも「Quad Digital Overlap HDR」という新機能に対応する。これこそが、ソニーとQualcommのジョイントラボで生まれたものだという。

 「Quad Digital Overlap HDR」とは、その名の通り、4枚の画像を合成し、HDRを行う技術のこと。クアッドベイヤー配列のセンサーを生かして撮った2枚の写真と、時間軸をずらして撮った2枚の写真をそれぞれセンサー内で合成。出来上がった2枚の画像をSnapdragon側で合成し、HDRを行う仕組みだ。ソニーの御厨氏によると、この新機能によって従来のHDRより暗所でのノイズを低減できるという。以下に掲載した画像は、その成果だ。

●スムーズと省電力を両立させたズーム、ジョイントラボの狙いは?

 また、マルチカメラを活用したズーム処理も、Snapdragonとより深く連携することで、スムーズさを維持したまま消費電力を抑えられるようになるという。スマートフォンは、焦点距離の異なる複数のカメラを搭載し、それらを切り替え、疑似的にズームを行うのが一般的だ。ただ、カメラそのものを切り替えているため、その際に露出やカラーバランス、フォーカスなどが変わってしまう。

 これを防ぎ、シームレスなズームを行うには、あらかじめユーザーが使うであろう別のカメラをバックグラウンドで起動させておく必要がある。とはいえ、それだと3つのカメラがフルで動いてしまうため、単純計算でバッテリーの消費量も3倍に増えてしまう。搭載できるバッテリー容量に限界のあるスマートフォンでは、省電力性能も重視されるポイントの1つだ。

 このトレードオフを解決するため、ソニーが取った方法が、使っていないカメラのフレームレートを3fpsまで落とし、露出合わせなど最低限の処理だけを維持するというもの。切り替え時には即座に30fpsまで上がり、普段通り、カメラとして利用できる。カメラ切り替えのスムーズさと省電力性能を両立させた技術といえる。これも、ジョイントラボの成果だ。

 ソニーがQualcommとジョイントラボを設立したのは、センサーとプロセッサの役割分担を、細かくすり合わせていくところにあったという。御厨氏は、次のように語る。

 「今回のQuad Digital Overlap HDRもそうだが、裏面センサーができることとISPがやった方がいいことをうまく組み合わせていかなければならないときには、われわれだけでは機能実現できない。Snapdragon側がこういう振る舞いをしてくれるとありがたいということがあり、そういったすり合わせを行いながら、現場のエンジニアを動かして動作検証もしている」

 Quad Digital Overlap HDRは、ソニー側からの提案。「こういうことがユーザーのメリットになると提案し、Qualcomm側からもそれがいいとなった」(同)という。御厨氏によると、スピード感を出しながら新しい機能の開発に取り組めるのが、ジョイントラボを設立したメリットだという。

 また、センサー側にもメモリやロジック回路が入るようになり、「センサーにより近いところで何をして、プロセッサとどう役割分担すべきなのかは考えなければいけない」。ジョイントラボのような形で連携を取っておくことで、それをセンサーの開発にもフィードバックできる。

●ビジネス面でもメリットあり、伝えやすいユーザー体験

 Quad Digital Overlap HDRやマルチカメラ処理のような技術的成果を出しやすいことに加え、ビジネス面でもQualcommと連携しておくことは重要だという。「ジョイントラボだけではないが」と前置きしつつ、御厨氏は次のように語る。

 「チップメーカーとの連携で、新しい機能をお客さまに提案した段階できちんと動作する環境が担保できるため、明らかに(それをしていない他社より)優位(に立てる)。それが直接的なオーダーにつながっているかというと定義が難しいが、提案した機能がすぐに使える状態になっていることは、確実にプラスになっている」

 冒頭でQualcommのカトージアン氏が挙げていた通り、ISPはSnapdragon 8 Gen 2の中でも重要な機能の1つ。この分野で圧倒的に高いシェアを誇るソニーとの連携は、Qualcommにとってもプラスといえる。センサーとプロセッサのすり合わせは、「(Qualcomm以外のメーカーとも)平等にやっている」(同)ため、より深い協力関係を築いておくことで、プロセッサの差別化になる。

 また、スマートフォンの技術が成熟したこともあり、単純な処理能力の向上だけではプロセッサをアピールしづらくなっている。Qualcommも、Snapdragonを発表する際は、数字ではなく、いかに“ユーザー体験”を伝えるかを重視しているという。カトージアン氏は、「私たちは先進的な技術から離れることはない」と前置きしながら、「ユーザー体験に結び付かないテクノロジーはある意味、無意味なもの」と語る。

 「例えば、このモデムを使うと、このぐらい電波強度が改善すると言っても消費者には理解してもらえないが、ドロップコール(通話の失敗)を50%カットできると言えばすぐに分かってもらえる。同様に、この端末なら、あなたが目で見たものに近い形で撮影できると伝えれば理解できる。(中略)ユーザー体験の向上と開発者の参加を促すことは、最高の技術を生み出すことと同じぐらい重要だ」

 実際、Snapdragon Summitの基調講演も、CPUのクロック周波数やAIのTOPS(演算回数)といった数字ではなく、感覚に訴えかける要素が多かった印象を受ける。「いかにきれいな写真を撮れるのか」「グラフィックスがどこまでリアルなのか」――Qualcommが伝えようとしていたのは、そんなユーザー体験だ。ただ、カメラはやはりセンサーやレンズがあってのもの。プロセッサだけでは全体像を描き切ることは難しい。カメラへの知見を深めるという意味でも、ソニーのようなセンサーメーカーとの提携はQualcommにとって必須だったといえそうだ。