「iPhone 13」シリーズの評価用端末を使い始め、その実力が徐々に明らかになってきた。iPhone 13世代ではカメラモジュールがそれぞれ一新されると同時に、カメラ画質を高める、あるいは楽しむための新しい要素をソフトウェアとSoC(System on a Chip)の組み合わせで実現している。

 それ以外にもバッテリー容量増加、Proモデルのディスプレイ性能向上などのトピックもあるが、「何が進化したのか?」と問われれば、シンプルには「カメラ」という答えになる。iPhone 13世代ではカメラを改善するため、演算能力で写真の表現力を高める「コンピュテーショナルフォトグラフィー」というアプローチを深化させているからだ。

 もちろん、そのために用意されたSoCの膨大な演算能力は、一部を除いて他のアプリケーションでもニューラルネットワーク処理や機械学習のアクセラレーションという形で活用できる。しかし使いこなしのレベルで他社のアプリがApple本家に追い付くには、それなりに時間もかかる。

 ということで、リリース直後の現時点で違いは何かといえば、カメラという答えになるのだが、短時間ではあるもののテストを行っていると、予想以上にSoCレベルからカメラに特化した開発を行っていること、そして、まだまだこの先はありそうだという感触を覚えた。

●CPUコア以外の性能改善にフォーカスした「A15 Bionic」

 iPhone 13と13 Proに採用されたSoCの「A15 Bionic」は、CPUも改良しているとのこと。確かにマルチプロセッサ処理時のオーバーヘッドが減っているようでトータルパフォーマンスは向上しているが、ビッグコアのスループットはクロックあたりでほとんど変わらないようだ。

 定番ベンチマークテストのGeekbench 5を実行したところ、シングルコアのスコアは1500台半ばから1700台半ばに上昇しているものの、これは主にコアのクロック周波数が向上(3GHzから3.25GHz)したためと考えられる。TSMCの製造プロセスがアップデートしたことで消費電力が下がった分、ピーク時のクロック周波数を上げることができたのだろう。

 しかしトランジスタ数としては、より多くを割り当てた形跡はない。基本的に同じコンセプトのコアを最適化してマルチで配置したという印象だが、今回はGPUや機械学習処理の回路により多くを割り当てたようだ。また、ISP(Image Signal Processor)の処理も向上し、トーンマッピングやノイズ処理が改善しているというが、これらはベンチマークテストで計測の手だてがない。

 Neural Engine(およびMLアクセラレータ)はGeekbench MLでCore MLの処理速度を比較してみた。するとTensorFlow Lite Core MLのスコアはA15 Bionicの2750程度に対してA14 Bionicは2440程度で、これを推論エンジンのコードを動かした速度差として捉えると、コアそのものに手を入れた上でクロックも上げている可能性がありそうだ。コア数そのものは16コアで変化はしていない。

 GPUは「ライバルよりも50%高速」という表現を使い、あえてApple製品同士の違いは訴求していないが、iPhone 13 ProはGeekbench 5のMETALを通じた演算能力評価では14170程度を出した。A14 Bionicを搭載するiPhone 12 Proは9540程度という結果で、前世代のGPUからおおよそ1.5倍という大幅な性能向上を果たしていることになる。

 ProではないiPhone 13と13 miniのA15 Bionicでは、5つあるGPUのうち4つしか動作しないことが明らかになっているが、METALのスループットは10760程度とコア数の違いよりも大きな差があった。恐らくGPUコアのクロック周波数が異なるためだと思われるが、それが省電力のためなのか、何らかの設計上の制約なのかは分からない。とはいえ、それでも昨年のiPhone 12世代よりも上回っていることに違いはない。

 もちろん、これらはベンチマークテストの数字であってユーザー体験に直結しているわけではないが、Appleはそれをカメラアプリという形で表現している。

●カメラモジュールはどう変わったか

 iPhone 13世代のカメラは前モデルから大きく変わっており、特に13 Proはセンサーサイズ、レンズともに全く新しいスペックになった。

 といってもiPhone 13に関しては「iPhone 12 Pro Maxのカメラモジュールから望遠カメラを省略して搭載」という方が分かりやすいかもしれない。このためセンサーサイズも若干大きくなっており、画質面ではプラスになっているはずだ。

 もちろん、A15 Bionicの映像処理プロセスが進歩した分だけ画質や機能は進歩しているので、画質の傾向やシネマティックモードなどのソフトウェアで実現している機能は進歩している。あくまでもカメラモジュールという切り口で捉えた場合の話だ。

 この新しいカメラモジュールを搭載することで、iPhone 13 miniはiPhone 12 miniに比べて0.25mm厚みが増しているため、ベゼルが大きくなったことと合わせて、従来のアクセサリーと互換性がないケースがほとんどなので注意してほしい。

 これはボタンの位置やベゼルのサイズが異なる他のiPhone 13ファミリーでも同じだ。iPhone 13 Proのカメラ部分は、望遠カメラが広角カメラの約3倍の焦点距離(77mm相当)となった。センサーのサイズもより大きくなり、広角カメラは画素数はそのままに画素ピッチがiPhone 12 Pro Maxの1.7μmから1.9μmへと拡大し、レンズの口径比(明るさ)もF1.6からF1.5へと明るくなり、さらにノイズ処理が賢くなって暗所の撮影性能が向上した。

 3倍の望遠レンズは光学式手ブレ補正で明るさはF2.8だ。35mmフィルム用レンズ換算で77mm相当と、iPhone 12 Pro Maxの65mm相当よりもかなり望遠に寄っている。

 超広角カメラもセンサーサイズが拡大されるとともに、明るさがiPhone 12 Pro MaxのF2.4からF1.8へと大幅に明るくなったが、今回の目玉はレンズ前の2cmまでフォーカスが合うマクロ機能が搭載されたことだ。画角だけを見れば対角画角で120度と変化はないが、全く別物といっていい。

 加えてProラインだけに搭載されるのが空間距離センサーの「LiDAR」だ。これを使い大まかな深度測定をもとに、機械学習処理による被写体分離などと組み合わせてポートレートモードのナイトモード撮影という掛け合わせ処理も行える(LiDARが測定できる2m以内に被写体がなければならない)。

 このように書くと、iPhone 13の内蔵カメラが廉価バージョンと感じるかもしれないが、実はトップクラスのセンサーサイズでレンズもよい。むしろiPhone 13 Pro搭載のカメラモジュールが度を越して? 豪華という方が正しい。

●A15 Bionic+ソフトウェアでカメラ全体の体験を引き上げる

 iPhone 13も13 Proも同じA15 Bionicを搭載しているため、ソフトウェアで実現されている機能はその多くが共通だ。

 スマートHDR 4、より進んだセマンティックレンダリング、ポートレートモード、Deep Fusionの動作精度、あるいはシネマティックモードなどは、ProではないiPhone 13と同じだ。静止画カメラのApple ProRAWはProモデルのみが対応している。低圧縮高画質のビデオ形式であるApple ProRes(プロ向け動画ワークフローではよく使われている)にも年内のアップデートで対応予定だ。

 中でも静止画の画質はスマートHDR 4が効果的というのが率直な感想だ。AppleはISPの更新でトーンマップやノイズ処理なども改善しているというが、ぱっと見の印象ではスマートHDR 4が一番見た目の変化が大きい。

 スマートHDR 3との具体的な処理内容の違いは明らかではない。しかし撮影結果の違いは大きく、写真全体のバランスを取っていることが感じ取れた。スマートHDRでは被写体ごとに分離して、それぞれに適した現像パラメータを適用する機械学習処理が行われるが、スマートHDR 3では影の部分を明るく引き上げるなど、全体を見渡したときの明るさバランスが崩れることがあった。

 スマートHDR 4では、映像全体の明るさのバランスが良くなり、また、局所で見た場合にはディテールが深く描かれる。Appleの説明では人物ごと異なる最適化をするようで、肌の色のタイプや日焼けの具合などえお個別に判別しながら動作するという。

 日常的なシーンを撮影しているときにも、随分ぱっと見にキレイな写真と感じることが多いiPhone 13世代のカメラだが、全体の印象を変えているのはスマートHDR 4だろう。

 また超広角カメラでのナイトモードも加わっている。夜景撮影では大変に便利なので、積極的に使いたい。一方で「これは楽しい」と、思わず撮影日程の半日の大多数を使ったのが最新機能のシネマティックモードだ。

●「ポートレートモードの動画活用」がシネマティックモードの面白さ

 写真を撮影する「フォトグラファー」に対して、映画の撮影監督を「シネマトグラファー」と呼んだりする。映画と動画は似たような意味だが、映画(Cinema)といった場合には、連続する写真で動きを表現した作品といった意味合いがある。さらに写真が時間軸ごとに変化していく様子そのものを作品表現とすることも多い。

 映画撮影ではシネレンズという光学的な特性上、光の入れ方やフォーカスの変化で美しい風合いとなるレンズを使う。レンズ選びは映画表現の一部なのだ。例えばパンして光の具合が変化したり、フォーカスが被写体の間を移動したりすることでフォーカスが当たっている部分はもちろん、アウトフォーカスの部分の描写にも動きが出る。

 そんな部分を意識しながら、シネマトグラファーは映像を生み出していくが、そんな映画の絵作りの世界を演算能力で楽しもうという試みが、iPhone 13世代のシネマティックモードだ。

 技術的な基盤はポートレートモードで用いているレンズの光学特性シミュレーション。Appleは過去のさまざまなレンズ設計を参考に、ボケの美しい仮想のレンズを数値モデルにし、そのシミュレーションでポートレートモードのボケを作っている。

 このため実際のレンズを通じて見たときのように描写が変化する。その変化を動きとともに記録することで「映画っぽさ」を楽しむのがシネマティックモードだ。

 処理としてはかなり複雑なことをしているため、被写体と背景の分離がうまくできていない場合や距離の類推誤差が大きい場合などは、不自然になる場合もある。被写体のくりぬきはリアルタイムの動画で行っているせいか、ポートレートモードよりも大ざっぱだ。

 しかし、実際にテストして見るとそうした細かなアラよりも、光の描写が美しいことを楽しめた。シェアした動画がスマートフォンで見られることが多いのであれば、そもそもこうしたクリエイティブな遊びができる方が、ひたすらに高精細を狙うよりも面白い。

 動画であるため、ピントを合わせたい被写体は次々に変化することになるが、画面のライブビューには認識している被写体を「顔」「体」などの単位で表示してくれ、タップすることで切り替えることが可能。その際、静止画の場合とは異なり、ゆっくりとフォーカスが変化してくれる。

 Appleのデモ映像にあるように、被写体を認識した上でフォーカスをどこに合わせるかを機械学習で自動的に行うが、もちろんタップすれば手動選択も可能だ。単にボケるだけではなくフォーカス位置が変化することによるボケ味の変化が動画上で楽しめるところがこの機能のキモの部分だ。

 さらには後編集にも工夫が加えられている。ボケの大きさをF値で変えられるのはポートレートモードと同じだが、自動で行われた被写体の切り替え位置を手動で変更したり、任意のタイミングで別の被写体にフォーカスを動かしたりすることができる。

 この機能を使うと会話でしゃべっている人が変化するタイミングでフォーカスを切り替えたり、あるいは別の物体に合わせたりといったことが、後から可能になるのだ。

 他にもポートレートモードと同様に超広角カメラが利用できない、あるいは画素数は1080Pが最大でフレームレートは30fpsという制約はあるが、画面全体にレンズの光学特性をシミュレーションする演算処理が常に行われているため、大口径レンズを使っているかのような美しい映像を作り出せる。

●制約は減ったものの、使いこなしが必要なiPhone 13 Pro

 使い始めるとiPhone 13世代のカメラ機能は変更点が膨大で、なかなかその全体像をテストし切れない。例えば、写真出力時のちょっとした風合いをカスタマイズしておける

フォトグラフスタイルは、現像パラメータをプリセットしておき、撮影時に適用するもので、積極的に絵作りしたいユーザーは楽しめるだろう。

 トーンと鮮やかさという2つの軸で表現されたフォトグラフスタイルのパラメータは、±それぞれ100ずつの段階がある。まずは画面上でシミュレートしながら、Appleが提供している4つのスタイルを適用しつつ、そこから好みの方向へと微調整していくといいだろう。しばらく使い込まなければ、本当に好みの映像へとはたどり着けないかもしれないが、それだけt使いこなす範囲も広いというものだ。

 これはシネマティックモードも同じで、その仕組みを楽しみながら使いこなそうという気持ちが強いほどより強力な機能として捉えられる。もちろん受け身で使っていてもシネマティックモードは面白いのだが、フォーカスの合う範囲が狭いため常時このモードで動画撮影する場合には、F値を後編集するなどで被写界深度を変えるなどの工夫が必要だ。

 またマクロ機能に関しても、2cmまで寄れるのはとても便利だが、広角や望遠でもピントが合わない範囲だと自動的に超広角カメラに切り替わってしまうのはやや難点。仕組みを知らなければ、急に構図が変化してしまうため、使っていて驚くと思う。当然ながら広角カメラ時のマクロモードは2倍、望遠カメラ時のマクロモードは6倍の電子ズームにもなってしまう。

 できることなら、Appleには広角時や望遠時にマクロモードに自動的に入らない(手動で切り替える)ようなアップデートを搭載してほしい。Appleはもちろん、この点は意識しているようで、動画撮影時には広角カメラや望遠カメラからマクロに切り替わったりはしない。

 また77mm相当の望遠レンズも、屋外での人物撮影や遠景の撮影時に便利なことは間違いないが、室内で望遠レンズの圧縮効果を狙ったり、ポートレートモードでモノを撮影したりしたい人には画角が狭すぎる。

 画素数はともかく描写はよいので、広角レンズで撮影してからクロップしてもいいのだが、そうした使い分けなども含めてシンプルに使いこなせるiPhone 13シリーズのカジュアルさと、iPhone 13 Proシリーズのキャラクターの差が際立っている。

●コンピュテーショナルフォトグラフィーのさらに先

 ということで、iPhone 13のProラインは「従来以上にPro」で、極めて強いこだわりのもとに作られている。

 今回はOLEDのバックプレーンも違い、結果として最大輝度が異なり、iPhone 13 Proシリーズは1000nitsの表示が行える(iPhone 13と13 miniは最大800nits)。ピーク値では1200nitsなので、照明を落とした環境ならば、HDR対応マスターモニター並みの正確なHDR再現が行える。

 それが必要なのかどうかはともかく、そうした最高峰を目指しているのがProラインということなのだろう。

 さて、今回のアップデートは今後も続いていくと予想している。Appleが目標に置いているのが本格的なシステムカメラだとすれば、まだまだ十分に熟成は進んでいないと思うからだ。

 今世代では写真からスタートしたコンピュテーショナルフォトグラフィーをシネマトグラフに拡張するという試みに挑戦したが、これはiPhone 7 Plusから始めていた光学シミュレーション技術を発展させ、処理スループットを上げた先にあった新しい楽しみ、道具だ。

 Appleが本当に「プロ」の道具として、あるいは将来、映像制作のプロを目指す若手クリエイターの萌芽を期待してこの機能を突き詰めていくのであれば、次に期待されるのは、より高い品質のコンピュテーショナルフォトグラフィー技術への進化だ。

 被写体の認識、分離の精度がもっと熟成しなければ、本気の作品作りには使えない。プロのようなクリエイティブを作り出す道具というだけではなく、さらに進んで本当にプロの素材に使える領域にまで質を高める。

 恐らく次は、トランジスタ密度が大きく向上するTSMCのN3プロセスが使えているはずだ。コンピュテーショナルフォトグラフィーには、まだまだ先のストーリーがあることに期待するとともに、ライバルのGoogleの出方にも注目していきたい。

[本田雅一,ITmedia]