とあるビデオグラファーの備忘録的ブログ

ビデオグラファーsumizoonのブログ 一眼動画に関する機材や撮影方法を中心に情報を発信していきます。

Photoshopの「スーパー解像度」はピクセルシフトマルチショットよりも優れているのか?

昨日に割とカメラ業界を賑わす話題だったPhotoshopに実装された「スーパー解像度」について少し実験をしてみたいと思います。

「スーパー解像度」とはなんぞね?という方は下記の記事とかを参照してください。

dc.watch.impress.co.jp

要は「見かけの解像度を上げることで写真の品質を向上させる処理」と説明されていますが、よくわからん。

この手の技術が発表されるたびに多くのサイトでは画像を処理して定性的な評価を行って「すげー、やべー」という記事が躍る事が多いと思います。ここでは少し冷静に数値化して評価してみたいというのが私の思う所なので、今回もちょっと試してみます。

ISO12233準拠 CIPA解像度チャート

てなわけで今回も解像度を調べるのに再現性のある計測を行うため、CIPAお墨付きのISO12233準拠 CIPA解像度チャートを使用してみます。f:id:sumizoon:20210116145629p:plain

で、これにこれまたCIPAお墨付きの解像度計測ソフトのHYResを使用して解像度を測定します。

f:id:sumizoon:20210312223622p:plain

実験する素材

計測に使用した素材はLUMIX S5の素材

①2400万画素の通常撮影

②2400万画素の通常撮影+「スーパー解像度」適用

③9600万画素ハイレゾショット

の3つです。それぞれの撮影時のF値、SS及びピント位置は完全に固定した状態で撮影を行いました。

f:id:sumizoon:20210312224115j:plain

RAWデータをCameraRAWで読み込んで「強化」を選びます。

f:id:sumizoon:20210312235056p:plainあとは「スーパー解像度」にチェックを入れて「強化」ボタンを押します。(もうちょっといい日本語無かったのかね。。。)

f:id:sumizoon:20210312235219p:plain

①2400万画素の通常撮影の解像度結果

S5の画像の大きさは6000x4000となります。この時の解像度は3923本

f:id:sumizoon:20210312224523p:plain

②2400万画素の通常撮影+「スーパー解像度」適用結果

S5の画像の大きさは12000x8000となります。この時の解像度は4113本

f:id:sumizoon:20210312224626p:plain

きになるのはくさび型が途中からひん曲がっています。

③9600万画素ハイレゾショット

S5のピクセルシフトマルチショットによるハイレゾ撮影の画像の大きさは②と同じ12000x8000となります。測定結果は5530本

f:id:sumizoon:20210312224739p:plain

 

結果

てなわけで上記結果をグラフにすると下記のようになります。こうみると画像のデータ量の割には解像度はそんなに上がっていないと言う事が言えるかと思います。上がっているっちゃ上がっているけど、そんな驚くほど上がっているわけではありません。

f:id:sumizoon:20210312230112p:plain

①を100%にした際の比率を表したものが下記グラフになります。ハイレゾに匹敵するファイルサイズを持っているのでちょっと期待しましたが、そんなに都合よいものは存在しないようです。一方センサーシフトを使ったピクセルシフトマルチショット(ハイレゾ撮影)の解像度の向上は明らかです。これは一次元計測なので約2倍の解像度を持つと言えます。(1.41x1.41=1.98)

f:id:sumizoon:20210312231259p:plain

計測上は解像度が上がったように見えないが

じゃあ、この「スーパー解像度」が全然意味がないかというとそうでもなさそうです。厳密に水平、垂直解像度を計測してしまうと解像度はほとんど向上していないのですが、下記の中央部の切り出しの画像を見た印象は如何でしょうか?

f:id:sumizoon:20210312231805j:plain

①2400万画素の通常撮影(中央部切り出し)

f:id:sumizoon:20210312231814j:plain

②2400万画素の通常撮影+「スーパー解像度」適用(中央部切り出し)

 

f:id:sumizoon:20210312231825j:plain

③9600万画素ハイレゾショット(中央部切り出し)

 おそらく多くの方は③≧②≫①の印象を受けるかと思います。一方で、計測上は③≫②>①だったのですが、計測と人間の目による画像印象は結構異なります。
「スーパー解像度」の処理は、数値上の解像度計測上はほとんど向上しないものの、人間の目の感覚上で「解像感」が上がったような処理を行うものが「スーパー解像度」であるのかなと思います。(あとはくさび型との相性が悪い、あるいはこの手のパターンの深層学習があまりされていないという可能性もあるかと)

 ②の画像はコンピュータが作り出した画像ではあるのですが、計測するコンピュータまでは誤魔化しきれなかったといった所でしょうか。

 Adobeが実際にどのような画処理をしているのか、私は専門家ではないので全然分かりませんし、説明を聞いてもおそらくちんぷんかんぷんだと思いますが、人間の感覚に合わせて「自然に解像感が上がったような画像処理」を機械学習を使ってうまく行っているものが「スーパー解像度」なのだと想像します。

少なくとも、解像度が上がったか?というと疑問符は残りますが、確実に「人間の感覚的な解像感」は上がると言えると思います。

 細かい所をみるとくさびが折れ曲がっていたりという状態に見えるので、突っ込みどころは結構ありますが、それでも効果は高いと思います。そもそもピクセルシフトだと複数回露光が必要で、動体撮影には向きませんが、「スーパー解像度」なら動体だろうがお構いなしに処理ができるのも利点かと思います。

それとわかっちゃいると思いますが、これを使って生物学の顕微鏡写真の計測とかには使っちゃダメですよ。データの一部は明らかに作り出されているものなので捏造論文とかになっちゃうのでご注意を。

 

てなわけで軽い実験でした。ではまた。

 

 

筆者:SUMIZOON

Facebookグループ一眼動画部主宰 お陰様でメンバー3000人到達間近

Youtubeチャンネル STUDIO SUMIZOON の人

 

 

f:id:sumizoon:20200713234902p:plain