とあるビデオグラファーの備忘録的ブログ

ビデオグラファーsumizoonのブログ 一眼動画に関する機材や撮影方法を中心に情報を発信していきます。

【解説】オーバーサンプリング/ピクセルビニング/ラインスキップなどの読出し方式とその特徴

はじめに

ミラーレスカメラのWEBサイトをみているとオーバーサンプリングやらピクセルビニング(画素加算)やらラインスキップなどの読出し方式の文言を目にしたことがあるかと思います。ですが、これらの文言に関してあまり説明しているページがあまりないので、今回は読み出しの各種方式について書いてみたいと思います。

SONY HPより引用

https://www.sony.jp/ichigan/products/ILCE-7M4/feature_3.html

例によって夜中に寝ぼけながら書いている記事なので変な事を書いていたらご指摘いただければ幸いです。

オーバーサンプリング方式

動作概要

全画素読出し(&リサイジング)、ダウンサンプリングなどと言われる事もありますが、この数年では「オーバーサンプリング方式」と言われる事が多くなったと思います。

この方式は例えば8Kセンサーを8Kセンサーの全画素を読み出し、画像処理エンジン側で4Kに変換するといった処理の事です。センサーの読み出しはあくまで全画素で行うため「全画素読み」と表現される事が多いです。その膨大なデータを後段の画処理エンジン側でディベイヤ(デモザイク)処理を行います。そしてリサイズ(解像度を落とす)&記録コーデックに則った圧縮処理を行うものです。なのでセンサーの素材は非常にリッチなものとなります。

特徴

この方式は、今回紹介する方式の中で画質を担保しながらも記録データが軽くできるユーザーメリットの大きい方式です。そもそも8Kや6Kを必要としないユーザーにとって8K/6Kでの編集を行うのはPCの負荷もかかりますし、場合によってはストレージの圧迫を引き起こします。とは言え、記録画素数は少なくてよいが8Kなり6Kなりの画質メリットを極力得たいという、ある種わがままな要求に応えるのがこの方式です。無論オーバーサンプリングした後にはオーバサンプル前の素の解像感こそ失われますが8K/6K→4Kオーバーサンプリングした映像は4K モニタで見る限り十分すぎるほどの解像感が得られます。

ただし、撮影後のポスト処理で画角を切り出すような処理を行う場合は、後に述べる「ピクセルバイピクセル(クロップ無し)」の方式よりは自由度がありません。

 

余談になりますが、私は以前から綺麗な4K映像を得るためにはLUMIX Sシリーズのような6Kセンサーからのオーバーサンプリングができるカメラが最適解と述べてきました。それは、真の4K映像を得るためには水平画素数が概ね20%以上4Kよりも画素数の多いセンサーを使う必要があるためです。これは現行の単板イメージセンサーのほぼ全てがベイヤ構造であり、1画素では完全なRGB情報を得る事ができないという話に起因しています(フォビオンセンサを除く)。概ね4.8Kほどのセンサであればほぼ完璧に近い4K映像を得る事ができますが、逆に捉えるとSONY α7SIII/FX3は4Kパネルの表示能力の限界を引き出す撮像はできていないと言えます。

カメラの表現力は解像度だけで決まるわけではありませんのでα7SIIIがダメと言ってるわけではありません。逆にα7SIIIは速度とノイズの美味しいところに(控えめな)解像度を設定したとも言えます。

この方式を使ったカメラの例

LUMIX Sシリーズ(24MP機):フルサイズ領域撮影の4K撮影(6K→4Kのオーバーサンプリング)

NIKON Z9/Z8:フルサイズ領域撮影の4K撮影(8K→4Kのオーバーサンプリング)

EOS R5 /R5 MarkII:フルサイズ領域撮影の4K30p撮影

LUMIX Sシリーズでは、たとえばLUMIX S5IIXやS9の4K30p/24pは約6Kからのオーバーサンプリングになります。また、FHD30pもオーバーサンプリング(なはず)です。

NIKON Z9/Z8シリーズの場合は4Kでは24p/30pが8Kオーバーサンプリングで、4K60pの場合はオーバーサンプリングとピクセルビニングが選択できる仕様になっています。

EOS R5 MarkIIの場合は4K Fineがオーバーサンプルにあたります。尚、後述するビニングでも4K30p撮影が可能です。また、SRAW4K60p/SRAW30pなどは8K60p/8K30pからのオーバーサンプリングだと推測されます。

ピクセルバイピクセル(ノンクロップ)

動作概要

ドットバイドットと表現する人もいますが、ベイヤ画素は1ピクセルをドットと表現するのは少し違和感あるのでピクセルバイピクセルの方が正しい表現だと思います。

この方式は現在主に2つの考え方でカメラに実装されています。その一つが画素全領域をそのまま記録するタイプのものです。ノンクロップピクセルバイピクセルとかフルエリアピクセルバイピクセルと表現したらいいのか、どう読んだらいいのか分かりませんが、これは例えば8Kセンサーの出力を8Kのまま記録するものです。読み出し画素数=記録画素数となります。

特徴

多画素情報をそのまま記録するので、ポスト処理でクロップする場合など切り出しを行なっても少々クロップしても十分な解像度を保つ「余裕」があります。

その昔、4K記録という方式が駆け出しの頃は、4Kの高解像度で撮っておけば大きく切り出してもFHD画質が担保できると多くのカメラメーカーはプロモーションしておりましたが、そういった使い方ができるものです。今は「6Kや8Kでとっておけば後処理でクロップしても画質を損ねること無しに4K映像として使える」といったようにプロモーションされている事が多いです。

また、例えばポスト処理でクロップせずに8K映像を4Kに変換した場合は、オーバーサンプリングと同様の効果が得られます。ただしリサイズのアルゴリズムがあるのでソフト上のリサイズの方式によって若干品質が異なるはずです。

この方式を使ったカメラの例

LUMIX S5II/S5IIX/S9:フルサイズ領域撮影の5.9K撮影
LUMIX G9PROII/GH6/GH7:4/3センサー全領域撮影の5.7K撮影
NIKON Z9/Z8:フルサイズ領域撮影の8K撮影(8K N-RAW撮影)

LUMIXピクセルバイピクセルの高解像度記録をいち早く取り入れたメーカーで、S9のようなコンパクト機種でもこの手の撮影方法が搭載されています。

Z9/Z8の売りは8Kという解像度そのものに価値があると捉える方も多いですが、8Kという高解像度を半分まで切り出したとしてもデータの解像度は4Kを保ちます。(4Kの解像度が活かせるのは1.8倍クロップくらいだと思いますが)

ピクセルバイピクセル(クロップ)

ピクセルバイピクセルのもう一つはでクロップ出力する方式。こちらも読み出し画素数=記録画素数となります。例えば下の場合は8Kセンサーを6KのAPS-C画角に切り出してそれを6Kの記録とする例を挙げています。同様に6KセンサーをAPS-C画角に切り出してピクセルバイピクセルの4K記録する場合もこの方式にあたります。

特徴

この方式はどちらかというと、センサーの読み出し限界を突破するために使われているケースが多いです。読み出しを行う行数がたとえばAPS-C切り出しの場合は1.5倍高速にできるので例えばフルエリアの4K60p撮影ができない機種であっても(たとえばAPS-Cに)画角を制限することで4K60p記録を可能にしている機種も多いです。同様にα7SIIIやNIKON Z6IIIでの4K120pが画角が変わるのは読み出し速度を向上させるためにこの方式を使っているからとも言えるでしょう。

この方式を使ったカメラの例

LUMIX S5II/S5IIX/S9:APS-C領域撮影の4K60p撮影時
SONY α7SIII:クロップ4K120p撮影時
NIKON Z6III:APS-C領域撮影の4K120p撮影時

いずれのカメラも4K解像度での最大フレームレートを得るための手法として、この方式が使われていることがお分かりかと思います。場合によっては若干のオーバーサンプリング方式と組み合わされて使われることもあります。
上で挙げた3つのカメラの例では、4K記録なのでポスト処理での切り出し余裕がなくなっているとも言えますので、大きくクロップすれば画質の低下は免れません。

ピクセルビニング

画素混合と呼ばれる事もあります。日本語な表現の方がイメージしやすいと思います。方式的にはアナログで行う方法とデジタルで行う方法の二種類あるという認識ですが、一旦その説明は割愛します。

要はセンサーの読み出し段階において画素数を落として読み出す方式の一つです。例えば下図の場合は、R画素を隣接する2x2を一つの画素として見立てて読み出しを行います。例えばアナログ混合の場合は2行x2列を同時に読み出して処理を行うのでローリング速度を大幅に向上することができます。同様にB画素、G画素も同じ方式で読み出して、画処理エンジン側でディベイヤ(モザイク)処理を行います。

特徴

この方法も基本的には速度を向上させるために使われる方式として捉えていたくのがいいかと思います。ピクセルビニングには多くの方式があり、上図で紹介した2x2以外にも無数の方式があります。とは言え、ややこしいので割愛。

この方式はオーバーサンプリング方式やピクセルバイピクセルに比べ、センサー側で大幅に画素数を落とす処理を行うため解像度が落ちやすい側面を持ちます。またこの方式は仮想的に画素ピッチが広くなるため、モアレの発生要因ともなりますが、受光自体はセンサーの全領域で行っているため極端なS/Nの低下は無いはずです。

この方式を使ったカメラの例

LUMIX S5II/S5IIX/S9:フルサイズ領域撮影のFHD60p撮影
NIKON Z9/Z8:フルサイズ領域撮影の4K120p撮影
EOS R5/R5MarkII:フルサイズ領域撮影の4K60p(H.264/H.265)撮影

この方式もセンサーの読み出しを高速化するための方式として使われる事が多く、例えばLUMIX Sシリーズの場合はフル画角60pを読み出すために使われているものと思われます。また、NIKON Z9/Z8の場合は4K120pの場合は120p撮影を行うためにこの方式が使われているという認識です。

(いずれもメーカーが公式にアナウンスしているものではないので、あくまで推測にはなりますが、原理的には当該方式を使っていると推測するのがリーズナブルです。)

 

ラインスキップ

最後がラインスキップです。これはその名の通り、間引き読み出しというものです。例えば以下は隣接RGBを一塊として読み出し、それ以外の3/4領域は読み出さないというもの。

以下の方式も考えられますが、使われているかどうかは不明。

特徴

これの特徴は、とにかく画質は不要だけど読み出し速度が必要で、エンジン負荷が少ないケースに向く方式です。
「そんなの必要ないじゃん!いらねーよ」

と言われるかもしれませんが、活躍どころはあります。それがミラーレスカメラで言うところのライブビュー表示です。REC待機状態やスチル撮影のモニターモードですね。

この方式を使ったカメラの例

正確にはどのカメラでラインスキップが使われているかを明確に述べることはできませんが、おそらくLUMIXで言うとS5ではREC待機中でこのモードが使われているという認識です。もしかしたら画素混合かもしれないけど。。。

以前やたらS5の待機電力が少なく感じたので「たかTubeさん」に電力を測定してもらった時の動画を紹介します。

www.youtube.com

この手の測定で彼の右に出る人は居ないでしょう😅

まとめ

思えば今から14年も昔(2010年)に発売されたGH2が、なぜ動画画質で絶賛されたかというと、水平約4.9Kの画素数を当時主流であったFHD解像度にピクセルビニングで素晴らしい映像を記録できたことにあるという理解です。
当時流行ったハックといわれる改造ファームの後押しもあり、みるみるうちに一眼動画界隈に浸透していきました。そして当時うん百万するシネマカメラよりも画質がいいとまで言われるようになったと言えます。

今でも十分な画質が得られるGH2のFHD画質①(Hack済み)
(8bitデータをグレーディングしているのでバンディングは凄いけど)


今でも十分な画質が得られるGH2のFHD画質②(Hack済み)
GH2のセンサーはGH5/6/7よりも少し大きくボケが得やすいのも特徴の一つ
後に出たGH5S以降はマルチアスペクトのMFT機は発売されていない

当時は民生4Kカメラは存在しておらず、スチルの記録解像度と動画の記録解像度のギャップが顕著だった時代で、そのギャップを埋める技術がピクセルビニングだったという理解です。

時代は変わり、イメージセンサーの高速化と画処理エンジンの処理能力向上で、全画素読みによるオーバーサンプリングが可能となり、動画解像度はスチルの解像度は同じレベルにまで到達しました。

今では、ピクセルビニングはスチルと動画の記録画素数のギャップを埋めるというより、高速化のための手法として、大きな存在意義を持ちます。

動画は全画素読み出しができるようになり、スチルのクオリティに追いつきましたが、動画の進化はミラーレスカメラの進化のテクノロジードライバとして、また、動画性能はミラーレスカメラの付加価値を生み出すものとして存在しています。

これからのミラーレスカメラのスチル機能としての意味がどうなっていくのか、それは私自身よくわからない状態ですが、少なくともスチルのシャッターレスの時代への進化は動画の進化と同じ方向を向いているので、「スチルの性能のために動画の性能向上不要」とはならないと考えています。

一方で、多くのスチルユーザーは画質向上への期待があると思います。(多少の向上はあるものの)そこがほぼ止まっている現在、スチル画質を大幅に向上させる新たなテクノロジへの期待をせずにはいられないかなとも思います。

最後何を言いたいのかわからなくなったけど

 

自己紹介

筆者:SUMIZOON
Facebookグループ一眼動画部主宰
Youtubeチャンネル STUDIO SUMIZOON の人

2011年よりサラリーマンの傍ら風景、人物、MV、レビュー動画等ジャンルを問わず映像制作を行うビデオグラファー。機材メーカーへの映像提供や映像関係メディアでレビュー執筆等を行う。Youtubeチャンネル「STUDIO SUMIZOON」登録者は1.4万人以上。Facebookグループ「一眼動画部」主宰。「とあるビデオグラファーの備忘録的ブログ」更新中。

 

f:id:sumizoon:20200713234902p:plain