はじめに
フルサイズの積層型CMOSイメージセンサーが登場したのは、SONY α9が初めてだったと思います。今ではα9以外にもニコンZ9やSONY α1の多画素高速読み出しタイプや、SONY α9IIIのグローバルシャッターなど、積層型CMOSイメージセンサーを搭載したカメラが複数発売されています。
今回は、以前からリクエストが多かった現状採用されているラージフォーマットでの3種類の積層型CMOSイメージセンサー方式について、一般的なWEB情報や文献をベースにした知識内で書いてみたいと思います。
部分積層型CMOSイメージセンサー搭載 ニコンZ6III
- はじめに
- よくある勘違い
- 通常の非積層型CMOSイメージセンサー
- メモリ内蔵積層型CMOSイメージセンサー
- メモリ非搭載積層型CMOSイメージセンサー
- 部分積層型CMOSイメージセンサー
- 積層グローバルシャッターCMOSイメージセンサー
- まとめ
よくある勘違い
ネット上での積層型イメージセンサーの勘違いとして、「動画でも圧倒的な読み出し速度」が得られるという勘違いも未だ多く見られる様に思います。
例えば、Z9が発表になった時に、先行使用していたインフルエンサーの何人かがTwitter上で「動画でも圧倒的なローリングシャッター速度を実現している！！」と仰っていた事があります（今では消されていると思います）。
また、「積層型イメージセンサーは動画のための技術だ！」という発言であったり「積層型イメージセンサーは画質が悪い」という書き込みも○格.com/○ジカメInfoのようなサイトでもよく目にします。それらは完全に的外れなものから、ネット上の話を鵜呑みにした書き込み、あるいはそこそこ合っているが根拠が不明なものまで実に様々です。もちろん正しい書き込みもあると思います。
前述のように今回はフルサイズセンサーに採用されている3つの方式をメーカーの説明ページから得られる情報をベースに私の推測を交えてなるべくわかりやすい解説を行いたいと思います。
なお、こう言っちゃなんですが。。。上記で偉そうな事を書いておいて、私自身も正しいことを書いているとは限りません。ただ、根拠はなるべく書いておきますので深掘りしたい方はご自身で判断されるか、さらにネット上の情報を漁ってみてください。
通常の非積層型CMOSイメージセンサー
まずは通常の積層型では無いCMOSイメージセンサーについてのおさらいです。
CMOSイメージセンサーは基本的にはライン毎にスキャン（下図では低速SCANと記載）を行い、そのライン毎の画素データ（アナログ値）を列A/Dコンバーター(Col. A/D Conveterと記載)でデジタル値に変換し、シリアルI/F（Serial I/Fと記載）を通じて画処理エンジンにデータを転送します。なお、この方法ですと列A/Dコンバーターやシリアルインターフェースが読み出し速度のボトルネックとなる要因かと思います。（お互いの限界速度が一致する設計がベストなんでしょうけど）
つまりこの場合、画素からI/Fまでは一つの水の流れのようなものなので、列A/Dコンバーターだけ速くてもだめ、シリアルインターフェースだけ速くてもだめ。幕速（ローリングシャッター速度）を上げるなら両方を速く動作させることが必要です。
この方式はある程度は列A/DコンバーターとシリアルI/Fの高速化で幕速の高速化が可能ですので必ずしもこの方式が時代遅れというわけではないという認識です。SONY α7SIIIやLUMIX GH7などは非積層なはずですが、かなりの高速性を実現しています。前者は画素数が少なく、後者は光学サイズが（フルサイズに比べ）小さいことによる速度メリットがあるからという認識です。
メモリ内蔵積層型CMOSイメージセンサー
さてSONYのα9で初めてフルサイズに搭載されたメモリ内蔵積層型CMOSイメージセンサーについて書きます。この方式はほぼスチル動作のために生まれた技術だと私は考えています。
スチル撮影動作
例えばニコンZ8/Z9では幕速が1/250以上とメカシャッター顔負けのスキャン速度を実現していますがその大前提として1/250で全画素データをスキャンし切る列A/Dコンバーターが必要となります。（画素側の読み出しを高速に行うのはいわばバケツリレーのようなものですのでそれに応じてデジタル値の変換も高速に行う必要があります。）
ですが、この方式の最大の特徴は、その後段のメモリ（フレームバッファ）にあります。ここはいわばバケツリレーを行った後の「プール」です。プールには幕速1/250の速度で水がいっぱいになるとイメージしたら良いと思います。
ですが、その水を吐き出すの（I/F出力）は低速で行います。その水を吐き出し終わるまでは画素のスキャンは停止する（もしくはデータの少ない間引き読み出しはしているかも）カラクリです。
この方式では1/250秒という短時間で全画素一枚分のデータを読み出せますが、秒間250コマで撮れるわけではないのはそれが理由です。（少なくとも今のZ8/Z9/α1はメモリの読み出しやI/F出力速度にそれを行うほどのバス幅は備わっていないはずです）
前述のように列A/Dコンバーターの処理とメモリの転送はかなりの高速性を求められることになりますが、その動作はかなりの間欠動作ということになります。そのかわり連写時は常にメモリとI/Fはフル稼働することになります。
（幕速とI/F速度差を解消するための機構がフレームメモリである。とでも表現した方がわかりやすいかもしれません）
動画撮影動作
スチルの場合は比較的狭いバス幅でも高速スキャンを行えるキーデバイスはメモリ（フレームバッファ）であることはご理解いただけたかと思います。これを使えば幕速は速いものの、インターフェースの速度までは超高速である必要がないので（コストは別として）理にかなっている方式だと言えます。
一方動画の話ですが・・・
動画の場合も「スチルと同じ動作をすればいいじゃん」という気がします。超高速でA/D変換をしてフレームバッファに溜め込んで60p相当で読んでしまえば
1/60（16.6msec）の間の1/250(4msec)だけA/D変換をして後の12.6msecはA/D変換を休ませる。とすればデータの流れは淀みなく流れ続けそうです。そしてアスペクト比を考えるとローリング速度はスチルを超えることになります。
が、実際にはそうなっていません。
以下はZ8のスチルの場合のローリング速度と動作撮影時のローリング速度の比較をしたものですが、その差はアスペクト比の違いを考慮しても4倍程度遅いことがわかります。（測定機材提供：たかTube氏）
このことから導き出される答えは、動画撮影時には前述のメモリ（フレームバッファ）を（一切、もしくはほぼ）使わずに読み出しているという事です。
Z8/Z9には8256x4644x12bitを14.5msecで読み出すI/F能力があります。（14bitの可能性もあるけど一旦12bitと仮定します）
8256x4644x12bitx(1/14.5ms)=31.7Gbps
あたりがI/Fの上限だと推測されます。
原理的にはローリング速度を速められるのに、せっかくのメモリを使っていない（だろう）理由は色々考えられます。すぐ思いつくものとしては発熱と消費電力を避けるためでしょう。全画素読みの撮影時間が（スチルに比べて）長い動画撮影ではメモリをフル稼働して読み出す方式だと、あっ言う間に発熱で熱停止状態になるのではないかと思います。
つまり実際の動画撮影の場合は下図の様なデータの流れになっているという理解です。（メモリはスリープさせていると推測）
この場合フレームバッファはないので読み出しはI/Fに律速されているはずです。それが幕速14.5msecとなって見えている。そのように推測しています。
なお、動画とスチルで幕速が大きく異なる仕様はZ8/Z9に限らずα9/α9II/α1でも同様です。
なので、メモリ積層しているので動画でもローリング速度が速い！」という解説を見たらそれは間違った事を伝えている記事となります。「積層だから高速な列A/D変換が可能になっているものの、メモリ（フレームバッファ）は使ってないのでスチルほどではないがローリング速度は結構速い」が私の思う正解表現。
いかん。。こういうこと書くとメンドーな人と思われそうだ。。。
ついでに以前撮影最多Nikon Z8の作例を貼っておきます。スチルほどではないけど幕速は十分速い作例ですw
メモリ非搭載積層型CMOSイメージセンサー
EOS R1/R5MarkIIがこれに該当すると推測しています。というのもEOS R1/R5MarkIIにはフレームバッファが搭載されているという記載を私は見たことが無いからです。（もし間違っていたら指摘してください）
ここからはEOS R1/R5MarkIIがフレームバッファが搭載されていないという仮定のもと記載したいと思いますのでご了承ください。基本的には一世代古いEOS R3もこれに該当すると考えています。
EOS R 5MarkII HPより引用
EOS R5 Mark II：レンズ交換式カメラ・レンズ｜個人｜キヤノン
EOS R1を例に取ると、6000x4000x14bitのデータを最低でも1/320の幕速で読み出しを行うことが可能なはずです。これをピーク時のI/Fからの読み出しデータ量に当てはめてみますと
6000x4000x14x320=107Gbps
となります。つまり瞬間的にはEOR R1のI/Fは100Gbpsというとんでもないデータ転送を実現しているといえます。なお、EOS R5MarkIIの場合は
8192x4000x14x160=100Gbps
となり概ね同じ数値が導き出せます。
EOS R 5MarkII HPより引用
https://personal.canon.jp/product/camera/eos/r5mk2/feature/highquality
EOSのHPを見ると、Accelerated Captureというエンジンを搭載したとありますが、これは他のイメージセンサーでは実現できていない膨大なデータレート(ピーク時100Gbpsオーバー)を処理するための新たな処理回路と理解しています。
先の「メモリ内蔵積層型CMOSイメージセンサー」ではそもそもコレ（高速なI/F）が実現できないので「メモリに一回データを蓄えて比較的ゆっくり読み出す事で幕速の速さとI/Fの遅さのミスマッチを緩衝する」と説明しましたが、EOS R1/R5MarkIIではそういったギミックを使わずに「直球勝負」をしているのでは無いかと思われます。
では画素に積層した画処理型のチップは何をしているかというと、単純に
・A/Dの並列度を上げる
・高速なI/Fを実現する
ということに注力したチップであると想像できます。そもそもDual Pixel タイプのセンサーは非Dual Pixelセンサーに比べて画素数が倍に見えてしまうので読み出し速度向上に関してはかなり不利な側面があります。同時にA/D変換するための列A/Dコンバータを増やして読み出し速度を上げていると考えられます。
もしこの構造が正しいとすると動画もスチルも幕速が変わらないのでは無いかと思うのです。ただし、その場合はI/Fはかなりの間欠動作をすることになるので少し勿体無いといえますが、裏を返すとセンサー自身は6K320fps@EOS R1で読み出す実力がある。と言えますし、また、スチル撮影も本来は秒間320コマの読み出しができるはずです。
でも、現実はそうなっていない理由は
・センサーに接続されたエンジン側(ISP)の処理限界
・そんな動作をさせれば発熱（センサー/ISP）がヤバい
の２つが主だと思います。（他にもいっぱいありそうだけど）
この件、あくまで推測ですし、これら推測が正しいのかは後日検証できればと考えています。
部分積層型CMOSイメージセンサー
さてお次はZ6IIIにフルサイズとして世界初で搭載された部分積層型CMOSイメージセンサーに関してです。
実はこの方式はおそらく列A/Dコンバータは積層されていると思うのですが、それ以外がどこに載っているのかが私も整理できていません。
一つ言えることは幕速とI/F速度差をギアチェンジするためのフレームメモリは載っていないという点です。一旦積層部にI/Fが載っている仮定の絵を書くと下記のような感じです。メモリ内蔵タイプのように動画とスチルで駆動方法全く違うということはないでしょう。
この場合I/FとA/Dコンバータの速度が一致していれば一番無駄のない設計と言えますが、実際に何が速度を律速しているのか、今現在の速度が上限いっぱいいっぱいなのか否かは正直わかりません。（実はこのセンサー自身に余力がまだまだたっぷりある可能性も否定はできないのです）
この方式の一番のメリットは各所で書かれている通り、コストだと思います。そこそこの読み出し速度を実現しながらも（フル積層に比べて）安いコストで実現できると言うところが利点なのだという理解です。
また、このセンサーを「動画特化型」と認識している方が多数おられるという認識です。確かに動画撮影時に1/100secを超えるローリング速度を実現しているためそう思われがちだと思います。
ここで少し冷静になってZ6IIIのスチル撮影と動画の電子シャッター撮影の場合の速度比較をしてみます。スチルは以前このブログやPRONEWSでも寄稿した通り14.5msecです。動画の場合はそれよりも1.5倍ほど速い9.5msecとなります。この差はアスペクト比だけから来ているものではないはずです。
仮にスチル3:2画角14.5msecが16:9画角となった場合の速度を見積ると12.2msecになります。つまり動画撮影の場合は「スチルとは違う読み出しをして速度向上をしている」と推測できます。
その有力なものがビット精度です。おそらくスチル撮影は14bit精度の読み出しを行なっているのですが、動画の場合は12bitの読み出しなのだと推測しています。
そう考えると動画モードと同じ速度でスチル読み出しを行なった場合は11.3msec(1/89sec)での読み出しが可能で今の14.5msecとは異なる読み出し速度を実現できることになります。ひょっとしたら将来的にはこのモードやあるいはこれを超える幕速のモードが実装されるかもしれませんが、「Z6IIIのスチルの電子シャッターモードは動画撮影モードと異なる、より高画質なモードで駆動されている」と言うのは間違いなさそうです。
あと、宣伝的になりますが、先日公開したZ6IIIの作例貼っておきます。
なお、このセンサー方式は将来的には一番将来性があるのでは？と個人的感じています。その理由はまた機会があれば話をしたいと思います。
ダイナミックレンジが狭い？狭くない？という話に関して
尚、この方式を採用しているZ6IIIのダイナミックレンジが狭いのでは？という話が一部で話題になっていますが、このセンサーの構造自体がレンジを狭めたというのは時期尚早の考えかと思います。この構造そのものがダイナミックレンジに直接影響しているとは思えないのです。レンジが狭い（と海外サイトで評価されている）のは、読み出し速度を限界まで速くしたためかもしれませんし、電源のノイズの回り込みなどが影響しているかもしれませんし、測定方法による影響かもしれません。それは現時点ではっきり言及することはできません。（ちなみに発売後の世間の評価を見ていると、発売前に一部メディアで取り上げられていたダイナミックレンジの狭さというのは杞憂に終わった様です。）
ニコンHPより
https://www.nikon-image.com/products/mirrorless/lineup/z6_3/features01.html
ちなみに、積層にしたことによる「熱ノイズ」を気にされる方もおられるかもしれませんが、そもそもNikonのサイトの上記写真を見る限り積層した回路の熱が画素側に与える影響があるとは思えにくいのです。あるとすると、画素の特性ではなく高速化によってA/Dそのものの熱でAD変換の特性を悪化させる可能性ですが、スチル撮影の場合はそこまで熱が上がりきるほど常時A/Dは動かないでしょうからその可能性もあまりないのではないかと推測します。
なお、話題から少しそれますが「ダイナミックレンジとノイズは別！」と言っている方も大勢いますが、ダイナミックレンジはノイズと密接な関係があります。具体的にはS/Nの信号とノイズが等しくなるレベル（信号が信号として取り出せる露出）からハイライトが飽和するまでのSTOP数をダイナミックレンジと定義しますので、ダークのノイズが少なければ少ないほどダイナミックレンジは広いのです。
今回のダイナミックレンジが狭いというとあるメディアの発言は、このダーク付近の信号ノイズ比が今までの機種よりも1段近く悪いという測定結果に起因しているという理解です。ちなみにハイライトクリップのポイントは私の測定した限り、従来のZシリーズと同じはずです。だから飛びが早いということはありません。
いずれにせよダイナミックレンジが狭いというのが真だったとしても、「ダークの特性を凄く気にする人」以外は影響は少ないと言えます。
ここら辺の詳細は発売後にきちんと定量的に検証する人が出てくるでしょうから、気になる人はそれらをチェックすると良いでしょう。
裏面照射型なの表面照射型なのか？
Z6IIIの部分積層型CMOSイメージセンサーですが、少なくとも先の画像を見る限りセンサーの表面（撮像面側）にチップが積層されています。
裏面照射側は撮像面の裏側に配線層があり、回路チップはその配線にボンディングを介して積層するという認識です。今回のZ6IIIはどうみても回路チップは撮像面の表面側も積層されているため、配線は撮像面の表面側にないと積層が不可能だと思います。（Siに穴を開ける様なTSV技術を使えばできなくはないけど、狭いピッチで接続するのが困難なTSV技術をこのチップの回路のローカルな接続には使っていないのでは？と推測）
つまりこれらの事から、Z6IIIは裏面照射型のセンサーではなく、表面照射型のセンサーの可能性が高いのではないかと思うのです。（実際にZ6IIIのWEBページには裏面という文字は一切無いという認識です。）
なお、代表的な表面照射型、裏面照射型、裏面照射積層型の構造は下記です。
Z6IIIの場合はチップを表面に積層しているので配線が表面側にある表面照射型の方が多分都合がいいという前提で書いた構造図（推測）が下記。
ただ、色々私の中で腑に落ちていない部分もあるので、この構造が正しいのか否かはわかりません。もっとびっくりする構造で、ワンチャン下記の様な構造の可能性はあるかもしれんけど、Siに細かい穴を開ける必要があるこの構造は無理があるかな。。
なお、24MPクラスの場合、表面照射でも裏面照射でもテレ線性を含め画質の大きな違いは無いという認識を私はしています。上図ではテレセン性に差があるような表記にしていますが、今時の表面照射は光をうまく取り込む構造になっているはずでその差に大きな違いは無いはずです。
また、ベースのノイズは表面照射が裏面照射よりも良いという話も聞きますが、実際のところユーザーが感じるほど表面と裏面の差はない様に思います。
繰り返しになりますがモバイルなどの画素ピッチが極端に狭いセンサーでは裏面と表面では差は出るでしょうけど、画素ピッチが大きなセンサーの場合は表面照射でも何ら問題ないと考えています。そもそもα7SIIIとかの大ピッチセンサでも裏面を謳っていますが実際そのメリットはほとんどないはずですし、CANON EOSも積層じゃなければ基本的には表面照射型です。
部分積層が表面照射なのか裏面照射なのかの真相は今の所分かりませんが、技術的な興味がある人は置いておいて、一般のユーザーがいちいち気にするほど画質には違いは無いはずです。
レビュー記事
すでにご覧になった方も多いかもしれませんが、Z6IIIはPRONEWSと当サイトでレビュー記事を書いております。併せてご覧いただければ幸いです。
積層グローバルシャッターCMOSイメージセンサー
さて最後のα9IIIに搭載されている積層グローバルシャッターCMOSイメージセンサーに関してです。当然ながら、これは世界初の技術として世界をざわつかせました。これに関しては過去にPRONEWSさんで解説・レビュー記事を寄稿したので併せてご覧ください。
この方式の回路レベルがどうなっているのかまでは判断がつきませんが、複数の文献とサイトを参考にする限り画素と同じ数だけの容量を配置し、一斉にその容量（アナログメモリと表現することもある）に画素に溜まった電荷、もしくは電荷から得られた電圧を容量に移動させる方法によってグローバルシャッターを実現しているはずです。
そのあとは通常のイメージセンサーと同じようにローリングシャッターと同じ原理で読み出すので、読み出しは正確には完全に同時ではありません。同時なのは画素側の露光開始（画素の電荷リセット）と露光終了（容量への転送）時刻ということになります。
実際にその容量が画素側に配置されているのか、画処理チップ側にあるのかはわかりませんが以下のHPの画像を見る限りは容量は別チップ側に配置されているものと思われます。
https://www.sony.jp/ichigan/products/ILCE-9M3/feature_1.html
この方式は少なくとも今現在は最低感度が高くなるという課題を抱えているので、完全にローリングシャッター機に比べると、画質は少し落ちるという認識が世間ではされているようです。ただ、私が使った限りはダイナミックレンジもノイズ感もそんなに悪くなさそうな印象でした。少なくともISO6400は使い物になるという印象。試用期間が短かったのであんまり解析できてないんで、実は色々課題はあるのかもしれませんが、そんなに悪い噂も聞かないです。ただ、お値段は高いよねぇ。。。。
まとめ
この数年フルサイズのセンサーにおいても積層化が進んでいるのは確かですがそれはまだほんの一部であって本流は通常の単層センサーが圧倒的です。特にフルサイズのフル積層センサーは最低50万円するので高速電子シャッターのためならコストを払っても構わないという層には説得力がありますが、ライトな層にはなかなか訴求は難しいと思います。とはいえZ6IIIのような単層とフル積層の間の技術が出てきたことによりメモリを使わずにある程度スチルの幕速を限界まで上げるアプローチはスチルカメラの今後の本流となる可能性もあるやも。。と思ったりします。
そしてそれは動画撮影にも活かせるわけで、メモリを使うタイプとは違って動画の恩恵を受けられる可能性もあるなと。
一方で、ローリング速度は遅いながらも単層でメカシャッターを使用しないタイプのカメラSIGMA fp / LUMIX S9も使用用途によっては全く問題なく使えるケースもありますので実にカメラは多様化してきたと感じます。
各種特徴を知ってカメラを選ぶのもまた楽しいものです。ぜひご自身でもあれこれ調べならがカメラ選びを楽しんでいただければと思います。
この記事、かなり走り書きしてるのでまた落ち着いてメンテするかもしれません。おかしいこと書いていることに気づいたら直します。ではでは。
筆者:SUMIZOON
Facebookグループ一眼動画部主宰
Youtubeチャンネル STUDIO SUMIZOON の人
