Flex Logixがエッジ推論向けのコプロセッサ「InferX X1」を発表、既存の同分野製品の10倍以上の性能
2019年4月10日、SoC組み込み型のFPGAコアを手掛けるFlex Logix Technologiesは、新製品となるエッジ推論向けのコプロセッサ「InferX X1」を発表した。
発表によると新製品「InferX X1」は、同社の組み込みFPGAで利用している特許取得済みのインターコネクト技術と、同社の推論向け組み込みFPGA「nnMAX」を組み合わせて実現したソリューションで、単一のDRAMでエッジの推論アプリケーションを高スループットかつ低電力で実行することが可能。Flex Logixはそのパフォーマンスを市販されているエッジ推論向けICの10倍以上と謳う。※「nnMAX」は1024個のMACとSRAMを搭載する組み込みFPGA IP
Flex Logixによると「InferX X1」は、エッジで扱われる小さなデータの処理に特に力を発揮し、小さいバッチサイズではデータセンターの推論ボード並のパフォーマンスを実現。1画像あたり何千億もの操作が必要な大規模推論モデルに最適化されており、例えばリアルタイム・オブジェクト認識「YOLOv3」の場合、2メガピクセルの画像を12.7フレーム/秒で処理できるという(DRAM1個)。
「InferX X1」は、エッジデバイス用チップとしてPCIeインタフェースのカードで提供される予定。チップ内部のアーキテクチャーはユーザーからは見えず、 Tensorflow Lite, ONNXモデルをサポートする専用コンパイラ「nnMAX Compiler」を使用してプログラムする。データ型はint8, int16, bfloat16をサポートし、それらを各レイヤで混在可能。一般的な畳み込み演算をint8モードに変換しスループットを倍以上に引き上げる「Winograd transformation」もサポートする。
Flex Logixは組み込みFPGAの分野で実績を伸ばしており、同社のIPを採用した顧客としては、MorningCore / Datang Telecom、DARPA、Boeing、Harvard、Sandia、SiFiveなどの名が挙げられている。
※Flex Logix Technologies