生成AIの高速推論を実現するGroqがDefinitive Intelligence社を買収してクラウドベースのサービスを開始

2024年3月2日、AI推論チップを手がけるスタートアップGroqは、Definitive Intelligence社を買収しクラウドベースのサービス「GroqCloud」を開始したことを発表した。

GroqはGoogleのTPUの開発者が立ち上げたスタートアップとして有名。同社の提供する「LPU」と呼ぶ独自の推論アクセラレータを用いた「Groq Systems」は、LLMやその他生成AIアプリケーションをGPUよりも10倍高速に処理できるとされている。それは外部のDRAMにアクセスしない独自のアーキテクチャ（オンチップSRAMを利用）によるものだが、コスト面で優位かどうかは定かではない。（Groqはエネルギー効率では優位としている）

今回Groqは生成AI技術をベースとしたサービス会社「Definitive Intelligence」を買収し、「GroqCloud」と呼ぶ新たな事業部門を設立。クラウドベースで「LPU」にアクセスできるサービスを開始した。

Groqによると「GroqCloud」を利用することでユーザー企業はセルフサービスで驚異的な速度の新しい生成 AI アプリケーションを展開できるようになるとのこと。同サービスは2月19日にソフトローンチして以来、すでに数千人の開発者が利用し始めているという。

なお推論アクセラレータ「LPU」を搭載した「Groq Systems」はハードウェアとして個別販売も行われている。

※Groq

※Definitive Intelligence