生成AIの高速推論を実現するGroqがDefinitive Intelligence社を買収してクラウドベースのサービスを開始

2024年3月2日、AI推論チップを手がけるスタートアップGroqは、Definitive Intelligence社を買収しクラウドベースのサービス「GroqCloud」を開始したことを発表した。
GroqはGoogleのTPUの開発者が立ち上げたスタートアップとして有名。同社の提供する「LPU」と呼ぶ独自の推論アクセラレータを用いた「Groq Systems」は、LLMやその他生成AIアプリケーションをGPUよりも10倍高速に処理できるとされている。それは外部のDRAMにアクセスしない独自のアーキテクチャ(オンチップSRAMを利用)によるものだが、コスト面で優位かどうかは定かではない。(Groqはエネルギー効率では優位としている)
今回Groqは生成AI技術をベースとしたサービス会社「Definitive Intelligence」を買収し、「GroqCloud」と呼ぶ新たな事業部門を設立。クラウドベースで「LPU」にアクセスできるサービスを開始した。
Groqによると「GroqCloud」を利用することでユーザー企業はセルフサービスで驚異的な速度の新しい生成 AI アプリケーションを展開できるようになるとのこと。同サービスは2月19日にソフトローンチして以来、すでに数千人の開発者が利用し始めているという。
なお推論アクセラレータ「LPU」を搭載した「Groq Systems」はハードウェアとして個別販売も行われている。
Groq

= EDA EXPRESS 菰田 浩 =
(2024.03.06 )