ダミアン・ボグノビッチ、ニューラルマジック：CPUでのディープラーニング革命化について

著者について
Ryan Daws |
2023年7月24日

カテゴリー:
人工知能,
深層学習と強化学習,
開発,

Ryanは、最新のテクノロジーを取り上げ、業界のリーディングフィギュアとのインタビューを行う10年以上の経験を持つTechForge Mediaのシニアエディターです。彼はよくテックカンファレンスで、片手には濃いコーヒー、もう一方の手にはラップトップを持って目撃されます。もしもそれがギークなものなら、彼はおそらくそれに興味を持っています。彼のTwitter（@Gadget_Ry）やMastodon（@gadgetry@techhub.social）で彼に会えます。

AI Newsは、Neural Magicの機械学習エンジニアであるDamian Bogunowiczと話し、同社の革新的なディープラーニングモデルの最適化とCPU上での推論について明らかにしました。
ディープラーニングモデルの開発と展開における主な課題の1つは、そのサイズと計算要件です。しかし、Neural Magicは、複合スパースという概念を通じてこの問題に果敢に取り組んでいます。

複合スパースは、非構造化プルーニング、量子化、蒸留などの技術を組み合わせて、ニューラルネットワークのサイズを大幅に削減しながら精度を維持するものです。
「私たちは、CPUアーキテクチャを活用してスパースモデルを高速化するための独自のスパース感知ランタイムを開発しました。このアプローチは、効率的なディープラーニングにはGPUが必要という考えに挑戦しています」とBogunowiczは説明しています。
Bogunowiczは、彼らのアプローチの利点を強調し、よりコンパクトなモデルはより速い展開を実現し、汎用のCPUベースのマシンで実行できると述べました。専用のハードウェアに頼らずに指定されたネットワークを効率的に最適化して実行できる能力は、機械学習の実践者にとって画期的なものであり、GPUの使用に関連する制約とコストを克服することができます。
スパースニューラルネットワークが企業に適しているかどうか尋ねられた際、Bogunowiczは、ほとんどの企業がスパースモデルの利用で利益を得ることができると説明しました。
精度に影響を与えることなくパラメータの最大90％を削除することで、企業はより効率的な展開を実現することができます。自動運転や自律飛行機などの非常に重要な領域では、最大の精度と最小のスパース性が必要とされるかもしれませんが、スパースモデルの利点は、ほとんどの企業にとって制約を上回ります。
今後について、Bogunowiczは大規模な言語モデル（LLM）とその応用についての興奮を表明しました。
「私は特に大規模な言語モデルLLMの未来に興奮しています。マーク・ザッカーバーグは、WhatsAppなどのプラットフォームで個人アシスタントやセールスパーソンとして機能するAIエージェントを可能にすることについて話しました」とBogunowiczは述べています。
彼の関心を引いた例の1つは、Khan Academyが使用しているチャットボットです。これは、解決策を直接明かすのではなく、ヒントを提供することで学生が問題を解決するのを案内するAIチューターです。このアプリケーションは、教育部門においてLLMがもたらす価値を示しており、学習プロセスを支援しながら学生が問題解決能力を開発することを可能にしています。
「私たちの研究は、CPU展開のためにLLMを効率的に最適化できることを示しています。SparseGPTに関する研究論文を公開し、モデルの品質を損なうことなく約1000億のパラメータをワンショットプルーニングで削除することを示しています」とBogunowiczは説明しています。
「これは、AI推論の将来にはGPUクラスターの必要性がないかもしれないことを意味します。私たちの目標は、近い将来、オープンソースのLLMをコミュニティに提供し、企業が自社の製品とモデルを制御できるようにすることです。大手テック企業に頼る必要はありません」
Neural Magicの将来について、BogunowiczはAI＆Big Data Expo Europeで発表する2つのエキサイティングな展開を明らかにしました。
まず、彼らはエッジデバイス、具体的にはx86およびARMアーキテクチャでAIモデルを実行するサポートを披露します。これにより、さまざまな産業でのAIアプリケーションの可能性が広がります。
次に、彼らはモデル最適化プラットフォーム「Sparsify」を発表します。これは、ユーザーフレンドリーなWebアプリとシンプルなAPI呼び出しを通じて最新のプルーニング、量子化、蒸留アルゴリズムをシームレスに適用することができます。Sparsifyは、精度を損なうことなく推論を加速し、エレガントで直感的なソリューションを企業に提供することを目指しています。
Neural Magicは、CPUを活用して機械学習インフラを民主化するという取り組みが印象的です。複合スパースへの焦点とエッジコンピューティングにおける今後の進展は、ビジネスと研究者の両方を支援するという彼らの献身を示しています。
AI＆Big Data Expo Europeで発表される展開を熱望しながら、Neural Magicがディープラーニングの分野で重要な影響を与える準備が整っていることは明らかです。
以下はBogunowiczとのフルインタビューです：

（写真：Google DeepMindのUnsplashより）

Neural Magicは、2023年9月26日から27日にアムステルダムで開催される今年のAI＆Big Data Expo Europeの主要スポンサーです。
会場のブース＃178でNeural Magicのブースに立ち寄り、企業がコンピューティング負荷の重いモデルを費用効果の高いスケーラブルな方法で使用できる方法について詳しく学びましょう。