Apple、MLXとRDMAでMac間の大規模推論を実証
AppleはMLXを使い、複数のMac Studioで大規模モデルを分散実行する方法を公開しました。4台のM5 Ultraで、Muse Spark Openを毎秒36トークン超で生成した条件を示しています。
公式発表を読むAppleはMLXを使い、複数のMac Studioで大規模モデルを分散実行する方法を公開しました。4台のM5 Ultraで、Muse Spark Openを毎秒36トークン超で生成した条件を示しています。
公式発表を読む