タグ: 分散学習

Google DeepMindがDecoupled DiLoCo発表！通信量99%削減で世界中の計算資源を統合

Google DeepMindが発表した「Decoupled DiLoCo」は、通信帯域を劇的に削減し、遠隔地のデータセンター間での大規模言語モデル学習を可能にする画期的な技術です。