こんにちは、さくらインターネットの大喜多です。 2018年7月29日(日)に、産業技術大学院大学にて「July Tech Festa 2018」(JTF)が開催されました。本記事ではその様子をレポートいたします。 Preferred Networksの機械学習クラスタを支える技術 Preferred Networksで機械学習クラスターの開発・運用と、Chainerのクラウド環境でのユーザビリティ強化に携わっている大村伸吾さん。 Preferred Networksでは機械学習クラスターを自社で保有しているそうですが、自社保有にこだわる理由として「計算力が自社の競争力の源泉となる」ことや、「多くの研究者が実験をおこなうなかで、日常的に大規模な計算を回せるようにしたい」ことや、「分散学習をおこなうときは、すべての重みを平均化して次のステージにいく処理をおこなうが、膨大なネットワークトラフィックが発生するため、InfiniBandなどの高速インターコネクトを利用している」ことなど、複数の「保有することで得られるメリット」を挙げておられました。 Preferred NetworksにはソフトウェアエンジニアなどのいわゆるIT系のエンジニアのほか、ロボット等ハードウェアの研究者や物理学・医学の研究者など、さまざまなバックグラウンドをもったメンバーが集まっているとのことで、非IT系の研究者にとってはDockerやKubernetesというのは関心事ではなく、自分たちのおこないたい計算がおこなえる環境があることが重要で、そのためにリテラシーレベルにあわせてクラスターの操作方法を分けるなどして対応されているのだとか。また、クラスターには<
↧