■１７３０億トークン以上の学習を実施
東京エレクトロン デバイス（ＴＥＤ）＜２７６０＞（東証プライム）は１０月２４日、Ｃｅｒｅｂｒａｓ Ｓｙｓｔｅｍｓと共同で、日本語対応の大規模言語モデル「Ｌｌａｍａ３－ｔｅｄｌｌｍ－８Ｂ－ｖ１」を開発したと発表。このモデルは、Ｍｅｔａ－Ｌｌａｍａ－３－８Ｂを基盤とし、一般的な日本語コーパスと企業の内部データを利用して、１７３０億トークンのデータセットを用いた事前学習を行った。この結果、英語能力を有する基盤モデルに日本語能力を追加し、さらに企業特有のデータを反映させることに成功した。
従来の大規模言語モデル（ＬＬＭ）は主に英語のデータに基づいており、日本国内企業の文化やニーズに応じたモデルを提供するためには、特有の日本語データの追加学習が不可欠であった。ＴＥＤは、自社の豊富なデータを効果的に活用することを目指し、Ｃｅｒｅｂｒａｓ ＣＳ－３を使用して日本語対応のＬＬＭを開発した。この取り組みにより、企業が独自のデータを学習したＬＬＭを迅速かつ確実に構築できる環境が整備される。
今回の開発においては、学習時間の短縮と精度向上が実現された。Ｃｅｒｅｂｒａｓ ＣＳ－３を活用したことで、基盤モデルの言語能力を維持しつつ日本語精度が向上し、業界特有のデータを取り込むことで実践的な文書生成が可能となった。さらに、アダプターチューニングや強化学習を用いて独自ＬＬＭのユースケース構築を進める予定であり、これにより企業の生成ＡＩ活用の幅が広がることが期待される。（情報提供：日本インタビュ新聞社・株式投資情報編集部）
関連記事
ピックアップ記事
-
2024/10/15
ｉｓｐａｃｅ、月面探査で韓国企業ＵＥＬと連携へ、将来の月面探査ミッション実現に向け■シスルナ経済圏構築に向け、グローバルなパートナーシップを強化 ｉｓｐａｃｅ（アイスペース）＜９… -
2024/10/14
再試合もあるが勝負はその日に決着するのが基本＝犬丸正寛の相場格言【先人の教えを格言で解説！】 （犬丸正寛＝株式評論家・平成２８年：２０１６年）没・享年７２歳。生前に… -
2024/10/8
【２０２４年９月倒産集計】中小企業を中心に倒産拡大、粉飾倒産も急増■物価高・人手不足が直撃、倒産件数２９カ月連続で増加 帝国データバンクの調査によると、倒産件数が…
