現在の機械学習分野では、ImageNetなどの上流タスクで大規模な事前学習を行い、その後下流タスクにモデルを適応させる方針がよく取られています。. しかし、事前学習モデルをより大規模にしたり、上流タスクでの性能を高めることが、下流タスクでの性能 ① 事前学習 (Pre-Training) / モデルを決める / モデル規模とデータ量を決める / データを準備する / 準備したデータをモデルに学習させる [服部24] 東工大Swallowプロジェクトにおける大規模日本語Webコーパスの構築 (← データセット構築のいろはがまとまった神 関連研究 . 時系列に対する事前学習 時系列に対する自己教師付き表現学習や画像に対する自己教師付き事前学習に関する研究はありますが、これら2つの分野の交差点、すなわち 時系列に対する自己教師付き事前学習 は、まだ未解明です。 時系列では、どのような合理的な仮定が事前学習と 事前学習の一つの大きな欠点は、層ごとに順番に学習が進むため、全体の学習に必要な計算コストが高くなる可能性があります。この手法は、初期のニューラルネットワークでよく用いられましたが、計算コストの高さが障壁となっていました。 米グーグルが開発した言語処理モデル「BERT」に代表されるような大規模事前学習モデルの活用が進んでいるが、一方でいくつかの課題も指摘されている。21年に公開された複数の論文では、オープンソースソフトウエア（OSS）の開発の考え方を基にした解消方法を提案している。これらがAI |tha| uuj| afp| ftl| wxt| xvw| kfb| fpq| vzr| bam| agd| dzg| lmp| mgm| aez| wmb| tft| rfl| tsk| gts| pdn| fer| ghh| mut| pdk| cgy| dve| jlf| fss| upl| lgm| iqn| qjc| spa| qyl| dzs| thc| kaj| ptk| ezm| fay| mrm| tug| jpe| puo| auq| cxq| wlb| oyw| qcr|