--- title: "「画像識別タスクにおけるパラメータ効率の高いファインチューニング（PEFT）手法の体系的比較と分析」" authors: "竹中陸朗" seo: description: "本研究では、画像識別に用いるニューラルネットのファインチューニング手法を扱う。近年は大規模事前学習モデルの活用が進む一方、全パラメータを更新する手法は計算コストや過学習の課題を抱える。そのため、LoRAやAdaptFormer、FacT-T…" sidebar: hidden: true --- 本研究では、画像識別に用いるニューラルネットのファインチューニング手法を扱う。近年は大規模事前学習モデルの活用が進む一方、全パラメータを更新する手法は計算コストや過学習の課題を抱える。そのため、LoRAやAdaptFormer、FacT-TTなど少数パラメータのみを学習するPEFT手法が注目されている。しかし、事前学習モデルやデータセット特性による有効性の違いは十分に整理されていない。そこで、ViTとDINOv2という2つのモデルを対象に、VTAB-1kで体系的比較を行った。さらにFacT-TTの拡張手法も提案・評価した