PEFTライブラリに3つの新しいLoRA派生手法──HiRA・GLoRA・BEFTを1つずつ読む

LoRA（Low-Rank Adaptation）は、大きなモデルを丸ごと再学習せず、少数の追加パラメータだけで狙った振る舞いに寄せるファインチューニング手法として定着している。Hugging FaceのPEFTライブラリはこのLoRAの実装元だが、v0.20.0（2026年7月28日公開）のリリースノートを見ると、同じリリースに「New Methods」として新しい派生手法が5つ以上まとめて追加されていた。本記事では、そのうち元論文へのリンクが明示され、リリースノートの説明が比較的具体的だった3つ——HiRA・GLoRA・BEFT——を確認する。

3行まとめ

1. PEFT v0.20.0（2026年7月28日）に、LoRAを異なる方向へ改良する3手法HiRA・GLoRA・BEFTが同時に追加された。
2. HiRAはICLR 2025のoral採択論文で低ランク制約そのものを外し、GLoRAはarXiv:2306.07967で重み・活性化・バイアスを組み合わせ、BEFTはACL2026採択論文で学習対象を全パラメータの約0.01%（value projectionのバイアスのみ）に絞る。
3. PEFTへの統合PRはHiRA #2668（2026-05-07マージ）・GLoRA #3098（2026-06-30マージ）・BEFT #3195（2026-04-30マージ）で、変更規模はそれぞれ+2,233行・+1,222行・+773行だった。

HiRA：低ランクの制約そのものを外す

Instead of adding the low-rank product BA to the base weight, HiRA multiplies it elementwise (Hadamard product) with the frozen base weight. Because the base weight itself is full rank, the resulting update is no longer constrained to be low rank, while the trainable parameter count stays the same as LoRA's.

（低ランク積BAをベース重みに加算する代わりに、HiRAはそれを凍結されたベース重みと要素ごとに（アダマール積で）掛け合わせる。ベース重み自体はフルランクであるため、結果として生じる更新はもはや低ランクに制約されない。一方で学習対象のパラメータ数はLoRAと変わらない）

通常のLoRAは「ベース重み＋低ランク行列の積」という形で更新を表現するため、更新分そのものが低ランクという制約を受ける。HiRAは足し算ではなく掛け算（アダマール積）にすることで、ベース重みがフルランクである以上、更新もフルランクになりうる、という理屈だ。パラメータ数を増やさずに表現力を上げる狙いがあると読み取れる。元論文は"HiRA: Parameter-Efficient Hadamard High-Rank Adaptation for Large Language Models"としてOpenReviewにリンクされている。

PEFTへの統合を提案したPR #2668の本文をGitHub APIで確認すると、HiRAは「ICLR 2025 oral paper」（ICLR 2025のオーラル採択論文）だと明記されており、元実装はhqsiswiliam/hiraリポジトリにあるという。更新式は $\Delta W = W_0 \odot (AB)$（凍結重み$W_0$と低ランク積$AB$のアダマール積）とPR本文に記載されている。このPRは2026年5月7日にマージされ、変更規模は23ファイル・追加2,233行だった。

GLoRA：重み・活性化・バイアスを組み合わせて調整する

It is a flexible PEFT method that extends LoRA with configurable weight, activation, and bias adaptation, delivering richer fine-tuning with no extra inference cost. Use it when you need per-layer flexibility or stronger adaptation than vanilla LoRA. Skip it for non-Linear layers (e.g. Conv/Embedding) or when standard LoRA is already sufficient and simplicity matters.

（重み・活性化・バイアスの適応を設定可能な形で組み合わせてLoRAを拡張する柔軟なPEFT手法で、推論コストを追加せずに、より豊かなファインチューニングを実現する。層ごとの柔軟性や、素のLoRAより強い適応が必要なときに使う。非Linear層（Conv／Embeddingなど）や、標準のLoRAで十分でシンプルさを重視する場合はスキップする）

GLoRAの元論文は"One-for-All: Generalized LoRA for Parameter-Efficient Fine-Tuning"（arXiv:2306.07967、著者はArnav Chavan・Zhuang Liu・Deepak Gupta・Eric Xing・Zhiqiang Shen）。リリースノートの書き方が珍しいのは、「使うべき場面」と「スキップすべき場面」の両方を明記している点だ。PEFT側が単に手法を追加するだけでなく、Linear層以外には適用できないという制約や、標準LoRAで足りるなら過剰装備になりうるという判断材料まで書いている。

arXivのアブストラクトを直接読むと、GLoRAはもともとコンピュータビジョンのベンチマーク（natural・specialized・structured）で従来手法を上回ったと報告されている手法で、LLaMA-1・LLaMA-2での言語ドメインへの適用でも通常のLoRAより改善が見られたと書かれている。層ごとに個別のアダプタ構造を探索する「scalable, modular, layer-wise structure search」という設計だという。PEFTへの統合PR #3098は2026年6月30日にマージされ、24ファイル・追加1,222行の変更だった。

BEFT：バイアス項だけを、しかも全パラメータの0.01%だけ学習する

BEFT builds on the observation that fine-tuning bias terms alone can be competitive in low-data regimes, but goes further: rather than training all biases, it targets the value projection by default, as the authors found this to be most efficient. This brings the trainable parameter count down to roughly 0.01% of the total parameters.

（BEFTは、バイアス項だけをファインチューニングしてもデータが少ない状況では競争力があるという知見をもとに、さらに一歩進める。すべてのバイアスを学習する代わりに、著者らが最も効率的だと突き止めたvalue projection（アテンションのV行列に対応する部分）をデフォルトの対象にする。これにより学習対象パラメータ数は全体の約0.01%まで下がる）

LoRAが低ランク行列を追加するのに対し、BEFTは既存のバイアス項——しかも全部ではなくvalue projectionのバイアスだけ——を学習対象にする。追加パラメータを生まない点でLoRAとは根本的にアプローチが異なる、省パラメータ手法だ。元論文は"BEFT: Bias-Efficient Fine-Tuning of Language Models"（arXiv:2509.15974v2、著者はBaichuan Huang・Ananth Balashankar・Amir Aminifar）。

統合PR #3195の本文には、BEFTが「ACL2026 Main Conference」に採択された論文だと明記されている。アブストラクトによれば、著者らはquery・key・valueの3種のバイアス項（$b_q$・$b_k$・$b_v$）のうちどれをファインチューニングすべきかをencoder-only・decoder-onlyの両アーキテクチャ（最大67億パラメータ、バイアス項を持たないモデルも含む）で幅広く検証し、$b_v$を直接ファインチューニングすることが低データ環境で最も高い性能につながると結論づけている。PEFTへの統合PRは2026年4月30日にマージされ、22ファイル・追加773行の変更だった。

3つのPRを数字で比べる

3つの手法はいずれも2026年4〜6月にPEFTへマージされ、リリースノート上は横並びで「New Methods」として紹介されている。GitHub APIで各PRの本文とマージ日・変更規模を確認すると、次のような違いがあった。

3つの中でHiRAが最も変更行数が多いのは、PR本文によれば元実装（hqsiswiliam/hira）から移植したベンチマーク・テストコードを含むためで、必ずしも手法自体の複雑さを表すわけではない。

3手法をどう位置づけるか

3つとも「LoRAをどう改良するか」という同じ問いに、異なる角度から答えている。HiRAは低ランクという制約そのものを疑い、GLoRAは調整対象を重み・活性化・バイアスへと広げ、BEFTは逆に対象を絞り込んで既存のバイアス項だけに特化する。PEFTライブラリのリリースノートには、この3つ以外にもMonteCLoRA・VeLoRA・Uni-LoRAといった手法が同じv0.20.0で追加されているが、リリースノートの説明の詳しさに差があり、本記事では元論文と具体的な仕組みの説明が揃っていたこの3つにしぼった。

3手法とも実際に学習させて比較したわけではない

本記事はPEFT v0.20.0のリリースノート本文、GLoRA・BEFTの元論文アブストラクト（arXiv）、そして3手法それぞれのPEFT統合PR本文（GitHub API経由）を情報源としている。HiRAの元論文が掲載されているOpenReviewのページ自体は、curlでアクセスするとボット判定の確認画面が返るだけで本文を取得できなかったため、HiRAの技術的な記述はPEFTリリースノートとPR #2668の本文（ICLR 2025 oral・更新式など）にとどめており、OpenReview上の査読コメントやスコアまでは確認していない。この記事を書いている自分の手元で、HiRA・GLoRA・BEFTのいずれかを実際に使ってモデルをファインチューニングし、精度や学習速度を比較する検証も行っていない。リリースノートに書かれている「no extra inference cost（推論コストの増加なし）」「roughly 0.01%（約0.01%）」といった主張、GLoRA論文の「outperforms all previous methods」という主張も、それぞれの一次情報をそのまま紹介したものであり、独立した third-party の再現実験ではない。

関連記事: ファインチューニング やり方・費用・いつ使うべきか【2026年入門】 / Hugging Face 使い方 / TRLの知識蒸留が本採用に

感想・指摘はコメント欄へ。