CodeLlama 34B Instruct

Code Llama 34B Instruct は、Meta のコードモデルファミリー Code Llama のうち、指示追従に対応した340億パラメータのモデルです。Hugging Face のモデルカードによると、Code Llama は2023年1月から7月にかけてオフラインのデータセットで訓練され、Instruct 版はコードアシスタントやコード生成アプリケーション向けにより安全であることを意図しています。ファミリーについては論文 Code Llama: Open Foundation Models for Code で説明されています。これは古いモデルで、Meta の新しい Llama 世代は本サイトに個別のエントリがあります。

主な機能

• コード補完とインフィル：モデルカードは、コード補完、インフィル、指示追従、チャットをファミリーの機能として挙げています。
• 3つのバリアント：汎用のコード合成と理解向けの基本版 Code Llama、Python に特化した Code Llama - Python、指示追従とより安全な展開向けの Code Llama - Instruct。
• オープンウェイト：Meta に連絡先を共有したうえで、Llama 2 コミュニティライセンスのもと Hugging Face で配布されています。
• サイズ：モデルカードはファミリーの規模を70億から340億パラメータとしており、表には70B のモデルも載っています。

モデル仕様

モデルカードにはコンテキスト長の記載もベンチマークの数値もなく、評価結果は論文の第3節と第4節を参照するよう案内しています。

制限事項

Meta は、テストは英語のみで行われたこと、モデルが場合によって不正確または不適切な応答を生成する可能性があること、英語以外での利用は適用範囲外であることを述べています。開発者は自分のアプリケーションに合わせて、安全性テストとチューニングを行う必要があります。

活用シーン

• 自前でホストするコードアシスタントやコード生成の実験。
• コードモデルのファインチューニングと研究。
• オープンなコードモデルを比較する際のベースライン。

クイックスタート

1. モデルカードでライセンスに同意し、情報を共有する。
2. Hugging Face Transformers で bfloat16 で読み込むか、量子化版を使う。34B モデルには多くの GPU メモリが必要です。
3. Instruct のプロンプト形式を使い、展開前に自分で安全性を確認する。

よくある質問

Code Llama 34B Instruct のライセンスは？

モデルカードによると、Llama 2 コミュニティライセンスです。

Code Llama はいつ訓練されましたか？

モデルカードによると、2023年1月から7月の間です。

Code Llama、Python、Instruct の違いは？

基本モデルは汎用のコード合成向け、Python 版は Python 特化、Instruct 版は指示に従い、より安全な展開を意図しています。

より新しいオープンなコードモデルはありますか？

はい。本サイトのカタログでは、Qwen2.5-Coder 32B Instruct や汎用の Llama 3.1 70B Instruct などがあります。

代替ツール

• Qwen2.5-Coder 32B Instruct：より新しいオープンなコーディングモデル。
• Llama 3.1 70B Instruct：Meta のその後の汎用モデル。
• DeepSeek Coder V2.5：もう1つのオープンなコーディングの選択肢。

まとめ

Code Llama 34B Instruct は影響力のあるオープンなコードモデルで、今もベースラインや研究の参照として有用です。新規プロジェクトではモデルカードを読み、モデルカテゴリで新しいモデルと比較してください。