LLM の出力を制御する手法であるアクティベーションエンジニアリングを紹介いたします。この手法は、LLM の中間出力にベクトルを加減算し LLM の出力を誘導するユニークなものです。プロンプトエンジニアリングの代替としても利用できます。

LLMの推論およびモデルサービングに利用されるOSSであるvLLMの動きについて、コードを追いながら理解を深めようと試みる。

1. 概要:LLMを使ったマスターデータマネジメント 2. ジャンルメタデータの課題と対策 3. ジャンル集約プロセスの詳細 3.1. 実行プロンプト 3.2. 工夫した点:2階層構造の採用とジャンルの粒度調整 3.3. はまった点:LLMが苦手とする領域での工夫 4. 実施結果 5…

はじめに 本記事をご覧いただきありがとうございます。 NTTドコモ クロステック開発部の画像⽣成AIチーム（福島、井⼿、⼩原、中村圭佑）です。 近年話題の⽣成AIについて、先⽇の記事や昨日の記事でご紹介した通り、Slackアプリの形で画像⽣成AI＆VLM（Visi…

はじめに NTTドコモ クロステック開発部の画像生成AIチーム（福島、井手、小原、中村圭佑）です。近年話題の生成AIについて、先日の記事の通り、Slackアプリの形で画像生成AI＆VLM（Vision Language Model）の2種類の生成AIが利用可能なシステムを社内向けに…