【後編】エージェンティックAIの「アウトプット品質安定化」を実現 GMOインターネットが実践する「ハーネスエンジニアリング」とは？ーEngineering Journey / 開発者向けブログ・イベント

プロンプトの巧拙ではなく、「仕組み」の力でAIの出力品質を安定化させるハーネスエンジニアリング。後編では、ハーネスをプログラミング言語のフレームワークに例えた設計思想や、ハーネスエンジニアリングを推進する原動力などに踏み込みます。

組織への浸透に欠かせない企業文化やコスト面の課題、これからハーネスエンジニアリングに取り組む企業へのアドバイスについても語っていただきました。概要や導入の経緯、成果の全体像を紹介した前編もぜひご一読ください。

自動化で品質向上&業務効率化を図り、より本質的な問題に取り組める環境を整える

◇リーダー
谷中佑貴人(やなかゆきと)
所属：GMOインターネット株式会社システム本部アーキテクチャー統括アプリケーション共通チーム (グループ広報部技術広報チーム兼務)
役職：マネージャー

◇メンバー
井上弘規(いのうえひろき)
所属：GMOインターネット株式会社システム本部ドメイン・クラウド開発部お名前フロントエンドチーム

瀧谷悠(たきたにゆう)
所属：GMOインターネット株式会社システム本部ドメイン・クラウド開発部 ConoHaバックエンドチーム
役職：リーダー

井上優也(いのうえゆうや)
所属：GMOインターネット株式会社システム本部ネットワークソリューション開発部 NSフロントエンドチーム

藤嶋智晃 (ふじしまともあき)
所属：GMOインターネット株式会社システム本部アーキテクチャー統括アプリケーション共通チーム
役職：リーダー

舟木博和(ふなきひろかず)
所属：GMOインターネット株式会社システム本部アーキテクチャー統括アプリケーション共通チーム
役職：リーダー

平野空暉（ひらのそらき）
所属：GMOインターネット株式会社システム本部 ConoHa開発部 ConoHaバックエンドチーム（ドメイン・クラウド事業本部プロダクトマネジメントチーム兼務）

大山仁(おおやまひとし)
所属：GMOインターネット株式会社システム本部ビジネスサポートプロダクトチーム

———現在各社が提供する生成AIはモデルごとに得意・不得意があると思いますが、ハーネスの設計を変えることで、同モデル内でも出力やパフォーマンスに差は出るのでしょうか。

平野

私は、同じモデルでもハーネスの設計次第で、出力や実運用上のパフォーマンスにかなり差が出ると考えています。

ハーネスは「何を重視するか」によって、与える文脈や守らせるルール、チェックの仕方といったプロダクトごとの思想や優先順位が変わります。プログラミング言語やフレームワークごとの設計思想があり、その違いが開発体験や実装方針に表れるのと近い部分ですね。

実際にやりたいことをすべてプロンプトだけで表現しようとすると、どうしても指示が長く複雑になります。そうなると、条件の優先順位が曖昧になったり、一部の条件が取りこぼされたりしやすくなるんです。

私が今敷いているハーネスでも、多い場合は100個以上の項目を設けることがあります。これをすべてプロンプトに書き込むのは現実的ではありません。

AIの返すアウトプットを人間が期待する出力に寄せやすくしたり、品質のばらつきを抑えやすくするためには、見落としてほしくない点をモデルの判断だけに委ねるのではなく、ハーネス側で機械的にチェックできる形にしておくことが重要です。

これは、UIのフォームバリデーションに少し似ている部分もあります。人は注意事項を一覧で示されても見落とすことがありますが、入力時に警告が出たり、誤りがあれば送信できなかったりといった仕組みになっていれば、見落としやミスは起こりにくくなりますよね。ハーネスは、そうしたガイドや制御をAI向けに設計するものだととらえています。

———ハーネスエンジニアリングを推進する原動力になっているものは何ですか。

瀧谷

身も蓋もない言い方をすると「楽をしたい」ということだと思っています。そのためにもっと解きたい課題、解決したい難しいテーマがあるからこそ、AIに任せられる部分はどんどん任せてそちらに時間を割きたい。そういう感覚ですね。

またハーネスエンジニアリングやAIエージェントが台頭してくる前は、「ソースコードを書く」ことに大きく時間を割いていましたが、今では1~2分待てばある程度動くものが出来上がってきます。こうした環境下でハーネスエンジニアリングを実践することで、コードの品質を担保できるようになったと感じますね。

これまでは時間的な余裕がなく1回しか試せなかったものが、ハーネスエンジニアリング実践後は何度も試せるようになりました。ABテストのように複数案をそれぞれ試してみて、一番良かったものを選べるようになったのは大きいです。実行できるものの選択肢が増えたと実感しています。

井上(優)

私は「好奇心」と「危機感」じゃないかなと。好奇心については、新しい技術や変化を楽しめるマインドがハーネスエンジニアリングを推し進めていくのに必要だと感じます。まずはアンバサダーである我々が先導していく上で、ハーネスエンジニアリングという変化を楽しむことが大切なのかなと思いますね。

また危機感については、最先端で戦っているエンジニアや企業ではすでに我々と同じように動き、組織への導入に動いているという点を意識すべきだと考えています。変化の激しいAI時代の中で我々もスピード感を持ち、キャッチアップや検証・導入に動いていかなければならないという意識を強く持つことが、推進への原動力になっていますね。

谷中

エンジニアの3大美徳の1つに「怠惰」がありますが、僕らはその怠惰を実現するための努力は厭わない、という精神でやっている部分もありますね。我々がハーネスエンジニアリングを実践して成果を出し、「うちでもやってみよう」と思う企業が増えれば、「楽になる」エンジニアが増えるかもしれません。

楽になったことで難しい問題や本質的な課題に取り組む時間が増えれば、今あるものよりもっと良いものが生まれるはずです。我々の取り組みでセキュリティやIT業界、ひいては日本社会全体にいい影響を与えたいなと思っています。

「AIで開発を完結させられる未来」を目指して

———開発生産性5倍という目標に向けて、チームとして今もっとも注力しているのはどの部分でしょうか。

谷中

現状では先行プロジェクトで環境を整備している段階なので、今はハーネスを実際に使いながら質を上げていくところが最大の注力ポイントですね。

最終的なゴールの1つとして、コードやレビューの「手書き」を0にする状態を実現したいというものがあります。ゆくゆくはAIの中だけで開発が完結できる世界を目指して、その質を上げるための仕組みや環境を整備することが、チームの共通目標です。

もちろん、現状においてはハーネスそのもののレビューを人が担わなければなりません。ただ、僕らがレビューをするたびにハーネスがその内容を自己吸収し、再発防止のナレッジとして蓄積していくというループが動き出せば、だんだんレビューの頻度や介入率は減っていくはずです。

それが限りなく0に近づいていくことが、すなわち質が上がっている状態だと考えていますね。

井上(優)

具体的な取り組みとしては、現在メインで利用しているClaudeCodeの基礎的な使い方のほかに、SkillsやSubAgents、LinterやCIなどハーネスエンジニアリングにつながる基礎の部分の説明・共有会をチーム内で行っています。ボトムアップでイメージを持ってもらえるよう頑張っているところですね。

瀧谷

補足すると、ハーネスは先ほど話した通り「思想」に当たる部分になるので、そこに絶対的な正解はありません。どうあるべきかという方向性については、ある程度人間が関わりながら定めていく必要があります。

一方で、ハーネスで縛った内容自体に対しては、そのソースコードが現在適用されているルールに違反しているかをYes・Noで機械的に判定できます。そこに対するレビューは将来的に人間がやらなくてよくなる、というのは受け入れやすい話でしょうね。

———ハーネスエンジニアリングを実践するために必要なものは何でしょうか。技術面だけでなく、組織体制や企業文化といった観点も含めて伺いたいです。

瀧谷

社内制度や企業風土の面で言うと、上層部が「AIを使おう」というマインドになっていないと、取り組みはなかなか広まりません。

とくにハーネスエンジニアリングはAIを大量に使用する取り組みなので、かかるコストも大きくなります。現場のエンジニアが実践したいと思っても、コスト確保の段階で止まってしまっては浸透していかないんです。

ありがたいことにGMOインターネットグループはグループ全体でAI活用が推進されていて、我々も良いプランを使わせてもらえる環境です。それだけに、トップダウンで「AIを使おう」という空気感があるかどうかは非常に大きいと感じます。

谷中

制度面で言うと、GMOインターネットグループには「AIブースト支援金」という仕組みがあります。パートナー（社員）が手を挙げれば、会社として認めているAIツールなら課金制のものでも自由に申請できる制度です。

ここをうまく活用しながらコストを工面して、現場が使いたいツールを使える環境を作れているのは大きいと思っています。

組織的な話をすると、GMOインターネットのシステム本部は100名規模の組織なので、今ここに集まっているコアメンバーで確立した新しいプロセスやナレッジを横展開しようとすると、相当な時間や労力がかかってしまいます。

そこで効いているのが、我々AIアンバサダーの構成です。社内の各チームから1人ずつ人員を出してもらっているため、それぞれが展開先のチーム内に「自分ごと」として動くキーマンとして活動してもらっています。このキーマンがいるかどうかで、展開の速度も質もかなり変わってきますね。

舟木

もっとシンプルな話をすると、先ほど井上さんからも言ってもらいましたが、AIの変化そのものに興味を持って楽しめる人が必要だと思っています。AIの技術的進歩や変化のスピードは本当に激しいので、キャッチアップだけでも大きな負荷になります。興味がないと追いかけるだけで疲れてしまうでしょう。

ただ、設計が終わってから手でコードを書いていた時間がAIでぐっと圧縮されて、多少バグがあってもとりあえず動くものが素早く出てくるという「体験」の喜びはやはり大きいですね。

とはいえ、技術選定やテーブル設計などリリース後の変更コストが高い部分や、ハーネス自体の設計・構築は、やはり人の目で確認したり手を動かしたりする必要があります。人の手を介さず開発を進めること自体は可能になりつつありますが、こうした重要な意思決定やルールの策定から人が完全に排除されることは難しいと考えています。

良いものが出来上がった喜びや、自分の創造的な部分を発揮できる楽しさといったメリットに目を向けて取り組むことが大事かなと感じますね。

大山

私の場合は、以前は面倒で諦めていたKubernetesのクラスターを、AIに半分ほど環境を作らせて動かしています。時間があるときにやっている試みではありますが、できることや「動く手」が増えたというのが、個人的にはとても楽しいですね。

AIを使うことで、これまで面倒で手を付けられなかった技術的な挑戦ができるようになったという感覚が強くあります。

こうしたポジティブな姿勢で向き合える人ほど、ハーネスエンジニアリングのような新しい取り組みにも前向きに入っていけるのではないでしょうか。

成功体験を重ね、「楽しみながら」ハーネスエンジニアリングを推進

———今後の展望について聞かせてください。

谷中

まず先行プロジェクトで、ハーネスを「成功体験」と呼べるところまで持っていくことが第1の目標です。それが得られたら、部内への横展開を加速させていくという青写真を描いていますね。

さらに大きなところで言えば、GMOインターネットグループ全体や、業界全体に向けてもハーネスエンジニアリングの取り組みを発信していけたらと考えています。

実際に平野さんが技術ブログを書いてくれていますが、「GMOがやっているなら自分たちもやってみよう」と思ってもらえるくらい、新しい技術を率先して使って業界に広げていくことで、業界全体におけるAI活用レベルの底上げに寄与していきたいです。

———最後に、これからハーネスエンジニアリングに取り組もうとしている企業に向けて、アドバイスがあればお願いします。

谷中

僕からは2つあります。1つは「完璧な環境を整えてから始めようとしない」こと。小さなリポジトリやルールを1つ決めるだけでも十分スタートになります。

冒頭でも話した通り、ハーネスは最初の小さな投資の積み重ねが次第に大きくなる「複利」で効いていくものです。最初から完璧を求めずに、まず手を付けてみることが大事です。

もう1つは「推進する人を孤立させない」ことです。ハーネスの取り組みはどうしても部署等の組織を横断するものになるので、「各チームにキーマンを巻き込んで仲間を増やしながら進めて、最終的に組織全体への定着を狙っていく」という流れはとくに意識してほしい点ですね。

大山

私からは、技術負債の大きい既存プロジェクトを抱えている方に向けて「作り直した方が結果的に幸せになれるケースもある」と伝えたいですね。良いものを作るためには、時に作り直す勇気を持つことも必要です。

平野

私の観点だと、これまでの常識を疑う姿勢が必要になる場面がちらほらあります。たとえばフォーマッターは人間が読みやすくするためのツールですが、AIにとっては必要のないツールかもしれないという意見も出てきています。

私自身はフォーマッター廃止には反対派ですが、「これって本当に必要なんだっけ?」と問い直して、本当に不要なのであれば、これまでの常識であっても取り払うという柔軟性は意識した方がいいと感じます。

舟木

AIの可能性を信じる姿勢も重要です。半年前には「これはできないだろう」と思われていたことが、今は普通にできるようになっているケースが本当に増えましたね。進化を信じて、積極的に触ってみる姿勢は非常に大事だと思います。

他社でうまくいっている事例も豊富に出回っているので、主体的に情報を取りに行きつつ、自分たちの手でも試していくことが、結果的に最短ルートになると感じています。

谷中

「後輩からの質問が減った」「口伝で引き継がれていたノウハウを明文化する方向に動いている」という話もありましたが、組織課題としてよく挙がる属人化もAIやハーネスで解消できると思っています。

これまで人から人に伝承されていた部分は、今や人からAIへとつながるようになりました。AIは複数の人から共通して参照される存在なので、ナレッジの蓄積や活用という点で、組織として非常に大きな効果が出ていると感じています。

AIでこうしたナレッジにアクセスできるようになることで、新卒・中途問わずGMOインターネットに入社した方の最初のフォローアップはもちろん、早く戦力として現場に入れる状況整備にもつながってきています。

ハーネスが整備された状態でこれから入ってくる人は、これまでと比べて立ち上がりの戦力度合いがかなり変わってくるでしょう。

マインドの話をすると、エンジニアの役割が徐々に変わってきている時代ですが、この変化に対して前向きに楽しんで推進していく姿勢は重要だと感じています。

変化を受け入れにくい人に対して、新しい技術に楽しく触れられる人たちが中心となって働きかけつつ進めていくと、結果的に良いナレッジが生まれていく。こうしたエンジニアが生み出す組織の変化を、今まさに肌身で感じているところです。