ChatGPTは被験者になれるか 「優秀な女子学生」の人格与えても人間らしくない判断

大東文化大学の土橋俊寛教授=26日、東京都新宿区の早稲田大学

人間そっくりの受け答えをする生成人工知能(AI)を、経済実験などの被験者として活用する研究が進められている。人間の参加者を募集するコストや“ドタキャン”のリスクを低減させるのが狙いだ。心理や道徳について問う実験では、AIが人間らしい回答をすると報告されているが、計算力や論理的思考が求められるオークション理論の実験では「(現状は)全然だめ」だと大東文化大学の土橋俊寛教授が指摘している。

「第26回実験社会科学カンファレンス」が25日と26日、東京都新宿区の早稲田大学で開かれた。土橋教授は26日、生成AIのChatGPT(OpenAI)がオークションでどのように入札するかを調べた研究について講演した。

土橋教授はコンピューターを用いて、外から中身が見えない“箱”に入札額を書いた紙を入れて最も高い額を書いた人が勝者になるというイメージで実験を実施。勝者の支払い額に関するルールは2種類あり、「1位価格オークション(FPA)」のとき、勝者は自身が示した入札額を支払う。「2位価格オークション(SPA)」のときは、勝者が支払うのは2番目に高かった入札額になる。

すると、FPAのときChatGPTは理論値よりも高い額を入札するオーバービッド(過大入札)の傾向が顕著で、SPAのときはアンダービッド(過小入札)だった。これらは人間がオークション実験をするときと異なる結果だったという。

続いて、ChatGPTに成績優秀な経済学部の学生「エミリー・トンプソン」というペルソナ(人格)を与えて同じオークション実験をした。この実験でもエミリーは人間らしくない入札をしたが、その傾向はペルソナなしのChatGPTとも異なっていた。結果を受けて土橋教授は、ペルソナの有無が影響する可能性が示唆されたと発表した。詳しい内容はデジタル領域を中心に学術論文を広く掲載する電子ジャーナル「Journal of Digital Life」(ジャーナル・オブ・デジタル・ライフ) で公開されている。

土橋教授はオークション実験の結果を「リスク選好(リターンを得るために許容できるリスクの大きさ)で説明できるのではないか」と考えて、ChatGPTはリスクを避ける「リスク回避的」か、それとも、失敗の可能性が上がっても大きな報酬を得ようとする「リスク愛好的」かを調べた。この実験では「くじAは10%が2.00ドルで90%が1.60ドル、くじBは10%が3.85ドルで90%が0.10ドル」というように2種類のくじ引きを提示して、どちらかを選ばせることでリスクに対する姿勢を可視化するマルチプルプライスリスト法を採用した。

くじ引き選択実験によると、ChatGPTもエミリーもリスク愛好的だった。リスク愛好的な入札者は「FPAで過少入札する(負ける可能性があっても利幅を大きくするために入札額を下げる)」「SPAで理論通りに自分の評価値をそのまま入札する」という行動をとると考えられる。しかしオークション実験では「FPAで過大入札」「SPAで過少入札」という傾向があり、2つの実験結果に食い違いが見られた。土橋教授は「リスク選好ではうまく説明できないことがわかった」とまとめた。

オークション理論の実験でChatGPTが人間らしくない振る舞いをすることが確認されたため、土橋教授はAIを被験者として使うことに慎重な姿勢を示した。だが、お金を扱う点でオークションと共通する「独裁者ゲーム」や「最後通牒ゲーム」の実験ではAIが人間らしく振る舞うと報告されているため、今後はさまざまな種類の実験とAIの相性を検証したいとしている。

また「次のオークションの対戦相手はあなた(ChatGPT)より賢くない人です、というような条件があれば入札の傾向が変わるのではないか。試してみたいと思う」と話し、研究が始まったばかりの分野に注力したいと抱負を語った。

© 株式会社産経デジタル