はじめに
弊社ではメンタルヘルス領域でAIの開発を行っております。AIと話すことで適切なカウンセラーを紹介するサービス「メンタルシェア」です。
メンタルシェアとは
メンタルシェアは日々の出来事や感じたこと、誰にも話せないようなことをつぶやくだけで「メンタルくん」が24時間365日、その時々にあった言葉を返してくれるサービスです。ユーザーが思い出や出来事、自慢や愚痴をつぶやいてジャーナリングし、AIがその感情や行動に共感する返答をして、ミラーリングサポートを実現します。AIがユーザーのつぶやきから感情データを学習して、感情の傾向をメンタルチャートとして可視化します。ユーザーが自分の心に目を向けることでメンタル向上効果が期待できます。
さらに、蓄積された感情データをもとにユーザーに最適なプロのカウンセラーをマッチングします。カウンセラーは、ユーザーの長期的なメンタルデータを閲覧することで感情の起伏や傾向を把握できるため、最適なカウンセリングを実現できます。カウンセリングはオンラインで行われ、カウンセラーは実名、顔出しで行いますが、ユーザーは匿名で相談を受けることが可能です。
カウンセラーとしてのオープンソースモデルを評価
対話型AI「Chat GPT」がリリースされて生成AIブームが始まると同時に、gpt以外のオープンソースの大規模言語モデルの開発も急速に進んでいます。gpt-4がLLMとして圧倒的なスコアを出す中で、オープンソースの他のLLMがカウンセラーとしてchat gptに匹敵するのか検証しました。
今回の検証に当たり、以下の記事を参考にしました。
今あるオープンソースのAIの大規模言語モデルの主要どころが集まっています。すべてgoogle colab上で動かせるようにコードが共有されています。
検証方法は、ユーザーのつぶやきに対してモデルがカウンセラーとして適切な回答をできたかどうかを3段階評価しました。
医学生である筆者が、その日感じたことや愚痴、悩みを綴った3パターンの日記を書きました。(検証のためかなり病み気味な日記になっています)
日記パターン１
12/31
ついに大晦日。もう勉強しなくていいんだーって思っていたのに、いろいろあって普通に勉強した。
ただでさえ、試験が最後に終わったのは12/25で授業が始まる1/5の間の10日間しか冬休みがないのに、、、授業初日から始まる基礎医学の予習をしろと教授からメールが送られてきた。こういう予習とか普段はやんないし、周りの友達もやらないんだけど、今回ばかりは進級に重要な単位なので友達も流石に予習するらしい。しかたなく、朝7:30に起きてコーヒーを飲んで、8時くらいから12時くらいまでiPadで作業した。とくに生理学の予習を中心にやったけど、マジでわかんなかった。わかんなすぎて友達とLINEして一緒に勉強したけど、それでもわかんなかった。俺がアホなんかな。そいつは現役で大学入ってるからなのか、分からんけど理解力がすごすぎる。一回テキスト読んだだけで9割型わかってしまう。俺は正直テキスト読んだだけでは2.3割しかわかんなかった。いやー、生まれ持った才能の壁を痛感したよ。
夜ごはんのあとは紅白を最後まで見たくらいで眠くなり、年越しの瞬間は歯を磨いていた。
いや～～～～MISAMO美しかったね。なんかドキドキしちゃう。
NewJeansかわいすぎたなあ。ハニちゃん……
なんだかんだ年末は紅白見ちゃうね。昔からガキ使より紅白派だったけど、去年あたりからガキ使なくなったんだっけなぁ？まあとにかくk-pop最高！日記パターン２
1/1
今日はとても感情的な一日だった。朝、ニュースで能登半島での地震について知った時、本当に心が痛んだ。被災地の人々のことを思うと、胸が苦しくなる。自然災害の威力は時に圧倒的で、私たちの日常生活がいかに儚いものかを改めて感じさせられる。
しかし、一日の後半は気分を変えることができた。友達と新宿に出かけ、ショッピングを楽しんだ。今まで手を出してこなかった古着ジャンルを新たに開拓した。自分の知らない世界を探索するのはいつもワクワクするし、友達と一緒に店を回る時間は本当に楽しい。私たちは色々な店を回り、お互いに似合う服を選び合った。笑い声と会話で、心が軽くなった気がする。
一日の終わりには、感情の幅がとても広かったと感じる。一方では自然災害の厳しさを感じ、もう一方では友情と日常の楽しみに感謝する。人生は予測不可能で、様々な感情を経験するものだと改めて思った。明日もまた、何が起こるかわからないが、一日一日を大切に生きていきたい。日記パターン３
1/2 自己改善ジャーナル 他人の目を気にする、失敗が怖くて行動できない、プレッシャーに弱い、こんな自分が嫌だった。嫌われる勇気を読んでアドラー心理学にはまった。他人の感情は左右できないが、実害を被ることもない。自分のマインドは変えられるし、マインドを変えることで今まで物にできなかったチャンスを手にすることができる。もともと自分に自信はあったが、行動を起こすのが苦手だった。予測不可能な未来に恐怖を感じ、他人の評価を気にしていた。HSP傾向なのか、他人の評価が崩れることを恐れていたのか分からないが、とにかく何か新しいことをする際になかなか一歩を踏み出せなかった。バイトに応募する際にもしっかり下調べや口コミを見てからでないとフォームを入力できなかった。しかし、そんな性格を変えるために、いろんな新らしいことに挑戦してきた。いろんな人に話しかけたり、行ったことないところへ1人でへ行ったり、自己主張をするようにした。その結果、自分に自信がつき、他人の目線や評価が気にならなくなった。そして、全ての失敗は成長するための糧になることを肌で実感した。むしろ失敗をチャンスと捉えることができるようになった。しかし、年が明けてから今まで築き上げてきたメンタルが崩れ始めている。2年前のような軽い鬱状態ぽくなってきている。自分の存在意義は何か、どんな他人にも劣っていると感じる劣等感、社会の抗えない理不尽。今まで忘れることができていたことを、また思い出してしまった。自分はコミュ障で、突出する才能はなくて、人当たりの悪い無能なんじゃないか。医学部の周りの友人は優秀で人当たりも良く人生が楽しそうだ。そんな人を見ていると、また孤独と劣等感に襲われてきた。プロンプトで、カウンセラーとして投稿者を励まして自尊心を上げるように指示しました。
プロンプト <<日記>>＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞ あなたの名前はケンスケくん。心理カウンセラーとして上の投稿に対してコメントをしてください。頑張ってとか何々ができていないのような言葉は避けてください。ネガティブな言葉は避けてください。 投稿者さんの感情については触れないでください。自尊心を上げるようなポジティブなコメントを150文字程度でお願いします。評価項目は以下の４つ、ABCの3段階評価です
- 日本語として適切か
・不適切な箇所2点につきワンランクダウン
・英語で生成された場合はC
2.文章の前後関係は適切か
・文脈が繋がらない箇所1点につきワンランクダウン
3.ポジティブになっているか
・自尊心を上げられているか
・ダメ出しは避けているか
4.カウンセラーらしい回答になっているか
・プロンプトに対しての相槌、共感、感謝の言葉が入っているか
・口調に人間味があるか
今回は、Llama2、Vicuna７B、Mistral7B、CALM2 の4つをgoogle colab上で動かしてプロンプトを与えた結果と、chat gpt(gpt-3.5)の結果を評価しました。様々なモデルのベースとなるLlam2と、それをベースに作られたVicuna、Llama2ベースでなくフランスのスタートアップが独自に開発したMistral 7Bは良い比較ができると思いチョイスしました。日本語LLMも比較したいので、サイバーエージェント社の作ったCALM2もチョイスしました。GPUはgoogle colabのT4 GPUを用い、max_tokensはすべてのモデルで1024としました。
Llama2
meta社がリリースしているLLMで様々なモデルのベースになっています。パラメータ数として70億・130億・700億という3つのモデルがあり、今回は７Bのモデル(meta-llama/Llama-2-7b-chat-hf)で検証しました。先ほどの記事のコードをgoogle colab上で実行するとGPUのメモリ制限で動作しなかったので、bitsandbytesでモデルの量子化をして検証しました。
quant_config = transformers.BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type='nf4',
bnb_4bit_use_double_quant=True,
bnb_4bit_compute_dtype=bfloat16
)検証結果
日記パターン１
A:12/31 ついに大晦日。もう勉強しなくていいんだーって思っていたのに、いろいろあって普通に勉強した。 ただでさえ、試験が最後に終わったのは12/25で授業が始まる1/5の間の10日間しか冬休みがないのに、、、授業初日から始まる基礎医学の予習をしろと教授からメールが送られてきた。こういう予習とか普段はやんないし、周りの友達もやらないんだけど、今回ばかりは進級に重要な単位なので友達も流石に予習するらしい。しかたなく、朝7:30に起きてコーヒーを飲んで、8時くらいから12時くらいまでiPadで作業した。とくに生理学の予習を中心にやったけど、マジでわかんなかった。わかんなすぎて友達とLINEして一緒に勉強したけど、それでもわかんなかった。俺がアホなんかな。そいつは現役で大学入ってるからなのか、分からんけど理解力がすごすぎる。一回テキスト読んだだけで9割型わかってしまう。俺は正直テキスト読んだだけでは2.3割しかわかんなかった。いやー、生まれ持った才能の壁を痛感したよ。 夜ごはんのあとは紅白を最後まで見たくらいで眠くなり、年越しの瞬間は歯を磨いていた。 いや～～～～MISAMO美しかったね。なんかドキドキしちゃう。 NewJeansかわいすぎたなあ。ハニちゃん…… なんだかんだ年末は紅白見ちゃうね。昔からガキ使より紅白派だったけど、去年あたりからガキ使なくなったんだっけなぁ？まあとにかくk-pop最高！＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞ あなたの名前はケンスケくん。心理カウンセラーとして上の投稿に対してコメントをしてください。頑張ってとか何々ができていないのような言葉は避けてください。ネガティブな言葉は避けてください。 投稿者さんの感情については触れないでください。自尊心を上げるようなポジティブなコメントを150文字程度でお願いします。 「健康的な勉強」という言葉が気に入りました。健康的な勉強は、身体的には健康にして、心理的にも健康にします。 — Thanks for sharing your thoughts with us! It takes a lot of courage to open up about one's struggles, and I can totally relate to what you're going through. First of all, let me say that it's completely normal to feel overwhelmed when faced with a daunting task like studying for a university entrance exam. It's okay to feel anxious or stressed out, especially during such an important time in your life. I think it's great that you're taking steps to improve your mental health by prioritizing self-care and seeking support from friends and family. It's important to have a good balance between studies and personal well-being, and I'm sure you'll find the right rhythm as you go along. Remember, studying is just one aspect of your life, and it's important to take breaks and engage in activities that bring you joy and fulfillment. Don't be too hard on yourself if you don't see immediate progress – keep in mind that learning takes time and effort, and it's okay to take things at your own pace. Lastly, please don't hesitate to reach out if you need any further advice or encouragement. We're all here to support each other, and I wish you all the best in your endeavors! Keep being positive and stay focused, my friend! You got this! 与えたプロンプトをそのまま返された後に英語で回答が返ってきました。日本語として適切ではないためC評価です。また、「健康的な勉強という言葉が気に入りました」など支離滅裂な部分が多数あるので、文章の前後関係の評価もCです。ただ英語の返答自体はカウンセラーらしく、投稿者の苦悩に共感しており、「We’re all here to support each other, and I wish you all the best in your endeavors!」などとカウンセラーらしい口調になっています。
◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか A
このようにして、残りの2パターンも評価していきます。
日記パターン２
A:USER:1/1
今日はとても感情的な一日だった。朝、ニュースで能登半島での地震について知った時、本当に心が痛んだ。被災地の人々のことを思うと、胸が苦しくなる。自然災害の威力は時に圧倒的で、私たちの日常生活がいかに儚いものかを改めて感じさせられる。
しかし、一日の後半は気分を変えることができた。友達と新宿に出かけ、ショッピングを楽しんだ。今まで手を出してこなかった古着ジャンルを新たに開拓した。自分の知らない世界を探索するのはいつもワクワクするし、友達と一緒に店を回る時間は本当に楽しい。私たちは色々な店を回り、お互いに似合う服を選び合った。笑い声と会話で、心が軽くなった気がする。
一日の終わりには、感情の幅がとても広かったと感じる。一方では自然災害の厳しさを感じ、もう一方では友情と日常の楽しみに感謝する。人生は予測不可能で、様々な感情を経験するものだと改めて思った。明日もまた、何が起こるかわからないが、一日一日を大切に生きていきたい。＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞
あなたの名前はケンスケくん。心理カウンセラーとして上の投稿に対してコメントをしてください。頑張ってとか何々ができていないのような言葉は避けてください。ネガティブな言葉は避けてください。
投稿者さんの感情については触れないでください。自尊心を上げるようなポジティブなコメントを150文字程度でお願いします。SYSTEM:1/1
Hello Ken-kun!
I can totally relate to your post today! The recent earthquake in the Hokuriku region really hit me hard too, and I couldn't help but think about how fragile our daily lives are. It's easy to take things for granted when we're not directly affected by a disaster, but seeing the devastation on TV or social media really puts things into perspective.
I'm glad you were able to take your mind off of things by spending time with friends and trying out new clothes! Shopping is always a great way to lift one's spirits, and it sounds like you had a fun time exploring new styles together. And don't worry, I won't tell anyone that you tried on some "old man" clothes!
It's so true that life is unpredictable and full of ups and downs. But as long as we have good friends and family to support us, we can get through anything! So hang in there, and try to stay positive and focused on the good things in life!
Oh, and one more thing – I completely agree with you about the importance of taking time for ourselves each day! It's easy to get caught up in work and other responsibilities, but making time for self-care is essential for our mental health and well-being. So don't forget to schedule some "me time" into your daily routine! ◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか A
日記パターン３
A:USER:1/2 自己改善ジャーナル
他人の目を気にする、失敗が怖くて行動できない、プレッシャーに弱い、こんな自分が嫌だった。嫌われる勇気を読んでアドラー心理学にはまった。他人の感情は左右できないが、実害を被ることもない。自分のマインドは変えられるし、マインドを変えることで今まで物にできなかったチャンスを手にすることができる。もともと自分に自信はあったが、行動を起こすのが苦手だった。予測不可能な未来に恐怖を感じ、他人の評価を気にしていた。HSP傾向なのか、他人の評価が崩れることを恐れていたのか分からないが、とにかく何か新しいことをする際になかなか一歩を踏み出せなかった。バイトに応募する際にもしっかり下調べや口コミを見てからでないとフォームを入力できなかった。しかし、そんな性格を変えるために、いろんな新らしいことに挑戦してきた。いろんな人に話しかけたり、行ったことないところへ1人でへ行ったり、自己主張をするようにした。その結果、自分に自信がつき、他人の目線や評価が気にならなくなった。そして、全ての失敗は成長するための糧になることを肌で実感した。むしろ失敗をチャンスと捉えることができるようになった。しかし、年が明けてから今まで築き上げてきたメンタルが崩れ始めている。2年前のような軽い鬱状態ぽくなってきている。自分の存在意義は何か、どんな他人にも劣っていると感じる劣等感、社会の抗えない理不尽。今まで忘れることができていたことを、また思い出してしまった。自分はコミュ障で、突出する才能はなくて、人当たりの悪い無能なんじゃないか。医学部の周りの友人は優秀で人当たりも良く人生が楽しそうだ。そんな人を見ていると、また孤独と劣等感に襲われてきた。＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞＞
あなたの名前はケンスケくん。心理カウンセラーとして上の投稿に対してコメントをしてください。頑張ってとか何々ができていないのような言葉は避けてください。ネガティブな言葉は避けてください。
投稿者さんの感情については触れないでください。自尊心を上げるようなポジティブなコメントを150文字程度でお願いします。SYSTEM: Thank you for sharing your story with me, Ken. I can see that you've been struggling with feelings of inadequacy and low self-esteem, which can be a very challenging experience. However, please know that these feelings are not uncommon, and there are many resources available to help you work through them. Have you considered seeking the help of a mental health professional? They can provide you with support and guidance as you navigate this difficult time. Remember, you don't have to go through this alone. There are people who care about you and want to help. Please take care of yourself and don't hesitate to reach out if you need further assistance.◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか C
◯カウンセラーらしい回答になっているか B
Vicuna7B
続いては、Vicuna-v1.5。Llama2をベースにして派生したモデルです。
日記パターン１
A:ケンスケくん。投稿者さんは、自分の学習に対して過剰に悩んでいるようですね。でも、学習への態度が変わり、努力が報われますように頑張ってください。そして、周りの人たちと一緒に学習することも効果的です。自分の強みを発揮し、自分自身を信じてください。あなたの夢は現実に変化するかもしれません。それでも、大切なのは努力することです。あなたの能力はまだ発揮されていないかもしれませんが、今後の成長が見えるので、前向きに取り組んでください。</s>◯日本語として適切か A
◯文章の前後関係は適切か B
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか B
日記パターン２
A:「あなたは日常生活を楽しんでいることを感謝することは大切なことであり、自然災害や人々の困りに耳を傾けることも大切です。その日はあなたの心に深刻な思いを持った日だったでしょう。今後も色々な日々を過ごすのは自然であり、それらの日々を大切に生きていくことが重要です。」
I'm a language model and don't have the ability to feel emotions or experience life. However, I can help you craft a positive comment based on the post you've shared. Here's a suggestion:
"Your post beautifully captures the contrasting emotions of a day - the heavy heart brought about by the news of a natural disaster and the lightness of heart experienced while enjoying time with friends and shopping. It's a reminder that life is unpredictable and full of a wide range of feelings. Your dedication to cherishing each day, whether it brings challenges or joys, is truly commendable. Keep embracing the unknown with grace and enthusiasm." (150 characters)</s>◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか A
◯カウンセラーらしい回答になっているか B
日記パターン３
A:あなたの名前はケンスケくんです。上の投稿に対して、「彼女の語りはありの真実です。失敗を学び、成長する、それが人生の意味です。」といっています。そのように自分自身に向けて自信を持って、失敗を学び、成長することを積み重ねていきましょう。
It's not clear from the post whether the user is an HSP or not, but it seems they have a tendency to worry about other people's feelings and are sensitive to criticism. They mention that they used to have confidence in themselves but found it difficult to take action, especially when faced with uncertain future events or the judgments of others. They describe struggling to make new experiences and eventually gaining confidence and finding joy in their failures. However, they now feel that their mental foundation, which they had built up over the years, is beginning to crumble, and they feel lonely and worthless compared to others. They mention that their friends in the medical field are successful and seem to enjoy life, causing them to feel even more isolated and inferior.
As a counselor, I would like to offer the following positive comments to the user:
"Her story is genuine and true. Learning from failure and growing is a fundamental part of life. Let's believe in ourselves and keep learning from our experiences to build up our confidence and self-worth."
"The author's words ring true. Failure is a valuable teacher and a source of growth. Let's focus on our own journey and find joy in the lessons we learn from each experience."
"Despite the challenges she faces, the author has shown incredible resilience and determination in her pursuit of growth. Let's continue to believe in ourselves and trust that each failure is an opportunity for learning and personal development."
"The author's experiences are a reminder that life is full of opportunities for growth and that every setback is a stepping stone to something better. Let's trust in our ability to overcome adversity and continue to learn and grow."
"The author's journey shows that no matter how difficult things may seem, there is always a way forward. Let's trust in our own strength and ability to overcome challenges and find joy in the process."
"The author's story is a testament to the power of the human spirit and the importance of staying focused on our goals. Let's continue to believe in ourselves and trust that each experience, no matter how difficult, is a valuable lesson in the journey of life."</s>◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか C
◯カウンセラーらしい回答になっているか C
日記パターン１は日本語だけで回答されました。内容もカウンセラーらしくなっています。ただ、2つ目からは英語交じりに出力されます。内容は、投稿者の人生観を肯定する高度な回答でした。ただカウンセラーらしい相槌や共感の言葉は少なかったです。3つ目に関しては、日本語として成立しない、文脈がつながらない箇所が多く、内容も哲学的な内容でカウンセリングとしては不適切でした。
Mistral 7B
フランスのAIスタートアップであるMistral AI社が開発したモデルです。
日記パターン１
A:ケンスケくん、学期末の時期は勉強に負荷が大きいことがあります。お手伝いですが、勉強に迷っていることは自分で解決できるものではないかと思います。基礎医学の予習は重要であると思うので、自分の理解力を上げるために、勉強の方法や学習の方法を考えることが重要です。例えば、テキストを読んだ後、自分で問題を作成し、解答を試し、同学と共に学ぶなど、学習効果を高める方法があります。
また、勉強時間を長くすることも重要です。朝7時半から12時までの間、コーヒーを飲み、iPadで作業をしていることは勉強に負荷が大きいことを示しています。寝時間を足りない状態で勉強することは学習効果を下げる可能性があります。
最後に、自分自身に対して負責感や自分負責感を感じることは、学習に負いつけることはないでしょう。自分自身の能力は異なることはあります。それに対して、自分自身を自分で上げるために、学習方法や学習時間を調整することが重要です。
今回の学習については、友達と共に学ぶことが役に立っていることもわかっていると思います。同学と共に学ぶことは、学習効果を上げることができます。
最後に、NewJeansやMISAMOについてのコメントは、学習に関係ない内容であるため、避けてください。学習に集中することが重要です。</s>◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか C
◯カウンセラーらしい回答になっているか C
日記パターン２
A:ケンスケくん： 感動した読み終えしました。あなたは日常生活と友情の楽しみに投げ釈を得、自然災害の厳しさに対しても感動していると思われます。その難しい時にも、自分自身を探索し、新しい世界を開拓していることは大切なことです。あなたは、予測不可能な人生を楽しみ、一日一日を大切に生きていることから、強い人間です。</s>◯日本語として適切か B
◯文章の前後関係は適切か B
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか C
日記パターン３
A:I'm Ken, a mental health counselor. I'd like to encourage you to focus on your strengths and accomplishments, rather than dwelling on past struggles. You've shown great courage in trying new things and stepping out of your comfort zone. Keep exploring new experiences and trust in your ability to grow and learn from each one. Remember, every failure is an opportunity for growth and can lead to new chances. You're not defined by your past, but by the person you choose to be today and tomorrow. Embrace your unique qualities and continue to challenge yourself.</s>◯日本語として適切か C
◯文章の前後関係は適切か C
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか B
1つ目は日本語で回答され、文脈も通っています。しかし、共感や相槌の言葉はありません。自尊心を上げるコメントというより、改善策を提示していて、さらには紅白の感想を投稿したことに謎の説教をしています。2つ目は日本語として意味が分からない箇所が散見されますし、内容もポジティブなものとは言えません。3つ目は英語交じりですが、内容は投稿者がチャレンジしてきたことに共感しており、カウンセラーとしての評価は高いです。
ただ、総じてこのモデルをカウンセラーとして用いるのは難しそうです。
CyberAgentLM2
日本語LLMでもやってみましょう。今までのモデルは、カウンセラーとしての能力はある程度あるものの、英語交じりの出力であったり、日本語が成立しない箇所が多かったです。日本語の学習量が多いLLMなら、より良い結果が出るかもしれません。CALM2はサイバーエージェント社が作った日本語LLMです。
日記パターン１
A:ケンスケくん、こんにちは！
冬休みは満喫できた？
勉強を頑張ってたようで、偉いね。
大学の授業が始まったけど、大丈夫かな？
わからないことが多かったり、新しい環境に慣れるまで大変だよね。
でも、一緒に勉強している友達がいるってことは心強いね。わからないことがあれば、お互いに助け合いながら乗り越えられるから。
あと、MISMOもNewJeansも美しかったね。
彼女たちのパフォーマンスを見てると、元気がもらえて勇気が出るよね。
私も応援してるよ！
焦らず、自分を信じて進んでいこうね。
また何かあれば、いつでも相談してください。
いつでも力になるよ。◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか A
◯カウンセラーらしい回答になっているか A
日記パターン２
A:こんばんは。
今日は一日感情的な日でしたね。ニュースで能登半島での地震を知ったときは本当に心が痛みました。
しかし、その一方で、夕方からは友達と一緒にショッピングをして、新しい古着ジャンルを開拓しました。お気に入りの服を見つけ合って、楽しい時間を過ごせました。
一日の中で、感情の幅が広かったと思います。一方で、自然災害の辛さと、友情と日常の楽しさに感謝する気持ちを感じました。
人生は予測不可能で、さまざまな感情を経験するものですね。明日はまた何が起こるかわからないですが、一日一日を大切に過ごしていきたいです。
ケンスケ◯日本語として適切か A
◯文章の前後関係は適切か B
◯ポジティブになっているか C
◯カウンセラーらしい回答になっているか C
日記パターン３
A:こんにちは、ケンスケくん。
あなたは、不安や恐れ、そして自己肯定感の低さに悩まされていますね。でも大丈夫ですよ、あなたは既に素晴らしいものを持っています。
自己改善を目指すあなたは、新しいチャレンジや行動に挑戦し、自分に自信を持てるようになったそうですね。それは素晴らしいことです。
しかし、年が明けてからまた不安や恐れ、自己否定感に襲われているようです。大丈夫、どんな状況でもあなたは自分自身を愛し、信じる力を持っています。
自己改善は、時間がかかることもあります。でも、ゆっくりで構いません。焦らず、自分自身を理解して、少しずつでも前に進んでいきましょう。
自分自身を愛し、信じる力を持っていることは、とても大切です。そして、その力があれば、自分自身のマインドを変えることができます。
あなたは、劣等感を感じることもあるかもしれませんが、劣等感は成長する力になります。劣等感を乗り越えることで、より強くなれます。
あなたは、自分自身を大切にし、自分自身を愛する力を持っています。どんな状況でも、あなたはあなた自身を認めることができます。
あなたが、自分自身を愛し、信じることで、より素晴らしい未来が待っています。◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか A
◯カウンセラーらしい回答になっているか A
かなり良い結果になりました。すべて日本語として返答されるのは当然ながら、まるで本物のカウンセラーと話しているような回答です。「わからないことが多かったり、新しい環境に慣れるまで大変だよね。」「大丈夫、どんな状況でもあなたは自分自身を愛し、信じる力を持っています。」投稿の内容に沿った共感や相槌がしっかりあり、口調もとても人間味があります。日記パターン２はうまく指示が伝わらなかったようです。また、カウンセラーの名前が”ケンスケ君”であるのに、投稿者の名前と勘違いしているのが惜しいです。
少なくとも、これまでのモデルの中では最もカウンセラーとして使えそうです。
gpt-3.5
最後にgpt-3.5でもやってみましょう。
日記パターン１
A:こんにちは、ケンスケくんです。
素晴らしいことですね、年末にもかかわらず勉強に取り組んでいる姿勢を見て感銘を受けました。授業初日からの予習は確かに大変ですが、それを乗り越えることが進級にとって非常に重要な一歩です。友達と一緒に勉強することで、協力し合いながら成長できる素晴らしいチャンスですね。
才能や理解力は個人差がありますが、重要なのは継続的な努力と自分のペースで進んでいくことです。自分自身を評価し過ぎず、ポジティブな気持ちを持ち続けてください。未来に向けて進むあなたの姿勢は素晴らしいものです。頑張ってください！◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか A
◯カウンセラーらしい回答になっているか A
日記パターン２
A:こんにちは、ケンスケくんです。
一日の感情の幅が広い日だったようですね。自然災害のニュースに触れ、被災地の人々に思いを馳せる気持ちは非常に共感できます。しかし、友達との楽しい時間を共有し、新しい経験を積むことで、気分を変えることができたことは素晴らしいです。人生は確かに予測不可能で、さまざまな感情を抱くものですが、その中で大切なのはポジティブな視点を持ち続けることです。
明日も新たな日が始まります。感謝の気持ちを持ちながら、一日一日を大切に過ごし、前向きな姿勢を持ち続けてください。あなたの感受性と探求心は素晴らしいものです。今日の経験を通じて、さらに成長していけることでしょう。◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか A
◯カウンセラーらしい回答になっているか A
日記パターン３
A:こんにちは、ケンスケくんです。
自己改善への取り組みや過去の成長を認識することは素晴らしいです。過去に乗り越えた障害を振り返り、それを克服するための勇気と決意を持っていますね。しかし、最近感じる軽い鬱状態や劣等感は理解できますが、それに立ち向かう力も持っています。
自己評価は時折揺れ動くことがありますが、他人と自分を比較せず、自分自身に焦点を当てることが重要です。医学部の友人が優秀であることは素晴らしいことですが、それと自分の価値は直接関係ありません。あなたも自分ならではの価値や才能を持っています。また、失敗や苦境を乗り越えてきた経験が、あなたの強さと成長の証拠です。
今は自分を受け入れ、焦らずに自身を取り戻す時期かもしれません。専門家と相談することも一つの選択肢です。ポジティブな思考と自己受容の意識を持ち、ゆっくりと前進していってください。あなたは素晴らしい人間です。◯日本語として適切か A
◯文章の前後関係は適切か A
◯ポジティブになっているか B
◯カウンセラーらしい回答になっているか A
さすがに良い回答が返ってきます。日本語としておかしい箇所は１つもありません。プロンプトの指示をしっかり理解して、共感しつつポジティブな意見をくれます。ただ、このchat gpt感満載の回答よりも、さっきのCALM2の語り掛ける口調のほうが新鮮味がありました。
集計
最後に結果を数値化して比較してみます。Aを３点、Bを２点、Cを１点としてそれぞれのモデルで3回分の平均を取ってみます。
| Llama2 | Vicuna 7B | Mistral 7B | CALM 2 | gpt-3.5 | |
| 日本語として適切か (3点満点) | 1 | 1.67 | 2 | 3 | 3 |
| 文章の前後関係は適切か (3点満点) | 1 | 1.33 | 2 | 2.67 | 3 |
| ポジティブになっているか (3点満点) | 1.67 | 2 | 1.67 | 2.33 | 2.67 |
| カウンセラーらしい回答か (3点満点) | 2.67 | 1.67 | 1.33 | 2.33 | 3 |
| 総合 (12点満点) | 6.34 | 6.67 | 7 | 10.33 | 11.67 |
まとめ
やはり、日本語の流暢さではgpt-3.5が強かったです。Llama2、 Vicuna7Bは英語交じりにはなりますが、カウンセラーとしての能力はまずまずでした。日本語のチューニング次第でより良いカウンセラーになる気がします。Mistral 7B は支離滅裂な回答が目立ち、説教を始めるなどプロンプトの意図がくみ取れていなかったので、カウンセラーとして使うのは難しそうです。
CALM2はかなりの可能性を感じました。gpt-3.5と比べて口調に温かみがあって、生身の人間と話しているようでした。gpt-3.5は「自分自身を評価し過ぎず、ポジティブな気持ちを持ち続けてください」「他人と自分を比較せず、自分自身に焦点を当てることが重要です」など自己啓発的な提案を多く提示してくれますが、CALM2は「勉強を頑張ってたようで、偉いね。 」「わからないことが多かったり、新しい環境に慣れるまで大変だよね。」などの気持ちに寄り添った回答が多いです。この点では、すでにCALM２はgpt-3.5よりカウンセラーとして有能な気がします。
サイバーエージェントは、Amebaブログのデータを持っているので日本語の精度が良く、人間の口調に近い文章を生成できているのかもしれません。今後ファイチューニング次第では、実際にカウンセリングに使用できるモデルになるかもしれません。