対顧客向けに生成AIを活用するときに考慮する1つの観点とは　～Azure AI Content SafetyがGA（正式公開）しました～

生成AIを利用したアプリケーションを対顧客向けに提供する場合、そのアプリケーションがユーザーに対して、不適切（ヘイトフル、差別的、暴力的、性的、自傷的等）な表現を行うと、ユーザーがブランドやプラットフォームを離れる原因となり、ビジネスに損失をもたらす可能性があります。

Azure AI Content Safetyは、テキストや画像内の不適切なコンテンツを検出するためのコンテンツモデレーションプラットフォームで、以下の記事にあるようにGAされました。

techcommunity.microsoft.com

生成AIを対ユーザー向けに提供する際、非常に有益なサービスですので、今回は上記Microsoft社のコラムの内容を訳しながら、ポイントを説明していきたいと思います。

まずは動画でイメージを掴む

もし、Azure AI Content Safetyを全くご存知無い場合は、コラムの紹介に入る前に、以下の動画をご覧ください。イメージがついて、コラムの内容がわかりやすくなると思います。

youtu.be

上記動画の要約

ユーザー生成・AI生成コンテンツの増加に対応し、ビジネスはAzure AI Content Safetyを用いてデータのモデレーションを行うことができる
このサービスは憎悪、暴力、性的、自己危害コンテンツを検出し、ユーザーの安全を保ちながらオンライン体験を楽しむ手助けする
悪質なコンテンツは重大度スコアと共に検出され、優先順位付けしてレビューが可能
ソーシャルメディアプラットフォームやゲーミング業界は、このサービスを利用してソーシャル機能とユーザー生成コンテンツの監視が行える
Azure AI Content Safetyは信頼性が高く効果的であり、他のAzure AI製品でも利用されている

Content Safety is Paramount in Today's World ～コンテンツの安全性が今日最も重要

It is crucial to consider more than just human-generated content, especially as AI-generated content becomes prevalent. Ensuring the accuracy, reliability, and absence of harmful or inappropriate materials in AI-generated outputs is essential. Content safety not only protects users from misinformation and potential harm but also upholds ethical standards and builds trust in AI technologies. By focusing on content safety, we can create a safer digital environment that promotes responsible use of AI and safeguards the well-being of individuals and society as a whole. 特にAIが生成するコンテンツが普及するにつれて、人間が生成したコンテンツ以上のものを考慮することが極めて重要になる。AIが生成するアウトプットの正確性、信頼性、有害または不適切な素材がないことを保証することは不可欠である。コンテンツの安全性は、誤った情報や潜在的な危害からユーザーを守るだけでなく、倫理基準を守り、AI技術に対する信頼を築くことにもつながる。コンテンツの安全性に焦点を当てることで、AIの責任ある利用を促進し、個人と社会全体の幸福を守る、より安全なデジタル環境を作り出すことができる。

例えば、ChatGPTを利用することを考えた場合、勿論、GPTのモデルはできるだけ不適切な表現をしないような訓練がなされていますが、すべてGPTに頼るのではなく、ユーザーに対して、より安全なコンテンツを届けるために、そのための仕組みをちゃんと考えておくことが重要です。

Explore the essential components of Azure AI Content Safety ～Azure AI Content Safetyの重要なコンポーネントを確認

Multilingual Proficiency: In today's globalized digital ecosystem, content is produced in countless languages. Azure AI Content Safety is equipped to handle and moderate content across multiple languages, creating a universally safe environment that respects regional nuances and cultural sensitivities.
多言語能力：今日のグローバル化したデジタルエコシステムでは、コンテンツは無数の言語で作成されています。Azure AI Content Safetyは、多言語のコンテンツを処理し、モデレートする機能を備えており、地域のニュアンスや文化的感受性を尊重した普遍的で安全な環境を構築します。

多言語に対応しています。

Severity Indication: Our content safety product offers a unique 'Severity' metric, which provides an indication of the severity of specific content on a scale ranging from 0 to 7. This metric is designed to cater to different user needs, offering both four-level granularity for quick testing and eight-level granularity for advanced analysis. By providing businesses with this flexibility, they can swiftly assess the level of threat posed by certain content and develop appropriate strategies to address it. This feature empowers businesses to make informed decisions and take proactive measures to ensure the safety and integrity of their digital environment. 重大性の表示当社のコンテンツ・セーフティ製品には、特定のコンテンツの深刻度を0～7の範囲で示す独自の「深刻度」指標があります。この指標は、さまざまなユーザーのニーズに対応できるように設計されており、迅速なテストには4段階の粒度を、高度な分析には8段階の粒度を提供します。企業にこのような柔軟性を提供することで、特定のコンテンツがもたらす脅威のレベルを迅速に評価し、それに対処するための適切な戦略を策定することができます。この機能により、企業は十分な情報に基づいた意思決定を行い、デジタル環境の安全性と完全性を確保するための事前対策を講じることができます。

提供するサービス形態や、利用するユーザーを想定して、どのレベルまで許容するかを定義して、サービス設計することになります。

Multi-Category Filtering: Azure AI Content Safety can identify and categorize harmful content across several critical domains. Hate: Content that promotes discrimination, prejudice, or animosity towards individuals or groups based on race, religion, gender, or other identity defining characteristics. Violence: Content displaying or advocating for physical harm, threats, or violent actions against oneself or others. Self-Harm: Material that depicts, glorifies, or suggests acts of self-injury or suicide. Sexual: Explicit or suggestive content, including but not limited to, nudity and intimate media. マルチカテゴリフィルタリング： Azure AI Content Safetyは、いくつかの重要な領域にわたって有害なコンテンツを特定し、分類することができます。ヘイト：人種、宗教、性別、その他のアイデンティティを定義する特徴に基づく個人または集団に対する差別、偏見、敵意を助長する内容。暴力：自分自身または他者に対する身体的危害、脅迫、暴力的行為を表示または擁護するコンテンツ。自傷行為：自傷行為や自殺行為を描写、美化、示唆する内容。性的なもの：ヌードや親密なメディアを含むがこれに限定されない、露骨または暗示的な内容。

Text and image detection: In addition to text, digital communication also relies heavily on visuals. Azure AI Content Safety offers image features that use advanced AI algorithms to scan, analyze, and moderate visual content, ensuring 360-degress comprehensive safety measures.
テキストと画像の検出：テキストに加えて、デジタルコミュニケーションはビジュアルにも大きく依存している。Azure AI Content Safetyは、高度なAIアルゴリズムを使用してビジュアルコンテンツをスキャン、分析、緩和する画像機能を提供し、360度包括的な安全対策を実現します。

文章だけでなく、画像にも対応しています。そのため、ChatGPTだけではなく、DALL-Eの生成画像等にも対応可能です。

Get started with Azure AI Content Safety ～Azure AI Content Safetyを始める

コンテンツの安全性をチェックする方法は2つあります。

1．API/SDK Integration

With the Azure AI Content Safety API/SDK, integrate content safety checks seamlessly into your applications or platforms. Simply send your content for analysis and receive a response indicating the severity level. Streamline the integration process and unlock additional features and functionalities with the SDK. Refer to the quickstart documentation to play with API/SDK. Azure AI Content Safety API/SDKを使えば、コンテンツの安全性チェックをアプリケーションやプラットフォームにシームレスに統合できます。分析のためにコンテンツを送信し、重大度レベルを示す応答を受信するだけです。統合プロセスを合理化し、SDKを使用して追加の機能や特徴をアンロックします。API/SDKを使用するには、クイックスタート・ドキュメントを参照してください。

日本語のサイトは以下です。 learn.microsoft.com

2．Azure AI Content Safety Studio

For a more interactive experience, Azure AI Content Safety Studio offers a comprehensive web-based interface. Experience the power of this tool as it empowers you to conduct rapid content safety testing. With the added advantage of a monitoring dashboard, you can easily track and manage content safety standards. The Studio provides a user-friendly and customizable environment, enabling you to effectively manage and maintain content safety with utmost efficiency. よりインタラクティブな体験のために、Azure AI Content Safety Studioは包括的なWebベースのインターフェイスを提供します。迅速なコンテンツセーフティテストの実施を可能にするこのツールのパワーを体験してください。監視ダッシュボードの利点も加わり、コンテンツ安全基準を簡単に追跡・管理できます。Studioはユーザーフレンドリーでカスタマイズ可能な環境を提供し、コンテンツセーフティの管理と維持を効率的に行うことができます。