SenseCAP Watcher W1-A(透明ケース版)

よりスマートな空間にするフィジカルAIエージェント
フィジカルAIエージェントは、センサーやアクチュエータを使って現実世界の情報を収集し、AIを使用してユーザーや他のシステムに代わり特定の目標を達成するシステムです。
SenseCAP WatcherはコントローラにESP32S3を使用し、AI処理用にArm Cortex-M55とEthos-U55を採用したHimax製のWiseEye2プロセッサHX6538を搭載しています。さらに、カメラ、マイク、スピーカーを備え、見る、聞く、話すことができます。そして、LLM(大規模言語モデル)に対応するSenseCraftスイートにより、ユーザーのコマンドを理解し、周囲を認識し、それに応じてアクションをトリガーすることができます。
・話しかけて何を監視するかを伝えると、指定したイベントが発生したときに通知してくれます。Push to TalkやSenseCraftアプリから簡単にコマンドを送信できます。
・デバイス上でAIモデルを実行し、人やペットなどさまざまなものを検出します。ただし、最も優れた機能はLLMとの統合です。LLMを活用することで指定したイベントを正確にキャプチャします。つまり、単純なターゲット検出だけでなく、動作とステータスを徹底的に分析してくれます。
・指定したイベントを検知すると、音声でターゲットと会話してくれます。
・ターゲットイベントを検出すると、SenseCraftアプリでメッセージを発信したり、LEDを点滅させたりといったさまざまなアクションをトリガーします。ホームアシスタントなどのIoTプラットフォームに接続したり、任意のGroveセンサーを接続することも可能です。この柔軟性により、さまざまなデータソースを統合して、分析と適切なアクションを実行します。例えば、部屋の温度を検出してそれに応じてエアコンを調整するようなアプリケーションを構築することや、エアコンの設定温度を現在の服装に合わせて変更することなども可能です。
・独自のモードでユーザーのコマンドに適応し、ユーザーの指示を聞いてから、指定されたスペースを保護するために監視モードに切り替わります。さらに、独自の感情をアップロードして、独自の個性を与えることができます。PNGファイルを用意して、数秒以内にWatcher にアップロードしてください。
・SenseCAP Watcherはオープンソースなので、その仕組みを理解するためのアクセス権が与えられます。
SenseCAP WatcherのバックボーンはSenseCraftソフトウェアスイートで、Watcherの設定、コマンドの解釈、LLMへのアクセスに使用されます。したがって、すべてがプライベートに保存されて実行されるため、モデルとデータがパブリックLLMやパブリッククラウドにストリーミングされることはありません。SenseCraftは、Windows/MacOS/Linuxで実行できます。SenseCraftにはLLMが含まれているため、コンピュータには次のような特定のパフォーマンス基準が必要です。
・Windowsの場合
グラフィックカード：GeForece RTX2070、RAM：8GB、ストレージ：20GB、OS：Windows11
・Macの場合
グラフィックカード：Apple M1 16GB、RAM：16GB、ストレージ：20GB、OS：Sonoma
・Linux(arm64)の場合
グラフィックカード：GeForece RTX2070、RAM：8GB、ストレージ：20GB、OS：Ubuntu 20.04