インテリジェンスモダリティ
eFabric™ エコシステムでは、「インテリジェンス」はワンサイズフィットオールの概念ではありません。異なるセンサーは異なるデータパターンを生成し、それぞれに特定の数学的アプローチが必要です。eFabric™はオーディオインテリジェンスで世界的に有名ですが、プラットフォームはマルチモーダルファクトリーとして構築されており、センサーフュージョンとビジョンAIにも拡張されています。
オーディオインテリジェンス：キーワードスポッティング対音声識別
オーディオは「Always-On」デバイスのプライマリモダリティです。eFabric™はマイクロワットスケールで音響データを処理することに特化しており、デバイスがユーザーのプライバシーを侵害したりバッテリーを消耗させることなく特定のシグネチャを聴くことができます。eFabric™ エコシステムでは、オーディオは単なる音波ではなく、100ms〜200msのレイテンシウィンドウ内で圧縮・分析されなければならない複雑で時変信号です。
オーディオ前処理パイプライン
ニューラルネットワークが何かを「聞く」前に、生のPCM（パルスコード変調）オーディオを変換する必要があります。eFabric™は洗練されたDSPパイプラインを介してこれを自動化します：
- フレーミングとウィンドウ処理: 継続的なストリームは小さな「フレーム」（通常20〜40ms）にスライスされます。スペクトル漏洩を最小化するためにこれらのフレームにハミングまたはハン窓を適用します。
- ログメルスペクトログラム: これが「音の視覚」です。高速フーリエ変換（FFT）を使用して時間領域信号を周波数領域に変換します。リンク次に、これらの周波数を人間の聴覚を模倣するメルスケールにマッピングし、音声とほとんどの機械「シグネチャ」が存在する低周波数を優先します。
- 対数スケーリング: エネルギーレベルに対数関数を適用します。これにより、モデルが実世界の堅牢性に必要なダイナミックレンジを提供しながら、「ウィスパー」を「ショウト」と同じくらい正確に検出できます。
キーワードスポッティング（KWS）：
KWSは最も要求の高いオーディオモダリティです。静かな環境での0.0%の偽拒否率（FRR）と、騒がしい環境での最小の偽受理率（FAR）リンクが必要です。
- コンセプト: 特定の「ウェイクワード」（例：「Hey Meritech」）を検出します。
- 特徴バッファリング: eFabric™はスライディングウィンドウ（循環バッファ）を使用して最後の1〜2秒のオーディオ特徴を保持します。
- テクノロジー: 連続的なオーディオストリームを監視するためにCNNベースのアーキテクチャを使用します。事前訓練されたスペクトログラムシグネチャに対して高信頼度のマッチを探します。これにより、モデルはある音から次の音への遷移を学習し、異なるアクセントと話速に耐性があります。
- 最適化: eFabric™ モデルは「ノイズインジェクション」に対して堅牢になるように訓練されています—混雑した部屋や移動する車内でもキーワードを聞くことができます。テレビやラジオからの誤トリガーを防ぐために、eFabric™ではキーワードに似ているが違う「ガベージ」または「シャドウ」クラスを訓練できます。
音声イベント検出（SED）：
KWSが特定のパターンを探す一方、SEDは音響シグネチャを識別します。
コンセプト: イベントを意味する非音声の音を識別します。
ユースケース: ガラス破損検出、赤ちゃんの泣き声監視、緊急サイレン識別。
技術的エッジ: KWSとは異なり、SEDはしばしばモデルが音の持続時間と強度を理解する必要があり、ノイズの時間的「形状」を追跡するためにRNN/GRUレイヤーを使用します。
スペクトル複雑性: ガラスの割れる音やアラームは高周波の過渡信号と広いスペクトル分布を持っています。eFabric™はCNNレイヤーで特殊なカーネルを使用してこれらの「パーカッシブ」なイベントを識別します。
時間的メモリ（GRU統合）: 展開するのに時間がかかるイベント（赤ちゃんの泣き声など）のために、eFabric™はGated Recurrent Units（GRU）を採用します。これにより、モデルが数秒にわたって泣き声のリズミカルな性質を「記憶」し、単一の大きな音と区別できます。
オーディオのための開発者の技術チェックリスト
| メトリクス | 目標仕様 | eFabric™ の優位性 |
|---|---|---|
| サンプルレート | 16 kHz（標準） | Syntiant® NDPオーディオバッファ向けに最適化。 |
| ビット深度 | 16ビットPCM | 直接取り込み；外部トランスコーディング不要。 |
| 推論レイテンシ | < 200 ms | シリコンネイティブパスがほぼリアルタイムの応答を確保。 |
| メモリフットプリント | < 100 KB（重み） | Int8量子化とDSPプルーニングによって達成。 |
センサーフュージョンと時系列データ
オーディオが環境の「音響シグネチャ」を捉える一方、センサーフュージョンは世界の物理的ダイナミクスに焦点を当てます。eFabric™ エコシステムでは、これはIMU（慣性計測ユニット）からの高周波データ—具体的にはアクセロメーターとジャイロスコープ—および環境センサーの処理を含みます。これは時系列分析として知られています。
開発者にとって、ここでの課題は時間的相関です：時間的に特定のイベントを構成する物理的な動きのシーケンスをどのように識別するか。
A. 時系列処理エンジン
オーディオと異なり、2Dスペクトログラムとして処理されますが、センサーデータはしばしばマルチチャンネル時系列信号として扱われます。eFabric™はこれを処理するための専用パイプラインを採用しています：
軸同期: eFabric™は3軸（X、Y、Z）アクセロメーターからのデータを整列させ、ニューラルネットワークが統一された「モーションベクトル」を見るようにします。
信号フィルタリング: 生のセンサーデータは非常にノイジーです。eFabric™は組み込みのローパスおよびバンドパスフィルターを使用して、データがモデルに到達する前に重力バイアスと高周波ジッタを除去します。
ウィンドウとオーバーラップ: 「ダブルタップ」や「ジェスチャー」を捉えるために、eFabric™はセンサーストリームをウィンドウにスライスします。オーバーラップのあるスライディングウィンドウ（例：50%オーバーラップの500msウィンドウ）を使用することで、プラットフォームは2つの処理サイクルの隙間でイベントが失われないようにします。
B. 産業用異常検出：予知保全
振動フィンガープリンティング: すべてのモーターには固有の振動「フィンガープリント」があります。eFabric™ モデルは健全な動作の基本周波数を認識するように訓練されています。
高調波分析: 軸受が摩耗したりシャフトが不整列になったりすると、センサーは「高調波」—特定の間隔での二次振動—を検出します。eFabric™はCNNレイヤーを使用して振動データのこれらのスペクトル変化を検出します。
トレンド分析: TML120上にこれらのモデルをデプロイすることで、工場は「スケジュール保全」から「状態ベース保全」に移行し、ダウンタイムで何千もの節約をします。
C. 人間活動認識（HAR）とジェスチャー
「メモリ」ファクター（RNN/GRU）: 「転倒」や「手首の傾き」を検出するには、モデルが動きの進行を理解する必要があります。eFabric™はGated Recurrent Units（GRU）を使用して隠れ状態を維持します：
これにより、モデルはユーザーが座っている動作と実際に転倒している動作を区別できます。
ジェスチャーロジック: eFabric™は「アクティブ」対「パッシブ」モーション状態を定義でき、マイクロワットスケールのNDPで特定の検証されたジェスチャーが検出された場合にのみ高電力アプリケーションプロセッサが起動するようにします。
D. 自動車インテリジェンス：EVバッテリーセンチネル
RULとSOH推定: 温度と電気負荷の微細な変動を分析することで（時系列データ）、eFabric™ モデルは残存有効寿命（RUL）と健全性状態（SOH）を推定します。
熱的ストレス検出: モデルはバッテリー故障の数秒前に発生する「熱暴走」シグネチャ—熱と振動のパターン—を監視し、即時の安全トリガーを可能にします。
センサーのための開発者の技術チェックリスト
| メトリクス | 目標仕様 | eFabric™ の優位性 |
|---|---|---|
| サンプリングレート | 50Hz〜1600Hz | ターゲットイベントのナイキスト周波数に合わせて完全に設定可能。 |
| データチャンネル | 最大6（加速度計+ジャイロ） | 外部数学ライブラリなしでのマルチ軸フュージョンのネイティブサポート。 |
| 特徴抽出 | RMS、平均、標準偏差、FFT | Int8量子化に最適化された自動特徴エンジニアリング。 |
| 統合 | I2C / SPI to NDPリンク | センサーからチップへの直接パス；ホストMCUはディープスリープに留まります。 |
ビジョンAI
エッジでのビジョンは従来、高帯域幅カメラと熱を発生させるプロセッサを必要とする「電力を消費する」モダリティでした。eFabric™はコンピュータビジョン（CV）をSyntiant® NDP200およびNDP250リンクシリーズに持ち込むことでこれを破壊し、バッテリー駆動のデバイスがマイクロワット電力エンベロープを離れることなく周囲を「見て」「解釈」できるようにします。
A. 低解像度インテリジェンスへのシフト
eFabric™ エコシステムでは、ビジョンAIは高精細録画についてではなく、意味的理解についてです。
コンセプト: 1080pのビデオストリームを処理する代わりに、eFabric™ モデルは低解像度・低フレームレートのビジュアルデータで動作します。目標はイベントを検出することであり、詳細を捉えることではありません。
プライバシーバイデザイン: モデルがNDPシリコン上で完全に動作するため、生の画像データは保存または送信されません。チップは高レベルのメタデータトリガー（例：Person_Detected = True）のみを出力し、プライバシー準拠のスマートスペースの高い標準を実現します。
B. 主要なビジョンモダリティ
バイナリ存在検出と人数カウント
高電力のセキュリティカメラとは異なり、eFabric™ ビジョンはバイナリ存在検出のために設計されています。「フレームに人間がいるか？」という質問に答えます。
顔認識と認証
モデルがローカルで肯定的な視覚マッチを行った後にのみ高電力システムをアクティブにするセキュリティエントリポイントの低解像度「顔ID」を実装します。
物体分類
データはシリコンレベルで処理されるため、画像は保存または送信されません。チップは「メタデータトリガー」のみを出力します（例：Person_Detected = True）。
C. ビジョンニューラルエンジン：NDP200/250
並列ウィンドウ処理: ハードウェアは画像の複数の部分を同時に見てマッチを見つけ、複雑なビジュアル入力でも決定論的推論を維持できます。
ネイティブ画像スケーリング: NDPハードウェアはカメラ入力を自動的にダウンサンプリングして正規化し、ニューラルネットワークレイヤーから重い「画像準備」作業をオフロードします。
ビジョンのための開発者の技術チェックリスト
| メトリクス | 目標仕様 | eFabric™ の優位性 |
|---|---|---|
| 入力解像度 | 最大QVGA（320 x 240） | ビデオ再生ではなく特徴抽出のために最適化。 |
| 電力プロファイル | アクティブビジョン中 < 5 mW | 従来の組み込みビジョンCPUの100倍低い。 |
| モデルタイプ | 最適化されたMobileNet / SSD | 2D畳み込みレイヤーのハードウェアネイティブマッピング。 |
| フレームレート | 1〜5 FPS（調整可能） | エッジでの存在と状態検出に十分。 |