–
跨域智慧晶片設計課程推廣計畫
Cross-Domain Smart Chip Design Course Promotion Program
計畫與專案
楊老師主持或共同主持的研究計畫，以及實驗室開發的開源程式與系統。
研究計畫 1
執行中
程式與系統 10
同時聽語氣和內容判斷情緒，給出各種情緒的可能性，而不是只貼一個標籤。
比較雙向 Mamba 與 Transformer 骨幹於 IEMOCAP 文字加語音多模態情緒辨識的表現，並採用聯合 Valence-Arousal 機率輸出；為 arXiv 預印本 2609.05755 的程式碼釋出。
臉和聲音都對得上才放行，只需要一般的網路攝影機和麥克風。
雙階段驗證設計：先以 VGG16 人臉分類器辨識已註冊使用者，再以 ResCNN 語者編碼器驗證其聲音，僅需一般網路攝影機與麥克風；發表於 ICETA 2024。
用攝影機協助監考：辨識考生身分並理解場景，運算量小到能在教室現場的裝置上執行。
以視覺為基礎的監考系統，結合 Swin-T 語意分割（準確率 92.74%）與 ShuffleNet V2 人臉辨識（98.58%），於決策層融合，可部署於邊緣裝置。
成員 林庭毅
校內儲能系統的 AI 與邊緣運算
在校內儲能系統旁的小型運算裝置上壓縮量測資料，並預測系統接下來的狀態。
協助彰師大校內 1 MW 儲能系統運轉：邊緣裝置以離散小波轉換、短時傅立葉轉換與 Huffman 編碼處理量測資料，以 LSTM 類神經網路預測系統行為，並分析電力品質與太陽能整合，朝零耗能校園（SDG 7）邁進。
成員 朱冠軍
人臉辨識點名管理系統
已封存用攝影機認臉，自動點名。
以 Tkinter 與 OpenCV 開發的桌面應用程式，可擷取人臉影像、訓練辨識模型並即時記錄出席，結果存入 CSV 或 MySQL 資料庫，亦可手動補登；由 TEEP 計畫支持。
嵌入式小波類神經網路心電圖分析
已封存在平價微控制器上判讀心電圖，分辨不同類型的心跳。
以小波轉換進行心電圖心跳訊號的前處理與特徵擷取，並以 ANN 與 CNN 分類心跳，部署於低成本微控制器（Arduino Nano、ESP8266 MicroPython）。
從兩棟校舍的電表資料看懂用電規律，並預測接下來的用電。
利用彰師大兩棟建築（HT5、HT9）2022 年 9 月的智慧電表資料，進行校園用電量的分析與預測。
PatrolBot 自主巡邏系統
已封存會自己巡邏的機器小車，能維持直線行駛，並以雷射測距感測周遭距離。
設計並建置自主巡邏機器車，以 MPU-6050 慣性感測器搭配 PID 控制維持直線行駛，並使用 ESP32 搭配 VL53L 系列測距感測器與 Blynk 監控。
以 T5 與線性投影進行美國手語翻譯
已封存把美國手語翻成英文句子。
將手語特徵經線性層投影至 T5 語言模型，把美國手語翻譯成英文文字。
手語翻譯
已封存從影像辨識手語，轉換為文字或語音。