透過 Qt6 讀取麥克風、搭配 Whisper.cpp 進行語音辨識

在 Qt 6 裡面對應到系統音訊裝置的類別是是 QAudioDevice（官網），包含了輸入（麥克風等）和輸出（喇叭、耳機等）的裝置。而要取得這些裝置物件的話，主要是透過 QMediaDevices（官網）來取得；比如說想要取得系統所有的音訊輸入來源的話，就是：

const QList<QAudioDevice> audioDevices = QMediaDevices::audioInputs();
for (const QAudioDevice& device : audioDevices)
{
  qDebug() << "ID: " << device.id() << "\n"
           << "Description: " << device.description() << "\n"
           << "Is default: " << (device.isDefault() ? "Yes" : "No") << "\n";
}

在 Heresy 的電腦上執行後，會出現下面的結果：

Accessing QMediaDevices without a QCoreApplication
ID:  "{0.0.1.00000000}.{1c6bf656-89ce-4444-a2a5-693a827e167f}"
 Description:  "麥克風 (Logitech BRIO)"
 Is default:  Yes

ID:  "{0.0.1.00000000}.{033d72cd-b632-4476-a3b3-c227b0a5d4f0}"
 Description:  "Microphone (VIVE Virtual Audio Device)"
 Is default:  No

ID:  "{0.0.1.00000000}.{becb16e9-8e08-4cdf-8242-bf7c60248614}"
 Description:  "麥克風 (Realtek USB Audio)"
 Is default:  No

而如果很單純，只是要去抓系統預設的音訊輸入裝置的話，那只要寫成：

QAudioDevice device = QMediaDevices::defaultAudioInput();

這樣就可以了。

在確定要使用的音訊來源裝置後，要讀取聲音資料則是要透過 QAudioSource 這個類別（官網）；而在音訊格式設定的部分，則是要透過 QAudioFormat（官網）來定義。

這邊要建立 QAudioSource 可以寫成：

// audio format
QAudioFormat format;
format.setSampleRate(16000);
format.setChannelCount(1);
format.setSampleFormat(QAudioFormat::UInt8);

if (device.isFormatSupported(format))
{
  QAudioSource* audio = new QAudioSource(device, format);
  //TODO...
  delete audio;
}
else
{
  qDebug() << " format not support";
}

這邊 QAudioFormat 是設定了採樣頻率、聲道數、還有採樣格式。

然後，要先確認指定的裝置是否有支援這樣的格式，如果有支援就可以建立出 QAudioSource 的物件了。

之後，則就可以透過 start()、stop() 這類的函示來錄音和停止了。而要把聲音資料寫到哪裡，則是在呼叫 start() 時設定，允許的型別是繼承自 QIODevice 的型別。

比如說如果要把資料直接寫到檔案的話，可以寫成：

QFile file("./test.raw");
file.open(QIODevice::WriteOnly | QIODevice::Truncate);
audio->start(&file);

要結束的時候，則在呼叫 audio->stop()、並把檔案關閉就可以了。

而如果是要儲存到記憶體裡面、等下要使用的話，則可以用 QBuffer（官網）來接。

下面就是一個可以運作的完整範例：

#include <QApplication>
#include <QMediaDevices>
#include <QAudioDevice>
#include <QAudioSource>
 
#include <QLabel>
#include <QFile>
 
class MyWidget : public QLabel
{
public:
  MyWidget(QWidget* parent) : QLabel(parent)
  {
    devAudio = QMediaDevices::defaultAudioInput();
    setText(devAudio.description());
 
    QAudioFormat format;
    format.setSampleRate(16000);
    format.setChannelCount(1);
    format.setSampleFormat(QAudioFormat::UInt8);
 
    if (devAudio.isFormatSupported(format))
    {
      audioSrc = new QAudioSource(devAudio, format);
 
      file.setFileName("./test.raw");
      file.open(QIODevice::WriteOnly | QIODevice::Truncate);
      audioSrc->start(&file);
    }
  }
 
  ~MyWidget()
  {
    audioSrc->stop();
    file.close();
    delete audioSrc;
  }
 
protected:
  QAudioDevice devAudio;
  QAudioSource* audioSrc = nullptr;
  QFile file;
};
 
int main(int argc, char* argv[])
{
  QApplication app(argc,argv);
  MyWidget w(nullptr);
  w.show();
  return app.exec();
}

這個範例在執行後會開啟一個 QLabel 構成的視窗、顯示目前使用的音訊輸入裝置的名稱，同時也會開始將聲音錄製到執行目錄下的 test.raw 這個檔案；當關閉視窗的時候，會結束錄製。

不過由於這個檔案沒有特別的編碼、就是聲音的原始資料而已，所以一般軟體應該打不開就是了。

如果要搭配 Whisper.cpp 寫一個最簡單的語音辨識程式，大概可以寫成下面的樣子：

#include <QApplication>
#include <QMediaDevices>
#include <QAudioDevice>
#include <QAudioSource>
 
#include <QWidget>
#include <QPushButton>
#include <QLabel>
#include <QVBoxLayout>
#include <QBuffer>
 
#include <whisper.h>
 
class MyWidget : public QWidget
{
public:
  MyWidget(QWidget* parent) : QWidget(parent)
  {
    // setup UI
    QVBoxLayout* layout = new QVBoxLayout(this);
    QPushButton* button = new QPushButton("REC");
    QLabel* label = new QLabel();
    layout->addWidget(button);
    layout->addWidget(label);
    
    // get default audio input
    devAudio = QMediaDevices::defaultAudioInput();
    label->setText(devAudio.description());
 
    // setup audio format
    QAudioFormat format;
    format.setSampleRate(WHISPER_SAMPLE_RATE);
    format.setChannelCount(1);
    format.setSampleFormat(QAudioFormat::Float);
 
    // create audio source
    if (devAudio.isFormatSupported(format))
    {
      audioSrc = new QAudioSource(devAudio, format);
      button->setCheckable(true);
      connect(button, &QPushButton::clicked,
        [this, label](bool checked) {
          if (checked)
          {
            buffer.reset();
            buffer.open(QBuffer::WriteOnly);
            audioSrc->start(&buffer);
          }
          else
          {
            audioSrc->stop();
            buffer.close();
 
            whisper_full_params wparams = whisper_full_default_params(WHISPER_SAMPLING_GREEDY);
            wparams.translate = false;
            if (whisper_full(ctx, wparams, (float*)buffer.buffer().constData(), buffer.size() / 4) == 0)
            {
              std::string text;
              const int n_segments = whisper_full_n_segments(ctx);
              for (int i = 0; i < n_segments; ++i)
                text += whisper_full_get_segment_text(ctx, i);
 
              label->setText(QString::fromStdString(text));
            }
          }
        });
    }
 
    // initial whisper.cpp
    whisper_context_params cparams = whisper_context_default_params();
    cparams.use_gpu = true;
    ctx = whisper_init_from_file_with_params(
      R"(E:\whisper-qt\model\ggml-medium.bin)", cparams);
  }
 
  ~MyWidget()
  {
    if (audioSrc != nullptr)
      delete audioSrc;
 
    whisper_free(ctx);
  }
 
protected:
  QAudioDevice  devAudio;
  QAudioSource* audioSrc = nullptr;
  QBuffer       buffer;
 
  whisper_context* ctx = nullptr;
};
 
int main(int argc, char* argv[])
{
  QApplication app(argc,argv);
  MyWidget w(nullptr);
  w.show();
  return app.exec();
}

這個程式會是一個簡單的小視窗，上面有一個「REC」按鈕、下面則是顯示文字的區域。
在按下按鈕後，會開始錄音到 buffer 裡面，再按一次則會停止錄音、並將資料丟給 whisper.cpp 進行推論；推論完後會把結果顯示在文字顯示區域。

而這邊個人覺得比較需要注意的，一個是錄音的格式：

QAudioFormat format;
format.setSampleRate(WHISPER_SAMPLE_RATE);
format.setChannelCount(1);
format.setSampleFormat(QAudioFormat::Float);

這邊採樣頻率是 whisper.cpp 定義的 WHISPER_SAMPLE_RATE、實際上是 1,600；而採樣格式要記得改成 float。

再來，就是在要把資料傳給 whisper_full() 的時候，資料的指標是 buffer.buffer().constData()，這邊回傳的會是 const char*，需要直接強制轉型成 float*；而也由於大小不一樣，所以這邊需要把 buffer 的大小除以 4。