GUIベースのフィルタ設計ツールにはフィルターデザイナーとフィルタービルダーがあります。
フィルターデザイナーはSignal Processing Toolbox、フィルタービルダーはDSP System Toolboxが必要です。
起動コマンドは以下。アプリメニューからも開けます。
>> filterDesigner
>> filterBuilder
なお、コマンドベースでは上記2つに加えて、designfiltというのもあります。
フィルターデザイナーは手法ベースで設計するツールで、フィルタービルダーは仕様(フィルタ特性)ベースで設計するツールなので、所望特性が決まっているときはフィルタービルダーがお勧めです。
フィルタービルダーを起動し、以下の様に任意応答法を選択して、所望の応答を入力します。
フィルタービルダーが使えない場合は、フィルターデザイナーでも下図のように任意振幅応答を選択できます。