Для обработки одномерных сигналов советую Сергиенко почитать, а по двумерным (изображениям) - Гонсалеса и Вудса.

Практически весь базовый набор матлабовских функций в октаве реализован. С вейвлетами, правда, плоховато: есть тулбокс, но как-то он совершенно не так работает, как в матлабе.

Еще графики можно рисовать при помощи MathGL (я начал было писать "прокладку" для октавы, но забросил) — если сглаженные данные не нужны, а нужна лишь красивая картинка, можно средствами MathGL'я все сделать. В гнуплоте, правда, тоже есть какие-то основные аппроксимации/интерполяции, но октава не имеет интерфейса для них.