Если я правильно понял, то вам нужны матрицы, при умножениии которой на исходную, получился бы 0...
пусть искомая матрица x11 x12
x21 x22
тогда при умножении справа на искомую, получим
3*x11+4*x21=0;
3*x12+4*x22=0;
6*x11+8*x21=0;
6*x12+8*x22=0;
в итоге
x21=-3/4*x11;
x22=-3/4*x12;
т.е. получаем матрицу n -3/4*n
m -3/4*m
где m и n - произвольные числа...аналогично получим матрицу при умножении слева...