Составили протокол и изъяли в/у. Но знака одностороннее движение с другой стороны улицы нет. Правомерны ли их действия?

Добрый день! Я проехал под "кирпич", меня остановили сотрудники ГИБДД и сказали, что я еду по встречной полосе. Составили протокол и изъяли ВУ. Но знака одностороннее движение с другой стороны улицы нет. Правомерны ли их действия? Правда ли, что даже если это была бы улица с односторонним движением, я должен отвечать только за "кирпич" так как не могу знать, что еду по встречке (других знаков нет)? Спасибо.