Hola Blackhand.
Básicamente es como comentas. Puedes usar un objeto como parte del movimiento, o la acción, de forma gratuita. Una segunda vez ya que costaría la Acción de tu turno.
Tomando lo anterior como referencia, si te equipas con un arma entonces equiparte con una segunda arma o un escudo te costaría tu Acción. Una pequeña lista se describe en la tabla de la página 190: Interact with Objects Around You.
Ahora bien, si fuera el DM, sería algo flexible en este aspecto y de una forma razonada permitiría usar o actuar con ciertos objetos sin gastar la Acción del personaje.
Saludos.
Me edito: en la tabla Donning and Doffing Armor (pág. 146) puedes encontrar, respecto a equiparse con un escudo (y soltarlo) que cuesta una Acción. Así que, de forma estricta, en el turno en el que te pones o sueltas un escudo no podrías atacar, por ejemplo. Aquí es donde sería algo flexible ya que seguro que hay algún personaje que pretendería llevar un escudo "grapado" al brazo durante todo el día.