Il Nikkei è sceso dello 0,64% per chiudere a 32.758,98, mentre il più ampio Topix è scivolato dello 0,66% a 2.316,86.
La BOJ sta tenendo una riunione politica di due giorni, che si concluderà martedì. Gli operatori del mercato sono in attesa di commenti da parte di Ueda sulla tempistica del cambiamento di politica, anche se il consenso è che la BOJ manterrà la sua politica invariata in questa riunione.
"Oggi è stato difficile effettuare ordini di acquisto", ha detto Shoichi Arisawa, direttore generale del dipartimento di ricerca sugli investimenti di IwaiCosmo Securities.
"Gli investitori erano cauti riguardo ad una reazione eccessiva del mercato quando Ueda fa dei commenti delicati".
Il mercato si è mosso bruscamente la scorsa settimana dopo che i commenti di Ueda hanno alimentato la speculazione che la BOJ avrebbe annunciato la fine della sua politica di tassi negativi già questo mese.
Ueda ha detto che la BOJ prevede una situazione "ancora più impegnativa" a fine anno e all'inizio del prossimo, facendo salire lo yen a un massimo plurimensile e i rendimenti dei titoli di Stato giapponesi a un'impennata la scorsa settimana.
L'operatore di negozi di abbigliamento Uniqlo, Fast Retailing, è sceso dell'1,18%, trascinando il Nikkei al ribasso. Il produttore di apparecchiature per il test dei chip Advances è sceso dell'1,75% e l'agenzia di reclutamento del personale Recruit Holdings ha perso il 3,42%.
Le aziende di spedizione hanno fatto un balzo del 5,61%.
Un partecipante al mercato ha detto che l'aumento è avvenuto in seguito alle speculazioni sull'aumento delle tariffe di spedizione, dopo che due importanti società di trasporto, tra cui MSC, hanno detto che avrebbero evitato il Canale di Suez, dato che i militanti Houthi nello Yemen hanno intensificato gli assalti alle navi commerciali nel Mar Rosso.
Solo quattro settori dei 33 sotto-settori industriali della Borsa di Tokyo sono saliti.
Su 225 titoli del Nikkei, 45 sono saliti e 179 sono scesi, mentre uno è rimasto piatto.
