忙しいか？と聞かれて困るわけ

「いま、忙しい？」と聞かれることが、たまにあります。
聞くほうは「話をする時間があるか？」くらいの意味だろうに
ついつい「お前は、いま人生でするべきことをしているのか？」と勝手に深読みして
答えに困ることがあります。。