今年三月份我家装修找了一个包工包料的，只是口头约定一个月干完。开工前我给了他五万块首期款，他干了一点，人就不来了，说最近忙派不开时间让我等。这都等了快一个月。一直等，不让料不让工人来干活，现在最近打电话也找不着。把我的钱拿走了也不给我。请问这是不是诈骗？算不算欺诈行为？