新成立的公司在何时需要开始报税是一个很重要的问题。一般来说，公司成立后就需要开始报税。这是因为公司在成立后就已经具备了法律上的主体资格，需要依法承担纳税的义务。

另外，公司一般在成立之后就开始经营活动，而经营活动所得的收入也需要纳税。因此，公司必须在开始经营后及时依法向税务机关报税。

此外，根据税法规定，公司一般需要在每年的特定时间报送年度税务报表。因此，公司成立后就需要开始做好税务登记和报税工作，以保证公司的合法经营。

因此，可以说，新成立的公司需要在成立后及时开始报税，以确保公司的合法经营，避免因税务问题而带来的风险。