Tuy nhiên, vận mệnh của ông không trải hoa hồng. Năm 17 tuổi, gia đình bị oan sai, cha mẹ bị xử tội vì dính líu đến một vụ tham nhũng của quan địa phương. Chen