Хотя бы какой режим телефона? 2G, 3G, 4G, 5G?
Если 4G, например, без VoLTE - телефон при получении информации о звонке вначале переключается обратно в 3G (или 2G), естественно, это занимает время.
У 2G/3G точно так же могут быть свои заморочки с приёмом голосового звонка (5G не знаю).
И дальше точно так же "да" - каждый телефон реагирует по-разному. Нет у современных телефонов требования отвечать на звонки "мгновенно".
Причём безотносительно разного железа, то есть речь не о разница в сотни миллисекунд, а о гораздо больших.
Погуглите, например: incoming call receiving delay (и прочее подобное) - люди жалуются на всё подряд, задержка в 2 секунды - это почти "идеально", у некоторых первые 5 секунд попап со звонком не появляется.
Из советов там по улучшению ситуации - очистка кеша приложению телефона, выключение любых настроек "ответ свайпом/изменением положения трубки" и прочих, "облегчающих" использование телефона, перезагрузка и полный сброс телефона, и так далее - общая проблема разных Android и iPhone.
Возможно, именно для ответа на такие звонки вам стоит завести не смартфон, а тупейшую "звонилку", но их тоже надо отдельно тестировать.