Точнее тем периодом, когда человек стал использовать огонь в качестве защиты, обогрева, приготовления пищи и изготовления оружия. То есть огонь еще представлял опасность для человека, но все же человек доверял ему и в темноте холодной и опасной ночи, огонь часто служил человеку неким маячком, куда можно уйти от опасности. А вблизи такого "лагеря" человек и вовсе чувствовал себя защищенным, потому что чаще всего вокруг огня собиралась добрая часть "семьи".
Возможно, такие архаические рефлекторные чувства/эмоции сохранились в нашей психике в ходе эволюции, только сейчас они слабо проявляют себя и при виде теплого желтого света в окружающим его сумраке.