Fondamentalement, selon ma petit expérience des forges, c'est pas pénalisant.
Bien entendu, le bois à tendance à cramer plus facilement que la pierre, mais l'on ne fait pas non plus des flammes gigantesques dans une forge.
De plus, on le voit un peu, mais le bas est nettement plus pierreux que le haut (toutefois, j'ai eu l'occasion de tester : ce genre de bâtiment brûle bien).