LoopControl: Rewrite

Rewrite code in C++.
Remove dependency on GSL.
Modify algorithm; now traverses arrays bottom-up (by splitting the looping region into equal-sized blocks) instead of top-down (splitting the region into a certain number of blocks)
Make multi-threading dynamic
Support SMT (hyper-threading), i.e. threads which share the same cache

7 files changed, 727 insertions, 0 deletions

diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par
new file mode 100644
index 000000000..25c092823
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par
@@ -0,0 +1,124 @@
+Cactus::cctk_run_title    = "Benchmark of McLachlan using Carpet with one refinement level"
+Cactus::cctk_timer_output = "full"
+
+Cactus::cctk_itlast = 10
+
+
+
+ActiveThorns = "CycleClock Fortran hwloc MPI"
+
+
+
+ActiveThorns = "IOUtil"
+
+IO::out_dir = $parfile
+
+
+
+ActiveThorns = "InitBase"
+
+
+
+ActiveThorns = "LoopControl"
+
+LoopControl::verbose     = no
+LoopControl::veryverbose = no
+LoopControl::selftest    = yes
+
+LoopControl::initial_setup = "tiled"
+
+#Carpet::pad_to_cachelines = yes
+
+
+
+ActiveThorns = "Carpet CarpetLib CarpetReduce"
+
+Carpet::domain_from_coordbase = yes
+
+driver::ghost_size = 3
+
+Carpet::init_fill_timelevels = yes
+
+#CarpetLib::print_timestats_every = 1
+CarpetLib::print_memstats_every  = 10
+
+
+
+ActiveThorns = "Boundary CartGrid3D CoordBase SymBase"
+
+CoordBase::domainsize = "minmax"
+CoordBase::xmin       = 0.0
+CoordBase::ymin       = 0.0
+CoordBase::zmin       = 0.0
+CoordBase::xmax       = 1.0
+CoordBase::ymax       = 1.0
+CoordBase::zmax       = 1.0
+
+CoordBase::spacing  = "numcells"
+CoordBase::ncells_x = 30
+CoordBase::ncells_y = 30
+CoordBase::ncells_z = 30
+
+CartGrid3D::type           = "coordbase"
+CartGrid3D::avoid_originx  = no
+CartGrid3D::avoid_originy  = no
+CartGrid3D::avoid_originz  = no
+
+CoordBase::boundary_size_x_lower = 3
+CoordBase::boundary_size_y_lower = 3
+CoordBase::boundary_size_z_lower = 3
+CoordBase::boundary_size_x_upper = 3
+CoordBase::boundary_size_y_upper = 3
+CoordBase::boundary_size_z_upper = 3
+
+
+
+ActiveThorns = "MoL NaNChecker Time"
+
+MoL::ODE_Method             = "RK4"
+MoL::MoL_Intermediate_Steps = 4
+MoL::MoL_Num_Scratch_Levels = 1
+
+Time::dtfac = 0.4
+
+
+
+ActiveThorns = "ADMBase ADMCoupling ADMMacros CoordGauge StaticConformal"
+
+ADMBase::initial_data    = "Cartesian Minkowski"
+ADMBase::initial_lapse   = "one"
+ADMBase::initial_shift   = "zero"
+ADMBase::initial_dtlapse = "zero"
+ADMBase::initial_dtshift = "zero"
+
+
+
+ActiveThorns = "GenericFD ML_BSSN ML_BSSN_Helper TmunuBase"
+
+ADMBase::evolution_method       = "ML_BSSN"
+ADMBase::lapse_evolution_method = "ML_BSSN"
+ADMBase::shift_evolution_method = "ML_BSSN"
+
+ML_BSSN::my_boundary_condition = "Minkowski"
+
+ML_BSSN::harmonicN       = 1      # 1+log
+ML_BSSN::harmonicF       = 2.0    # 1+log
+ML_BSSN::ShiftGammaCoeff = 0.75
+ML_BSSN::BetaDriver      = 0.5
+
+
+
+ActiveThorns = "CarpetIOBasic"
+
+IOBasic::outInfo_every = 10
+IOBasic::outInfo_vars  = "ADMBase::alp"
+
+
+
+ActiveThorns = "CarpetIOASCII"
+
+IOASCII::out0D_every = 0 # 10
+IOASCII::out0D_vars  = "Carpet::timing"
+
+IOASCII::out1D_every = 10
+IOASCII::out1D_vars  = "ADMBase::alp"
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.d.asc b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.d.asc
new file mode 100644
index 000000000..71d8a4b5b
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.d.asc
@@ -0,0 +1,168 @@
+# 1D ASCII output created by CarpetIOASCII
+# created on Redshift.local by eschnett on Jan 09 2013 at 14:33:53-0500
+# parameter filename: "../../arrangements/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par"
+#
+# alp d (alp)
+#
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+0	0 0 0 0	0 0 0	0	-0.0666666666666667 -0.0666666666666667 -0.0666666666666667	1
+0	0 0 0 0	1 1 1	0	-0.0333333333333333 -0.0333333333333333 -0.0333333333333333	1
+0	0 0 0 0	2 2 2	0	0 0 0	1
+0	0 0 0 0	3 3 3	0	0.0333333333333333 0.0333333333333333 0.0333333333333333	1
+0	0 0 0 0	4 4 4	0	0.0666666666666667 0.0666666666666667 0.0666666666666667	1
+0	0 0 0 0	5 5 5	0	0.1 0.1 0.1	1
+0	0 0 0 0	6 6 6	0	0.133333333333333 0.133333333333333 0.133333333333333	1
+0	0 0 0 0	7 7 7	0	0.166666666666667 0.166666666666667 0.166666666666667	1
+0	0 0 0 0	8 8 8	0	0.2 0.2 0.2	1
+0	0 0 0 0	9 9 9	0	0.233333333333333 0.233333333333333 0.233333333333333	1
+0	0 0 0 0	10 10 10	0	0.266666666666667 0.266666666666667 0.266666666666667	1
+0	0 0 0 0	11 11 11	0	0.3 0.3 0.3	1
+0	0 0 0 0	12 12 12	0	0.333333333333333 0.333333333333333 0.333333333333333	1
+0	0 0 0 0	13 13 13	0	0.366666666666667 0.366666666666667 0.366666666666667	1
+0	0 0 0 0	14 14 14	0	0.4 0.4 0.4	1
+0	0 0 0 0	15 15 15	0	0.433333333333333 0.433333333333333 0.433333333333333	1
+0	0 0 0 0	16 16 16	0	0.466666666666667 0.466666666666667 0.466666666666667	1
+0	0 0 0 0	17 17 17	0	0.5 0.5 0.5	1
+0	0 0 0 0	18 18 18	0	0.533333333333333 0.533333333333333 0.533333333333333	1
+0	0 0 0 0	19 19 19	0	0.566666666666667 0.566666666666667 0.566666666666667	1
+0	0 0 0 0	20 20 20	0	0.6 0.6 0.6	1
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+0	0 0 1 0	15 15 15	0	0.433333333333333 0.433333333333333 0.433333333333333	1
+0	0 0 1 0	16 16 16	0	0.466666666666667 0.466666666666667 0.466666666666667	1
+0	0 0 1 0	17 17 17	0	0.5 0.5 0.5	1
+0	0 0 1 0	18 18 18	0	0.533333333333333 0.533333333333333 0.533333333333333	1
+0	0 0 1 0	19 19 19	0	0.566666666666667 0.566666666666667 0.566666666666667	1
+0	0 0 1 0	20 20 20	0	0.6 0.6 0.6	1
+0	0 0 1 0	21 21 21	0	0.633333333333333 0.633333333333333 0.633333333333333	1
+0	0 0 1 0	22 22 22	0	0.666666666666667 0.666666666666667 0.666666666666667	1
+0	0 0 1 0	23 23 23	0	0.7 0.7 0.7	1
+0	0 0 1 0	24 24 24	0	0.733333333333333 0.733333333333333 0.733333333333333	1
+0	0 0 1 0	25 25 25	0	0.766666666666667 0.766666666666667 0.766666666666667	1
+0	0 0 1 0	26 26 26	0	0.8 0.8 0.8	1
+0	0 0 1 0	27 27 27	0	0.833333333333333 0.833333333333333 0.833333333333333	1
+0	0 0 1 0	28 28 28	0	0.866666666666667 0.866666666666667 0.866666666666667	1
+0	0 0 1 0	29 29 29	0	0.9 0.9 0.9	1
+0	0 0 1 0	30 30 30	0	0.933333333333333 0.933333333333333 0.933333333333333	1
+0	0 0 1 0	31 31 31	0	0.966666666666667 0.966666666666667 0.966666666666667	1
+0	0 0 1 0	32 32 32	0	1 1 1	1
+0	0 0 1 0	33 33 33	0	1.03333333333333 1.03333333333333 1.03333333333333	1
+0	0 0 1 0	34 34 34	0	1.06666666666667 1.06666666666667 1.06666666666667	1
+
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+10	0 0 0 0	0 0 0	0.133333333333333	-0.0666666666666667 -0.0666666666666667 -0.0666666666666667	1
+10	0 0 0 0	1 1 1	0.133333333333333	-0.0333333333333333 -0.0333333333333333 -0.0333333333333333	1
+10	0 0 0 0	2 2 2	0.133333333333333	0 0 0	1
+10	0 0 0 0	3 3 3	0.133333333333333	0.0333333333333333 0.0333333333333333 0.0333333333333333	1
+10	0 0 0 0	4 4 4	0.133333333333333	0.0666666666666667 0.0666666666666667 0.0666666666666667	1
+10	0 0 0 0	5 5 5	0.133333333333333	0.1 0.1 0.1	1
+10	0 0 0 0	6 6 6	0.133333333333333	0.133333333333333 0.133333333333333 0.133333333333333	1
+10	0 0 0 0	7 7 7	0.133333333333333	0.166666666666667 0.166666666666667 0.166666666666667	1
+10	0 0 0 0	8 8 8	0.133333333333333	0.2 0.2 0.2	1
+10	0 0 0 0	9 9 9	0.133333333333333	0.233333333333333 0.233333333333333 0.233333333333333	1
+10	0 0 0 0	10 10 10	0.133333333333333	0.266666666666667 0.266666666666667 0.266666666666667	1
+10	0 0 0 0	11 11 11	0.133333333333333	0.3 0.3 0.3	1
+10	0 0 0 0	12 12 12	0.133333333333333	0.333333333333333 0.333333333333333 0.333333333333333	1
+10	0 0 0 0	13 13 13	0.133333333333333	0.366666666666667 0.366666666666667 0.366666666666667	1
+10	0 0 0 0	14 14 14	0.133333333333333	0.4 0.4 0.4	1
+10	0 0 0 0	15 15 15	0.133333333333333	0.433333333333333 0.433333333333333 0.433333333333333	1
+10	0 0 0 0	16 16 16	0.133333333333333	0.466666666666667 0.466666666666667 0.466666666666667	1
+10	0 0 0 0	17 17 17	0.133333333333333	0.5 0.5 0.5	1
+10	0 0 0 0	18 18 18	0.133333333333333	0.533333333333333 0.533333333333333 0.533333333333333	1
+10	0 0 0 0	19 19 19	0.133333333333333	0.566666666666667 0.566666666666667 0.566666666666667	1
+10	0 0 0 0	20 20 20	0.133333333333333	0.6 0.6 0.6	1
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+#
+10	0 0 1 0	15 15 15	0.133333333333333	0.433333333333333 0.433333333333333 0.433333333333333	1
+10	0 0 1 0	16 16 16	0.133333333333333	0.466666666666667 0.466666666666667 0.466666666666667	1
+10	0 0 1 0	17 17 17	0.133333333333333	0.5 0.5 0.5	1
+10	0 0 1 0	18 18 18	0.133333333333333	0.533333333333333 0.533333333333333 0.533333333333333	1
+10	0 0 1 0	19 19 19	0.133333333333333	0.566666666666667 0.566666666666667 0.566666666666667	1
+10	0 0 1 0	20 20 20	0.133333333333333	0.6 0.6 0.6	1
+10	0 0 1 0	21 21 21	0.133333333333333	0.633333333333333 0.633333333333333 0.633333333333333	1
+10	0 0 1 0	22 22 22	0.133333333333333	0.666666666666667 0.666666666666667 0.666666666666667	1
+10	0 0 1 0	23 23 23	0.133333333333333	0.7 0.7 0.7	1
+10	0 0 1 0	24 24 24	0.133333333333333	0.733333333333333 0.733333333333333 0.733333333333333	1
+10	0 0 1 0	25 25 25	0.133333333333333	0.766666666666667 0.766666666666667 0.766666666666667	1
+10	0 0 1 0	26 26 26	0.133333333333333	0.8 0.8 0.8	1
+10	0 0 1 0	27 27 27	0.133333333333333	0.833333333333333 0.833333333333333 0.833333333333333	1
+10	0 0 1 0	28 28 28	0.133333333333333	0.866666666666667 0.866666666666667 0.866666666666667	1
+10	0 0 1 0	29 29 29	0.133333333333333	0.9 0.9 0.9	1
+10	0 0 1 0	30 30 30	0.133333333333333	0.933333333333333 0.933333333333333 0.933333333333333	1
+10	0 0 1 0	31 31 31	0.133333333333333	0.966666666666667 0.966666666666667 0.966666666666667	1
+10	0 0 1 0	32 32 32	0.133333333333333	1 1 1	1
+10	0 0 1 0	33 33 33	0.133333333333333	1.03333333333333 1.03333333333333 1.03333333333333	1
+10	0 0 1 0	34 34 34	0.133333333333333	1.06666666666667 1.06666666666667 1.06666666666667	1
+
+
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.x.asc b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.x.asc
new file mode 100644
index 000000000..6bd8d6c7b
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.x.asc
@@ -0,0 +1,98 @@
+# 1D ASCII output created by CarpetIOASCII
+# created on Redshift.local by eschnett on Jan 09 2013 at 14:33:53-0500
+# parameter filename: "../../arrangements/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par"
+#
+# alp x (alp)
+#
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+0	0	0 0 0	0 2 2	0	-0.0666666666666667 0 0	1
+0	0	0 0 0	1 2 2	0	-0.0333333333333333 0 0	1
+0	0	0 0 0	2 2 2	0	0 0 0	1
+0	0	0 0 0	3 2 2	0	0.0333333333333333 0 0	1
+0	0	0 0 0	4 2 2	0	0.0666666666666667 0 0	1
+0	0	0 0 0	5 2 2	0	0.1 0 0	1
+0	0	0 0 0	6 2 2	0	0.133333333333333 0 0	1
+0	0	0 0 0	7 2 2	0	0.166666666666667 0 0	1
+0	0	0 0 0	8 2 2	0	0.2 0 0	1
+0	0	0 0 0	9 2 2	0	0.233333333333333 0 0	1
+0	0	0 0 0	10 2 2	0	0.266666666666667 0 0	1
+0	0	0 0 0	11 2 2	0	0.3 0 0	1
+0	0	0 0 0	12 2 2	0	0.333333333333333 0 0	1
+0	0	0 0 0	13 2 2	0	0.366666666666667 0 0	1
+0	0	0 0 0	14 2 2	0	0.4 0 0	1
+0	0	0 0 0	15 2 2	0	0.433333333333333 0 0	1
+0	0	0 0 0	16 2 2	0	0.466666666666667 0 0	1
+0	0	0 0 0	17 2 2	0	0.5 0 0	1
+0	0	0 0 0	18 2 2	0	0.533333333333333 0 0	1
+0	0	0 0 0	19 2 2	0	0.566666666666667 0 0	1
+0	0	0 0 0	20 2 2	0	0.6 0 0	1
+0	0	0 0 0	21 2 2	0	0.633333333333333 0 0	1
+0	0	0 0 0	22 2 2	0	0.666666666666667 0 0	1
+0	0	0 0 0	23 2 2	0	0.7 0 0	1
+0	0	0 0 0	24 2 2	0	0.733333333333333 0 0	1
+0	0	0 0 0	25 2 2	0	0.766666666666667 0 0	1
+0	0	0 0 0	26 2 2	0	0.8 0 0	1
+0	0	0 0 0	27 2 2	0	0.833333333333333 0 0	1
+0	0	0 0 0	28 2 2	0	0.866666666666667 0 0	1
+0	0	0 0 0	29 2 2	0	0.9 0 0	1
+0	0	0 0 0	30 2 2	0	0.933333333333333 0 0	1
+0	0	0 0 0	31 2 2	0	0.966666666666667 0 0	1
+0	0	0 0 0	32 2 2	0	1 0 0	1
+0	0	0 0 0	33 2 2	0	1.03333333333333 0 0	1
+0	0	0 0 0	34 2 2	0	1.06666666666667 0 0	1
+
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+10	0	0 0 0	0 2 2	0.133333333333333	-0.0666666666666667 0 0	1
+10	0	0 0 0	1 2 2	0.133333333333333	-0.0333333333333333 0 0	1
+10	0	0 0 0	2 2 2	0.133333333333333	0 0 0	1
+10	0	0 0 0	3 2 2	0.133333333333333	0.0333333333333333 0 0	1
+10	0	0 0 0	4 2 2	0.133333333333333	0.0666666666666667 0 0	1
+10	0	0 0 0	5 2 2	0.133333333333333	0.1 0 0	1
+10	0	0 0 0	6 2 2	0.133333333333333	0.133333333333333 0 0	1
+10	0	0 0 0	7 2 2	0.133333333333333	0.166666666666667 0 0	1
+10	0	0 0 0	8 2 2	0.133333333333333	0.2 0 0	1
+10	0	0 0 0	9 2 2	0.133333333333333	0.233333333333333 0 0	1
+10	0	0 0 0	10 2 2	0.133333333333333	0.266666666666667 0 0	1
+10	0	0 0 0	11 2 2	0.133333333333333	0.3 0 0	1
+10	0	0 0 0	12 2 2	0.133333333333333	0.333333333333333 0 0	1
+10	0	0 0 0	13 2 2	0.133333333333333	0.366666666666667 0 0	1
+10	0	0 0 0	14 2 2	0.133333333333333	0.4 0 0	1
+10	0	0 0 0	15 2 2	0.133333333333333	0.433333333333333 0 0	1
+10	0	0 0 0	16 2 2	0.133333333333333	0.466666666666667 0 0	1
+10	0	0 0 0	17 2 2	0.133333333333333	0.5 0 0	1
+10	0	0 0 0	18 2 2	0.133333333333333	0.533333333333333 0 0	1
+10	0	0 0 0	19 2 2	0.133333333333333	0.566666666666667 0 0	1
+10	0	0 0 0	20 2 2	0.133333333333333	0.6 0 0	1
+10	0	0 0 0	21 2 2	0.133333333333333	0.633333333333333 0 0	1
+10	0	0 0 0	22 2 2	0.133333333333333	0.666666666666667 0 0	1
+10	0	0 0 0	23 2 2	0.133333333333333	0.7 0 0	1
+10	0	0 0 0	24 2 2	0.133333333333333	0.733333333333333 0 0	1
+10	0	0 0 0	25 2 2	0.133333333333333	0.766666666666667 0 0	1
+10	0	0 0 0	26 2 2	0.133333333333333	0.8 0 0	1
+10	0	0 0 0	27 2 2	0.133333333333333	0.833333333333333 0 0	1
+10	0	0 0 0	28 2 2	0.133333333333333	0.866666666666667 0 0	1
+10	0	0 0 0	29 2 2	0.133333333333333	0.9 0 0	1
+10	0	0 0 0	30 2 2	0.133333333333333	0.933333333333333 0 0	1
+10	0	0 0 0	31 2 2	0.133333333333333	0.966666666666667 0 0	1
+10	0	0 0 0	32 2 2	0.133333333333333	1 0 0	1
+10	0	0 0 0	33 2 2	0.133333333333333	1.03333333333333 0 0	1
+10	0	0 0 0	34 2 2	0.133333333333333	1.06666666666667 0 0	1
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.y.asc b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.y.asc
new file mode 100644
index 000000000..baaa9ab1d
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.y.asc
@@ -0,0 +1,98 @@
+# 1D ASCII output created by CarpetIOASCII
+# created on Redshift.local by eschnett on Jan 09 2013 at 14:33:53-0500
+# parameter filename: "../../arrangements/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par"
+#
+# alp y (alp)
+#
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+0	0	0 0 0	2 0 2	0	0 -0.0666666666666667 0	1
+0	0	0 0 0	2 1 2	0	0 -0.0333333333333333 0	1
+0	0	0 0 0	2 2 2	0	0 0 0	1
+0	0	0 0 0	2 3 2	0	0 0.0333333333333333 0	1
+0	0	0 0 0	2 4 2	0	0 0.0666666666666667 0	1
+0	0	0 0 0	2 5 2	0	0 0.1 0	1
+0	0	0 0 0	2 6 2	0	0 0.133333333333333 0	1
+0	0	0 0 0	2 7 2	0	0 0.166666666666667 0	1
+0	0	0 0 0	2 8 2	0	0 0.2 0	1
+0	0	0 0 0	2 9 2	0	0 0.233333333333333 0	1
+0	0	0 0 0	2 10 2	0	0 0.266666666666667 0	1
+0	0	0 0 0	2 11 2	0	0 0.3 0	1
+0	0	0 0 0	2 12 2	0	0 0.333333333333333 0	1
+0	0	0 0 0	2 13 2	0	0 0.366666666666667 0	1
+0	0	0 0 0	2 14 2	0	0 0.4 0	1
+0	0	0 0 0	2 15 2	0	0 0.433333333333333 0	1
+0	0	0 0 0	2 16 2	0	0 0.466666666666667 0	1
+0	0	0 0 0	2 17 2	0	0 0.5 0	1
+0	0	0 0 0	2 18 2	0	0 0.533333333333333 0	1
+0	0	0 0 0	2 19 2	0	0 0.566666666666667 0	1
+0	0	0 0 0	2 20 2	0	0 0.6 0	1
+0	0	0 0 0	2 21 2	0	0 0.633333333333333 0	1
+0	0	0 0 0	2 22 2	0	0 0.666666666666667 0	1
+0	0	0 0 0	2 23 2	0	0 0.7 0	1
+0	0	0 0 0	2 24 2	0	0 0.733333333333333 0	1
+0	0	0 0 0	2 25 2	0	0 0.766666666666667 0	1
+0	0	0 0 0	2 26 2	0	0 0.8 0	1
+0	0	0 0 0	2 27 2	0	0 0.833333333333333 0	1
+0	0	0 0 0	2 28 2	0	0 0.866666666666667 0	1
+0	0	0 0 0	2 29 2	0	0 0.9 0	1
+0	0	0 0 0	2 30 2	0	0 0.933333333333333 0	1
+0	0	0 0 0	2 31 2	0	0 0.966666666666667 0	1
+0	0	0 0 0	2 32 2	0	0 1 0	1
+0	0	0 0 0	2 33 2	0	0 1.03333333333333 0	1
+0	0	0 0 0	2 34 2	0	0 1.06666666666667 0	1
+
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+10	0	0 0 0	2 0 2	0.133333333333333	0 -0.0666666666666667 0	1
+10	0	0 0 0	2 1 2	0.133333333333333	0 -0.0333333333333333 0	1
+10	0	0 0 0	2 2 2	0.133333333333333	0 0 0	1
+10	0	0 0 0	2 3 2	0.133333333333333	0 0.0333333333333333 0	1
+10	0	0 0 0	2 4 2	0.133333333333333	0 0.0666666666666667 0	1
+10	0	0 0 0	2 5 2	0.133333333333333	0 0.1 0	1
+10	0	0 0 0	2 6 2	0.133333333333333	0 0.133333333333333 0	1
+10	0	0 0 0	2 7 2	0.133333333333333	0 0.166666666666667 0	1
+10	0	0 0 0	2 8 2	0.133333333333333	0 0.2 0	1
+10	0	0 0 0	2 9 2	0.133333333333333	0 0.233333333333333 0	1
+10	0	0 0 0	2 10 2	0.133333333333333	0 0.266666666666667 0	1
+10	0	0 0 0	2 11 2	0.133333333333333	0 0.3 0	1
+10	0	0 0 0	2 12 2	0.133333333333333	0 0.333333333333333 0	1
+10	0	0 0 0	2 13 2	0.133333333333333	0 0.366666666666667 0	1
+10	0	0 0 0	2 14 2	0.133333333333333	0 0.4 0	1
+10	0	0 0 0	2 15 2	0.133333333333333	0 0.433333333333333 0	1
+10	0	0 0 0	2 16 2	0.133333333333333	0 0.466666666666667 0	1
+10	0	0 0 0	2 17 2	0.133333333333333	0 0.5 0	1
+10	0	0 0 0	2 18 2	0.133333333333333	0 0.533333333333333 0	1
+10	0	0 0 0	2 19 2	0.133333333333333	0 0.566666666666667 0	1
+10	0	0 0 0	2 20 2	0.133333333333333	0 0.6 0	1
+10	0	0 0 0	2 21 2	0.133333333333333	0 0.633333333333333 0	1
+10	0	0 0 0	2 22 2	0.133333333333333	0 0.666666666666667 0	1
+10	0	0 0 0	2 23 2	0.133333333333333	0 0.7 0	1
+10	0	0 0 0	2 24 2	0.133333333333333	0 0.733333333333333 0	1
+10	0	0 0 0	2 25 2	0.133333333333333	0 0.766666666666667 0	1
+10	0	0 0 0	2 26 2	0.133333333333333	0 0.8 0	1
+10	0	0 0 0	2 27 2	0.133333333333333	0 0.833333333333333 0	1
+10	0	0 0 0	2 28 2	0.133333333333333	0 0.866666666666667 0	1
+10	0	0 0 0	2 29 2	0.133333333333333	0 0.9 0	1
+10	0	0 0 0	2 30 2	0.133333333333333	0 0.933333333333333 0	1
+10	0	0 0 0	2 31 2	0.133333333333333	0 0.966666666666667 0	1
+10	0	0 0 0	2 32 2	0.133333333333333	0 1 0	1
+10	0	0 0 0	2 33 2	0.133333333333333	0 1.03333333333333 0	1
+10	0	0 0 0	2 34 2	0.133333333333333	0 1.06666666666667 0	1
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+#
+
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.z.asc b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.z.asc
new file mode 100644
index 000000000..d4d03a3d0
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/alp.z.asc
@@ -0,0 +1,110 @@
+# 1D ASCII output created by CarpetIOASCII
+# created on Redshift.local by eschnett on Jan 09 2013 at 14:33:53-0500
+# parameter filename: "../../arrangements/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test.par"
+#
+# alp z (alp)
+#
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+0	0	0 0 0	2 2 0	0	0 0 -0.0666666666666667	1
+0	0	0 0 0	2 2 1	0	0 0 -0.0333333333333333	1
+0	0	0 0 0	2 2 2	0	0 0 0	1
+0	0	0 0 0	2 2 3	0	0 0 0.0333333333333333	1
+0	0	0 0 0	2 2 4	0	0 0 0.0666666666666667	1
+0	0	0 0 0	2 2 5	0	0 0 0.1	1
+0	0	0 0 0	2 2 6	0	0 0 0.133333333333333	1
+0	0	0 0 0	2 2 7	0	0 0 0.166666666666667	1
+0	0	0 0 0	2 2 8	0	0 0 0.2	1
+0	0	0 0 0	2 2 9	0	0 0 0.233333333333333	1
+0	0	0 0 0	2 2 10	0	0 0 0.266666666666667	1
+0	0	0 0 0	2 2 11	0	0 0 0.3	1
+0	0	0 0 0	2 2 12	0	0 0 0.333333333333333	1
+0	0	0 0 0	2 2 13	0	0 0 0.366666666666667	1
+0	0	0 0 0	2 2 14	0	0 0 0.4	1
+0	0	0 0 0	2 2 15	0	0 0 0.433333333333333	1
+0	0	0 0 0	2 2 16	0	0 0 0.466666666666667	1
+0	0	0 0 0	2 2 17	0	0 0 0.5	1
+0	0	0 0 0	2 2 18	0	0 0 0.533333333333333	1
+0	0	0 0 0	2 2 19	0	0 0 0.566666666666667	1
+0	0	0 0 0	2 2 20	0	0 0 0.6	1
+
+# iteration 0   time 0
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+0	0	0 1 0	2 2 15	0	0 0 0.433333333333333	1
+0	0	0 1 0	2 2 16	0	0 0 0.466666666666667	1
+0	0	0 1 0	2 2 17	0	0 0 0.5	1
+0	0	0 1 0	2 2 18	0	0 0 0.533333333333333	1
+0	0	0 1 0	2 2 19	0	0 0 0.566666666666667	1
+0	0	0 1 0	2 2 20	0	0 0 0.6	1
+0	0	0 1 0	2 2 21	0	0 0 0.633333333333333	1
+0	0	0 1 0	2 2 22	0	0 0 0.666666666666667	1
+0	0	0 1 0	2 2 23	0	0 0 0.7	1
+0	0	0 1 0	2 2 24	0	0 0 0.733333333333333	1
+0	0	0 1 0	2 2 25	0	0 0 0.766666666666667	1
+0	0	0 1 0	2 2 26	0	0 0 0.8	1
+0	0	0 1 0	2 2 27	0	0 0 0.833333333333333	1
+0	0	0 1 0	2 2 28	0	0 0 0.866666666666667	1
+0	0	0 1 0	2 2 29	0	0 0 0.9	1
+0	0	0 1 0	2 2 30	0	0 0 0.933333333333333	1
+0	0	0 1 0	2 2 31	0	0 0 0.966666666666667	1
+0	0	0 1 0	2 2 32	0	0 0 1	1
+0	0	0 1 0	2 2 33	0	0 0 1.03333333333333	1
+0	0	0 1 0	2 2 34	0	0 0 1.06666666666667	1
+
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 0
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+10	0	0 0 0	2 2 0	0.133333333333333	0 0 -0.0666666666666667	1
+10	0	0 0 0	2 2 1	0.133333333333333	0 0 -0.0333333333333333	1
+10	0	0 0 0	2 2 2	0.133333333333333	0 0 0	1
+10	0	0 0 0	2 2 3	0.133333333333333	0 0 0.0333333333333333	1
+10	0	0 0 0	2 2 4	0.133333333333333	0 0 0.0666666666666667	1
+10	0	0 0 0	2 2 5	0.133333333333333	0 0 0.1	1
+10	0	0 0 0	2 2 6	0.133333333333333	0 0 0.133333333333333	1
+10	0	0 0 0	2 2 7	0.133333333333333	0 0 0.166666666666667	1
+10	0	0 0 0	2 2 8	0.133333333333333	0 0 0.2	1
+10	0	0 0 0	2 2 9	0.133333333333333	0 0 0.233333333333333	1
+10	0	0 0 0	2 2 10	0.133333333333333	0 0 0.266666666666667	1
+10	0	0 0 0	2 2 11	0.133333333333333	0 0 0.3	1
+10	0	0 0 0	2 2 12	0.133333333333333	0 0 0.333333333333333	1
+10	0	0 0 0	2 2 13	0.133333333333333	0 0 0.366666666666667	1
+10	0	0 0 0	2 2 14	0.133333333333333	0 0 0.4	1
+10	0	0 0 0	2 2 15	0.133333333333333	0 0 0.433333333333333	1
+10	0	0 0 0	2 2 16	0.133333333333333	0 0 0.466666666666667	1
+10	0	0 0 0	2 2 17	0.133333333333333	0 0 0.5	1
+10	0	0 0 0	2 2 18	0.133333333333333	0 0 0.533333333333333	1
+10	0	0 0 0	2 2 19	0.133333333333333	0 0 0.566666666666667	1
+10	0	0 0 0	2 2 20	0.133333333333333	0 0 0.6	1
+
+# iteration 10   time 0.133333333333333
+# time level 0
+# refinement level 0   multigrid level 0   map 0   component 1
+# column format: 1:it	2:tl	3:rl 4:c 5:ml	6:ix 7:iy 8:iz	9:time	10:x 11:y 12:z	13:data
+10	0	0 1 0	2 2 15	0.133333333333333	0 0 0.433333333333333	1
+10	0	0 1 0	2 2 16	0.133333333333333	0 0 0.466666666666667	1
+10	0	0 1 0	2 2 17	0.133333333333333	0 0 0.5	1
+10	0	0 1 0	2 2 18	0.133333333333333	0 0 0.533333333333333	1
+10	0	0 1 0	2 2 19	0.133333333333333	0 0 0.566666666666667	1
+10	0	0 1 0	2 2 20	0.133333333333333	0 0 0.6	1
+10	0	0 1 0	2 2 21	0.133333333333333	0 0 0.633333333333333	1
+10	0	0 1 0	2 2 22	0.133333333333333	0 0 0.666666666666667	1
+10	0	0 1 0	2 2 23	0.133333333333333	0 0 0.7	1
+10	0	0 1 0	2 2 24	0.133333333333333	0 0 0.733333333333333	1
+10	0	0 1 0	2 2 25	0.133333333333333	0 0 0.766666666666667	1
+10	0	0 1 0	2 2 26	0.133333333333333	0 0 0.8	1
+10	0	0 1 0	2 2 27	0.133333333333333	0 0 0.833333333333333	1
+10	0	0 1 0	2 2 28	0.133333333333333	0 0 0.866666666666667	1
+10	0	0 1 0	2 2 29	0.133333333333333	0 0 0.9	1
+10	0	0 1 0	2 2 30	0.133333333333333	0 0 0.933333333333333	1
+10	0	0 1 0	2 2 31	0.133333333333333	0 0 0.966666666666667	1
+10	0	0 1 0	2 2 32	0.133333333333333	0 0 1	1
+10	0	0 1 0	2 2 33	0.133333333333333	0 0 1.03333333333333	1
+10	0	0 1 0	2 2 34	0.133333333333333	0 0 1.06666666666667	1
+
+
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/bench-minkowski-carpet-1lev-test.par b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/bench-minkowski-carpet-1lev-test.par
new file mode 100644
index 000000000..25c092823
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/bench-minkowski-carpet-1lev-test.par
@@ -0,0 +1,124 @@
+Cactus::cctk_run_title    = "Benchmark of McLachlan using Carpet with one refinement level"
+Cactus::cctk_timer_output = "full"
+
+Cactus::cctk_itlast = 10
+
+
+
+ActiveThorns = "CycleClock Fortran hwloc MPI"
+
+
+
+ActiveThorns = "IOUtil"
+
+IO::out_dir = $parfile
+
+
+
+ActiveThorns = "InitBase"
+
+
+
+ActiveThorns = "LoopControl"
+
+LoopControl::verbose     = no
+LoopControl::veryverbose = no
+LoopControl::selftest    = yes
+
+LoopControl::initial_setup = "tiled"
+
+#Carpet::pad_to_cachelines = yes
+
+
+
+ActiveThorns = "Carpet CarpetLib CarpetReduce"
+
+Carpet::domain_from_coordbase = yes
+
+driver::ghost_size = 3
+
+Carpet::init_fill_timelevels = yes
+
+#CarpetLib::print_timestats_every = 1
+CarpetLib::print_memstats_every  = 10
+
+
+
+ActiveThorns = "Boundary CartGrid3D CoordBase SymBase"
+
+CoordBase::domainsize = "minmax"
+CoordBase::xmin       = 0.0
+CoordBase::ymin       = 0.0
+CoordBase::zmin       = 0.0
+CoordBase::xmax       = 1.0
+CoordBase::ymax       = 1.0
+CoordBase::zmax       = 1.0
+
+CoordBase::spacing  = "numcells"
+CoordBase::ncells_x = 30
+CoordBase::ncells_y = 30
+CoordBase::ncells_z = 30
+
+CartGrid3D::type           = "coordbase"
+CartGrid3D::avoid_originx  = no
+CartGrid3D::avoid_originy  = no
+CartGrid3D::avoid_originz  = no
+
+CoordBase::boundary_size_x_lower = 3
+CoordBase::boundary_size_y_lower = 3
+CoordBase::boundary_size_z_lower = 3
+CoordBase::boundary_size_x_upper = 3
+CoordBase::boundary_size_y_upper = 3
+CoordBase::boundary_size_z_upper = 3
+
+
+
+ActiveThorns = "MoL NaNChecker Time"
+
+MoL::ODE_Method             = "RK4"
+MoL::MoL_Intermediate_Steps = 4
+MoL::MoL_Num_Scratch_Levels = 1
+
+Time::dtfac = 0.4
+
+
+
+ActiveThorns = "ADMBase ADMCoupling ADMMacros CoordGauge StaticConformal"
+
+ADMBase::initial_data    = "Cartesian Minkowski"
+ADMBase::initial_lapse   = "one"
+ADMBase::initial_shift   = "zero"
+ADMBase::initial_dtlapse = "zero"
+ADMBase::initial_dtshift = "zero"
+
+
+
+ActiveThorns = "GenericFD ML_BSSN ML_BSSN_Helper TmunuBase"
+
+ADMBase::evolution_method       = "ML_BSSN"
+ADMBase::lapse_evolution_method = "ML_BSSN"
+ADMBase::shift_evolution_method = "ML_BSSN"
+
+ML_BSSN::my_boundary_condition = "Minkowski"
+
+ML_BSSN::harmonicN       = 1      # 1+log
+ML_BSSN::harmonicF       = 2.0    # 1+log
+ML_BSSN::ShiftGammaCoeff = 0.75
+ML_BSSN::BetaDriver      = 0.5
+
+
+
+ActiveThorns = "CarpetIOBasic"
+
+IOBasic::outInfo_every = 10
+IOBasic::outInfo_vars  = "ADMBase::alp"
+
+
+
+ActiveThorns = "CarpetIOASCII"
+
+IOASCII::out0D_every = 0 # 10
+IOASCII::out0D_vars  = "Carpet::timing"
+
+IOASCII::out1D_every = 10
+IOASCII::out1D_vars  = "ADMBase::alp"
diff --git a/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/carpetlib-memory-statistics b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/carpetlib-memory-statistics
new file mode 100644
index 000000000..d9550af2f
--- /dev/null
+++ b/Carpet/LoopControl/test/bench-minkowski-carpet-1lev-test/carpetlib-memory-statistics
@@ -0,0 +1,5 @@
+# Running on 2 processes
+#
+# iteration   maxtotalbytes avgtotalbytes   maxmaxbytes avgm avgfreebytes
+0	 4.09547e+07 3.99796e+07	 4.12634e+07 4.02809e+07	 188960 188960	 0 0	 0 0
+10	 4.09547e+07 3.99796e+07	 4.12634e+07 4.02809e+07	 188960 188960	 0 0	 0 0