Merge pull request #20609 from DaanDeMeyer/recursive-template

core: Try to prevent infinite recursive template instantiation

nspawn: add filesystem id mapping support to --bind and --bind-ro

Merge pull request #21135 from poettering/homed-uidmap

homed: make use of uidmap'ped mounts for avoiding recursive chown()

docs: document what integer range we expect from JSON parsers

core: correct SELinux label of service credential directory

Label the service root credential directory so write_credential() will
create entries with the label of their parent directory.

Resolves: #21134

integritysetup: Check args to prevent assert

The utility function parse_integrity_options is used to both validate
integritytab options or validate and return values.  In the case where
we are validating only and we have specific value options we will
assert.

udev: net_id: introduce predictable names for xen-netfront

Those devices show up as /sys/devices/vif-N, let's use that number
to name them enXN.

Without this, all schemes fail and they keep the kernel names, which can
be racy.

Signed-off-by: Benjamin Herrenschmidt <benh@kernel.crashing.org>

core: Try to prevent infinite recursive template instantiation

To prevent situations like in #17602 from happening, let's drop
direct recursive template dependencies. These will almost certainly
lead to infinite recursion so let's drop them immediately to avoid
instantiating potentially thousands of irrelevant units.

Example of a template that would lead to infinite recursion which
is caught by this check:

notify@.service:

```
[Unit]
Wants=notify@%n.service
```

Merge pull request #21167 from poettering/various-doc-tweaks

Four documentation tweaks

man: document that daemons can close fds they receive via sd_listen_fds() if they like

Fixes: #18872

man: document how nss-resolve and systemd-resolved communicate

Fixes: #20925

docs: document $PASSWORD in ENVIRONMENT.md

Fixes: #20955

man: clarify the situation of unit templates regarding "systemctl list-units" + "systemctl list-unit-files"

Fixes: #21075

update TODO

homework: teach luks backend uid mapping

This teachs the LUKS backend UID mapping, similar to the existing
logic for the "directory", "subvolume" and "fscrypt" backends: the files
will be owned by "nobody" on the fs itself, but will be mapped to
logging in user via uidmapped mounts.

This way LUKS home dirs become truly portable: no local UID info will
leak onto the images anymore, and the need to recursively chown them on
activation goes away. This means activation is always as performant as
it should be.

homework: also move to using .image_fd field of HomeSetup in home_create_luks()

One last resource we can manage with HomeSetup, instead of doing that
manually.

homework: get rid of manual error path in home_create_luks()

Now that all objects we need to destroy are managed by the HomeSetup
object we can drop our manual destruction path and just use the normal
clean-up logic implemented for HomeSetup anyway. More unification, yay!

homework: move destruction of temporary image file into HomeSetup

Let's simplify things further a bit and move the destruction of the
temporary image file we operate on when creating a LUKS home into
HomeSetup, like all our other resources.

homework: get rid of manual clean up path in home_setup_luks()

Now that we stored all our different objects inside the HomeSetup
structure, we can get rid of our manual clean-up path, since
home_setup_done() will clean up everything stored therein anyway, in the
right order.

This is the main reason we moved everything into HomeSetup in the
previous commits: so that we can share clean-up paths for these objects
with everything else.

homework: move image_fd field in home_setup_luks() also into HomeSetup

Let's unify even more codepaths, and let's reuse the .image_fd field we
already maintain.

homework: rework home_setup_luks() to store its root_fd also in HomeSetup

homework: always pass HomeSetup param first, PasswordCache second

Some of our operations did it one way, most the other. Let's unify on
the order that is more popular.

homework: replace homegrown syncfs_path() reimplementation by syncfs_path()

homework: unify similar code for opening existing LUKS DM devices

Let's introduce a new helper acquire_open_luks_device() that combines a
few steps we keep doing at three places into one.

homework: move all LoopDevice handling into HomeSetup too

Similar story as with the DM objects: let's maintain it all as part of
HomeSetup. We do that for  part of the operations already, let's unify
that.

homework: move all DM detachment/freeing into HomeSetup

We actually already detach/free the LUKS DM devices for most operations
via HomeSetup, let's move the creation logic to also do this, in order
to unify behaviour between operations.

homework: teach home_lock() + home_unlock() + home_deactivate() to use HomeSetup, too

This is just some minor refactoring, to make these two operations work
like the rest.

home_lock_luks() will now use the root_fd field of HomeSetup already,
but for home_unlock_luks() + home_deactivate() this change has no effect for now. (But a
later commit will change this.)

homework: make use of .undo_mount field of HomeSetup for LUKS backend too

Let's move more stuff to common infra for the backends.

homework: use HomeSetup in home_create_luks() too

We use it for all other LUKS operations these days, and for all
home_create_xyz() calls for other backends, let's use it for the LUKS
backend too.

Merge pull request #21162 from poettering/homed-cifs-improvements

homed: various cifs backend improvements

Merge pull request #21161 from poettering/homed-uidmap-fscrypt

homed: teach the fscrypt backend uidmap too

Merge pull request #21157 from yuwata/network-address-label-verify

network: verify [IPv6AddressLabel] section

homework: allow specifying explicit additional mount options when using CIFS backend

This is useful since certain shares can only be mounted with additional
mount flags. For example the SMB share in modern AVM Fritz!Boxes
requires "noserverino" to be set to work from Linux.

homework: actually try all supplied passwords

Unfortunately mount.cifs doesn't really let us know much about the
reason for the failure. Hence, assume it's caused by a bad password, and
retry on any failure with additional passwords that we might have.

A loop to do this was always in place, but none of the possible
codepaths actually allowed to iterate more than once. Fix that.

homework: allow specifying a dir component in CIFS services

Allow specifying CIFS services in the format //host/service/subdir/… to
allow multiple homedirs on the same share, and not in the main dir of
the share.

All other backends allow placing the data store at arbitrary places,
let's allow this too for the CIFS backend. This is particularly useful
for testing.

homework: make home_move_mount() a bit more generic by renaming first parameter

No actual code change, let's just rename the first parameter, to make it
more generically useful in case the first argument is an arbitrary path,
not necessarily a username/realm.

homectl: validate CIFS service name before accepting it

fs-util: add helper that can split CIFS services names

homework: apply mount flags also for CIFS mounts

homework: move check for CIFS service field initialization to home_setup_cifs()

We need this field not only during activation but any kind of setup,
hence let's move it into the setup code.

homework: rework home_setup_cifs() to store "mounted" variable in HomeSetup

We already have a field for that, let's use it. Let's also reduce the
indentation level a bit.

No change in behaviour.

homework: pass header user record in home_activate_cifs()

Of course unlike in the LUKS case there's not actually any user record
stored in the LUKS header, so what we pass here will always be NULL.

The reason why I am changing is to make this more alike the other
home_activate_xyz() calls, and passing this around doesn't hurt.

(A later commit will replace all backend-specific home_activate_xyz()
calls by a single one)

homework: support uidmaps in fscrypt backend

homework: add new helper home_setup_undo_mount()

homework: make sure fscrypt backend takes a HomeSetup object for all calls

Similar to the same chage we did for the directory backend. Let's always
path the setup context object, i.e. HomeSetup, and store whatever we set
up in there.

No actual change in behaviour.

Merge pull request #20344 from poettering/revert-close-all

Alternative to #20288 – close_all_fds() reworking

test: update comment

Follow-up for 8524db502134135d96219ecd6df0d0fc5c475b9d.

Merge pull request #21153 from yuwata/network-lifetime-fix

network: fix lifetime handling

systemctl: drop redundant "else"

Merge pull request #21150 from yuwata/sd-radv-shorten-default-lifetime-2

sd-radv: shorten default lifetime

Merge pull request #21136 from poettering/homed-uidmap-dir-only

homed uidmapping (just for the directory backend)

doc: fix typo in command

Follow-up for #21147.

run: do not validate exe early if MountImages/ExtensionImages are used

Same as with RootImage&friends, the executable might be in the
image, so it's not visible in the host before the unit is set up.

Merge pull request #21138 from bluca/show_extensions

systemctl: pretty-print ExtensionImages property

test: do not use alloca() in function call

test-network: add more tests for [Address] section

test-network: add tests for invalid [IPv6AddressLabel] section

network: verify [IPv6AddressLabel] section

test-network: add tests for invalid IPv6 token

test-fd-util: extend close_all_fds() test to trigger all fallback codepaths

This extends the close_all_fds() logic to overmount /proc with an empty
tmpfs, and/or to block close_range() via seccomp, so that we run the
test case for the function with the fallback paths.

This should make sure that we don't regress in limited environments or
older kernels.

fd-util: export get_max_fd() so that we can use it in tests

exec-util: use close_all_fds_without_malloc() from freeze()

fd-util: split out close_all_fds() special case handling and call it from close_all_fds_without_malloc(), too

The optimization is useful there too.

fd-util: close_all() check d_type

Tiny optimization: check dirent's d_type before trying to parse
/proc/self/fd/ filenames, given we have that anyway.

fd-util: always return 0 on success in close_all_fds()

We never make use of the return value, and in case of close_range() we
don't even know how many fds got closed, hence don't pretend we knew.

fd-util: special case invocation of close_all_fds() with single exception fd

Add special case optimization for a single exception fd. It's a
pretty common case in our codebase, and the optimization is simple
and means we don't need to copy/sort the exception array, so do it.

fd-util: split out inner fallback loop of close_all_fds() as close_all_fds_without_malloc()

Revert "basic/fd-util: sort the 'except' array in place"

This reverts commit 9c46228b7deb53d6384545535b37b2844a102b2b.

Revert "Add variant of close_all_fds() that does not allocate and use it in freeze()"

This reverts commit cbcf371abc328167fa869721c1add4850c793240.

homework: support uidmapping in the "directory" backend

homework: add new helper call that can shift home dir UID/GID ranges

This new helper is not used yet, but it's useful for apply UID/GID
shifts so that the underlying home dir can use an arbitrary UID (for
example "nobody") and we'll still make it appear as owned by the target
UID.

This operates roughly like this:

1. The relevant underlying UID is mapped to the target UID
2. Everything in the homed UID range except for the target UID is left
   unmapped (and thus will appear as "nobody")
3. Everything in the 16bit UID range outside of the homed UID
   range/target UID/nobody user is mapped to itself
4. Everything else is left unmapped (in particular everything outside of
   the 16 bit range).

Why do it like this?

The 2nd rule done to ensure that any files from homed's managed UID
range that do not match the user's own UID will be shown as "unmapped"
basically. Of course, IRL this should never happen, except if people
managed to manipulate the underlying fs directly.

The 3rd rule is to allow that if devs untar an OS image it more or
less just works as before: 16bit UIDs outside of the homed range will
be mapped onto themselves: you can untar things and tar it back up and
things will just work.

homework: rework directory backend to set up mounts in /run/systemd/user-home-mount before moving them to /home

This does what we already do for the LUKS backend: instead of mounting
the source directory directly to the final home dir, we instead bind
mount it to /run/systemd/user-home-mount (where /run/ is unshared and
specific to our own mount namespace), then adjust its mount flags and
then bind mount it in a single atomic operation into the final
destination, fully set up.

This doesn't improve much on its own, but it makes things a tiny bit
more correct: this way MS_NODEV/MS_NOEXEC/MS_NOSUID will already be
applied when the bind mount appears in the host mount namespace, instead
of being adjusted after the fact.

Doing things this way also makes things work more like the LUKS backend,
reducing surprises. Most importantly it's preparation for doing
uidmapping for directory homes, added in a later commit.

homework: when activating a directory, include info about it in resulting record

For the other backends we synthesize a "binding" section in the json
record of the user that stores meta info how a user record is "bound" to
the local host. It declares storage info and such. Let's do the same for
the directory/subvolume backends.

homework: port home_create_directory_or_subvolume() to use HomeSetup

Let's migrate home_create_directory_or_subvolume() to also use HomeSetup
for storing its runtime objects we'd like to destroy in case of failure.

In the beginning this is just the root_fd, but later on we can add more.

No change in behaviour, just shifting things around.

homed: move HOME_UID_{MIN,MAX} into a header we can reuse in homework.c

basic: Make ret_names param to unit_file_find_fragment() optional

network: radv: shorten default lifetime of prefix, route prefix, DNS, and domains

See draft-ietf-6man-slaac-renum-02 section 4.1.1.

sd-radv: shorten the default lifetime for prefix/route prefix

See draft-ietf-6man-slaac-renum-02 section 4.1.1.

sd-radv: make prefix/route prefix lifetime can be specified with independently with valid_until

Previously, valid_until (or preferred_until for preferred lifetime) was
calculated from lifetime. So, when an upstream interface acquire a
dynamic prefix (e.g. through DHCPv6-PD) with long lifetime, then sd-radv
advertise the same lifetime. It may not be desired for some situations.

network: route: update lifetime of existing route

Otherwise, the route whose lifetime is managed by the sd-event's timer
event source will be removed when the initial lifetime expires.

network: address: use passed Address object if possible

Then, we can avoid unnecessary duplication.

Merge pull request #21143 from yuwata/sd-radv-router-lifetime

sd-radv: several cleanups for router lifetime

bootctl: refuse parsing unknown special '@' entry ids

Let's make sure '@' is never written as entry ID into any EFI variable,
as we want the ability to add new ids like this later on, with them
resulting in a clear error on older implementations.

Merge pull request #21147 from DaanDeMeyer/hacking-docs

docs: Clean up HACKING.md

docs: Specify code block language for mkosi boot instructions

docs: Make mkosi install instructions generic

docs: Extend builddep instructions to include more distros

systemctl: small fixes for MountImages pretty printing

systemctl: pretty-print ExtensionImages property

Complex type, so without explicit support 'systemctl show' just prints [unprintable]

Merge pull request #21144 from yuwata/sd-radv-trivial-cleanups

sd-radv: trivial cleanups

conf-parse: make config_parse_many() optionally save 'struct stat' for each file

Fixes #21113.

docs/COREDUMP_PACKAGE_METADATA: ELF section should be allocated and 0-padded

network: radv: refuse invalid router lifetime in conf parser

sd-radv: update how to calculate interval of sending advertisements

sd-radv: router lifetime must be 0 or between 4 seconds and 9000 seconds

See RFC 4861 section 6.2.1.

docs: Remove mkosi symlink instruction from HACKING

mkosi automatically builds for the host distro which seems a much
better default to encourage since dnf won't be installed on any host
system that's not Fedora anyway.

docs: Simplify git instructions in HACKING slightly

docs: Clean up links in HACKING.md

sd-radv: introduce RADV_DEFAULT_ROUTER_LIFETIME_USEC

sd-radv: add several notes about constants