shared/install: drop an unused variable in config_parse_also()

shared/install: try harder to find enablement symlinks when disabling a unit

It might be needed to follow symlinks more deeply when we're looking for
enablement symlinks pointing to the removed service.

Let's consider the case where service 'old' is being renamed 'new' (will happen
most likely during package upgrade). Before the service is going to be renamed,
there's the following enablement symlink:

 /etc/systemd/system/multi-user.target.wants/old.service -> /usr/lib/systemd/system/old.service

In order to rename 'old' into 'new' and transparently restart the service, the
old name is still provided as a 'static' alias for the new service. This should
also help keeping backward compatibilities since the old name might still be
embedded in unit files, scripts, generators and such.

Hence after the package is upgraded, the following symlinks including the
enablement symlink are present:

 /usr/lib/systemd/system/old.service -> new.service
 /etc/systemd/system/multi-user.target.wants/old.service -> /usr/lib/systemd/system/old.service

If later the user decides to disable the service, we should figure out that the
enablement symlink (which still has the old name) is actually referring to 'new'
(indirectly) even if it points to the alias.

core: explicit mention of unit ID is redundant with log_unit_*()

initctl: (void)ify epoll_ctl()
CID 996298

Merge pull request #14534 from poettering/cgroup-sibling-fix

core: fix re-realization of cgroup siblings

Merge pull request #13927 from ddstreet/ll_no

networkd: set addr_gen_mode and check for tentative ipv6ll before dro…

format-table: allow forcing arbitrary width tables

Useful for implementing systemctl's --full.

See #14470

Merge pull request #14527 from poettering/socket-state-fix

core: propagate service state to socket in more load states

test-network: simplify wait_online() by calling wait_operstate()

The wait_operstate() function now rechecks the condition for a timeout,
so the wait_online() function can simply call it to check for the
setup_state.

test-network: convert wait_operstate() to recheck condition for timeout seconds

Failing after a single check leads to extra sleeps scattered through
test cases, and can also lead to false failures.  Instead perform a
recheck for a number of seconds until the state matches, and fail only
if the timeout is exceeded.

This allows removing all the manual sleeps in the testcases.

test-network: rename check_operstate() to wait_operstate()

Rename only, no functional change; this makes following patches easier
to read.

network: drop foreign config after addr_gen_mode has been set

Interfaces may come up at any time, even during our initialization of
them, for various reasons; e.g. the kernel will raise VLAN when its
parent is raised; or we will raise an interface if configured with
BindCarrier and its associated interfaces come up.

When LinkLocalAddressing has been disabled for ipv6, we disable
addr_gen_mode in the kernel, so it will not automatically create a
ipv6ll address when the interface is raised.  However, we currently
drop all foreign addresses before disabling addr_gen_mode.

If the link has been up for a long time, then its kernel-created ipv6ll
address will be correctly dropped.  If the link is down, and stays
down until we raise it after finishing configuration, the addr_gen_mode
setting will be disabled when the interface is raised and the kernel
will not create any ipv6ll address.

However, if the interface is raised after dropping foreign config,
but before we have disabled addr_gen_mode, the kernel will create a
ipv6ll tentative address that will eventually finish DAD and become a
working ipv6ll address, even though we have been configured to disable
ipv6ll.

Moving our call to drop foreign addresses to after we have successfully
set addr_gen_mode closes this window; after we disable addr_gen_mode,
we can safely remove foreign ipv6ll addresses (including tentative ones)
and be sure that the kernel will not create any more.

Fixes: #13882.

network: if ipv6ll is disabled, enumerate tentative ipv6 addrs before dropping foreign addrs

The kernel will create an ipv6ll tentative address immediately when an
interface is raised if addr_gen_mode is not disabled; and, the kernel does
not notify netlink listeners about any tentative addresses.  So it's
possible for an interface to contain tentative ipv6 link-local address(es)
that networkd doesn't know about when all foreign addresses are dropped.

In this case, networkd is later notified about the new ipv6ll address(es)
after they finish DAD and are no longer tentative; but since that's after
networkd has already dropped foreign addresses, they are incorrectly left
on the interface.

network: add link->setting_genmode flag

Similar to the link->setting_mtu flag, this delays continued configuration
until after the genmode has been successfully set; this is important
because we do not want networkd to raise the interface before the genmode
has been set, as if we're disabling the genmode, raising the interface
before we have successfully disabled the genmode will result in the kernel
creating a ipv6ll address, even though we don't want that.

network: rename linux_configure_after_setting_mtu() to linux_configure_continue()

This is a simple rename to make the function name more generic;
the next commit expands its usage to more than only the mtu handler.

man: describe "symlink" and "systemctl link" explicitly in UNIT FILE LOAD PATH

There are sometimes users who put unit files in a location that is inaccessible
when systemd starts although they are not found and thus not started because
the corresponding mount units have not activated yet.

There is already a warning for such issue in man 8 systemctl:

     link PATH...
         ...<snip>...
         The file system where
         the linked unit files are located must be accessible
         when systemd is started (e.g. anything underneath /home
         or /var is not allowed, unless those directories are
         located on the root file system).

However, it looks that it's difficult to find the warning because introductory
users typically doesn't know systemctl link.

Although there is a description in UNIT FILE LOAD PATH pointing to systemctl
link, symlink is now not explicitly mentioned there and thus users doesn't
easily get aware of they should read it.

To deal with this, let's describe "symlink" and "systemctl link" more
explicitly in UNIT FILE LOAD PATH.

core: fix re-realization of cgroup siblings

This is a fix-up for eef85c4a3f8054d29383a176f6cebd1ef3a15b9a which
broke this.

Tracked down by @w-simon

Fixes: #14453

Merge pull request #14525 from yuwata/mount-use-format-table

systemd-mount: use format-table.[ch]

bash-completion: networkctl: support --full and --lines

core: be more restrictive on the dependency types we allow to be created transiently

We should allow the ones that the [Unit] section of regular unit files
may accet, but no other, in particular not the internal deps we
synthesize as reverse of explicitly configured ones, such was WantedBy=.

Fixes: #14251

timedatectl: use format-table.[ch]

systemd-mount: add --no-legend command line option

systemd-mount: use format-table.[ch]

format-table: introduce TABLE_PATH

core: propagate service state to socket in more load states

It makes sense to filter state changes for some load states that
shouldn't happen, but the common cases should be accepted, because they
might happen during runtime when "systemctl daemon-reload" is issued and
unit files changed state in between. Otherwise we lose events.

Fixes: #4708

udev: don't import parent ID_FS_ data on partitions

When probing partitions, we inherit important information from the parent
disk device such as ID_MODEL, and usage of such properties is seen to
be acceptable and well established.

However, we need to exclude filesystem information from the properties
that get inherited. Information about the device content should not be
passed on in this way.

For example, Linux distro install media commonly uses an ISO filesystem
plus a partition table. The ISO filesystem is detected on the main disk
device, but we should not pass down those details to the partitions,
some or all of which may be pointing at storage areas completely distinct
from the ISO filesystem.

This is particularly problematic when adding new partitions on media
set up in this way (since the new partitions are then reported to contain
the parent device's ISO filesystem), or when dealing with more unusual
hybrid ISO layouts. The inaccuracy of information here inversely affects
users of blkid and udev's persistent storage symlinks.

Exclude ID_FS_* properties from the inheritance chain to avoid these
problems.

Fixes: #14408

Merge pull request #14523 from keszybz/refactorings

Refactorings inspired by recent pull requests

sd-event: use _cleanup_ in one more place

sd-event: use RAII for struct epoll_event

Inspired by #14353.

network: use automatic stack allocation and structured init

network: do not require ethtool_get_permanent_macaddr() to get an fd

test: minor typo fix

As pointed out on: https://github.com/systemd/systemd/pull/14465#discussion_r364152064

Merge pull request #14448 from yuwata/network-permanent-mac-address

network, udev: support permanent mac address

Merge pull request #14518 from keszybz/interface-text

doc: tweak grammar in CONTAINER_INTERFACE description

Merge pull request #14511 from keszybz/sleep-check-rework

Sleep check rework

Merge pull request #14512 from poettering/root-image-devices

Make RootImage= work reliable with DeviceAllow= in the mix

test: pin meson to 0.52.1 for fuzzit/fuzzbuzz

Latest meson doesn't work with older python 3.5, which is present on
Ubuntu 16.04. Let's pin in to the latest working version (0.52.1) until
we properly bump all necessary Ubuntu images to 18.04.

See: https://github.com/mesonbuild/meson/issues/6427

network: rename *fd to *ethtool_fd

man: use xi:include to avoid duplication

... and fix some unwarranted discrepancies between the two man pages.

Merge pull request #14465 from poettering/setprio-rework

When Nice= is used, clamp to RLIMIT_NICE

Merge pull request #14488 from yuwata/networkctl-show-logs

networkctl: status command also shows logs of networkd

man: fix option name

doc: tweak grammar in CONTAINER_INTERFACE description

The only non-stylistic change is to replace descriptions of how we are
encouraging people to use PrivateTmp= and such, because now they are widely
used.

Merge pull request #14494 from poettering/container-interface

Let's import the container interface description text from the fdo wiki

networkctl: show permanent mac address if it is not used now

network, udev: introduce PermanentMACAddress= setting in [Match] section

Closes #13983.

Support Plugable UD-PRO8 dock

Add support for Plugable Pro8 docking station for auto-configuring seat

ethtool: introduce ethtool_get_permanent_macaddr()

Will be used in later commits.

gpt-auto: don't assume XBOOTLDR is vfat

Let's not assume "umask=" is a valid mount option for XBOOTLDR
partitions unconditionally.

Fixes: #14165

network, meson: allow statically linked build

Build option "link-networkd-shared" to build a statically linked
systemd-networkd by using

  -Dlink-udev-shared=false -Dlink-networkd-shared=false

on systems with full systemd stack except systemd-networkd, such
as RHEL/CentOS 8.

Merge pull request #14510 from poettering/net-naming-scheme-fixlets

some net naming scheme documentation fixes

zsh: Complete systemctl subcommands in separate tags

Fixes #14422

shared/sleep-config: do not ignore resume_offset when resume not set

This is most likely a user error, let's make it easier to diagnose.

shared/sleep-config: make swap detection stricter again

To make this easier to understand, let's always log (at debug level)
when we accept or reject each device:
/swapfile: detection of swap file offset on Btrfs is not supported
/swapfile: is a candidate device.
/dev/zram0: ignoring zram swap
/dev/vdb: ignoring device with lower priority
/dev/vdc: ignoring device with lower usable space
...

If we know that hibernation will fail, refuse. This includes cases where
/sys/power/resume is set and doesn't match any device, or
/sys/power/resume_offset is set and we're not on btrfs and it doesn't match.
If /sys/power/resume is not set at all, we still accept the device with the
highest priority (see 6d176522f5480ea9e9a83de5ef5ea5e0d95b79cb and
88bc86fcf895da0d51ddaf93d17b4280f4e60d74)

Tested cases:
1. no swap active → refuse
2. just zram swap active → refuse
3. swapfile on btrfs with /sys/power/resume{,_offset} set → OK
4. swapfile on btrfs with /sys/power/resume set, offset not set → refuse
5. swapfile on btrfs with /sys/power/resume set to nonexistent device, offset set → refuse
6. /sys/power/resume not set, offset set, candidate exists → OK (*)
7. /sys/power/resume not set, offset not set, candidate exists → OK

(*) I think this should fail, but I'm leaving that for the next commit.

Merge pull request #14423 from danielshahaf/zsh-add-missing-completions

zsh: Add missing completions

boot: fix osrel parser

let's check VERSION instead of VERSION_ID where appropriate.

Fixes: #14493

Merge pull request #14472 from poettering/test-43-fixes

Various robustness fixes for TEST-43-PRIVATEUSER-UNPRIV

Merge pull request #14499 from yuwata/network-gateway-dhcp

network: static route via DHCP gateway

man: stop recommending modprobe -abq in ExecStartPre=

units: tweaks to modprobe@.service

Let's use uppercase wording in the description string, like we usually
do.

Let's allow using this service in early boot.

If it's pulled into the initial transaction it's better to finish
loading this before sysinit.target.

Don't bother with this in containers that lack CAP_SYS_MODULE

unit: make sure to pull in modprobe@loop.service when RootImage= is used with DeviceAllow=

Fixes: #14214

bpf-devices: line-break some overly long function signatures

units: Split modprobing out into a separate service unit

Devices referred to by `DeviceAllow=` sandboxing are resolved into their
corresponding major numbers when the unit is loaded by looking at
`/proc/devices`. If a reference is made to a device which is not yet
available, the `DeviceAllow` is ignored and the unit's processes cannot
access that device.

In both logind and nspawn, we have `DeviceAllow=` lines, and `modprobe`
in `ExecStartPre=` to load some kernel modules. Those kernel modules
cause device nodes to become available when they are loaded: the device
nodes may not exist when the unit itself is loaded. This means that the
unit's processes will not be able to access the device since the
`DeviceAllow=` will have been resolved earlier and denied it.

One way to fix this would be to re-evaluate the available devices and
re-apply the policy to the cgroup, but this cannot work atomically on
cgroupsv1. So we fall back to a second approach: instead of running
`modprobe` via `ExecStartPre`, we move this out to a separate unit and
order it before the units which want the module.

Closes #14322.
Fixes: #13943.

udev: use dot_or_dot_dot() where appropriate

man: fix documentation of IBM VIO device naming

We generate "v" in two different ways, and they got mixed up.

man: slightly extend documentation on difference between ID_NET_NAME_ONBOARD and ID_NET_LABEL_ONBOARD

shared/sleep: use stat() instead of open()+fstat() in one place

No functional change.

udev: do not use exact match of file permission

This partially reverts 25de7aa7b90c23d33ea50ada1e50c5834a414237.

Fixes #14473.

Merge pull request #14481 from yuwata/virt-string-table

virt: use string table to detect VM or container

nspawn: set original ifname as alternative if it is truncated

network: append INTERFACE= attributes for logs corresponds to a netif

test-network: suppress logs in status command

networkctl: status command also shows logs of networkd

Closes #14050.

man: drop unnecessary white space

locale-util: extend comments on unicode glyph use, and drop mdash (that actually was an ndash)

Let's add the actual unicode names of the glyphs we use. Let's also add
in comments what the width expectations of these glyphs are on the
console.

Also, remove the "mdash" definition. First of all it wasn't used, but
what's worse the glyph encoded was actually an "ndash"...

Fixes: #14075

Merge pull request #14420 from DaanDeMeyer/nspawn-fix-read-only-overlay-rootfs

nspawn: Don't mount read-only if we have a custom mount on root.

test-network: add test for Gateway=DHCP

network: static routes via DHCP gateway

This makes Gateway= also take "DHCP". If "DHCP" is set, then the gateway
address provided by DHCP or IPv6 RA is used.

Closes #8213.

virt: drop trailing white spaces

virt: use string table to detect VM or container

pkcs11-util: don't mask return value of the first asprintf()

Fixes CID#1409666

network: lower the log-level of harmless message

Closes #14285.

meson: drop unnecessary linking of libudev_core

sd-netlink: fix copy and paste mistake

man: change links to container interface doc to https://systemd.io/

Now that we converted the documentation we should also link to it.

docs: move container interface docs from wiki to markdown

Let's move
https://www.freedesktop.org/wiki/Software/systemd/ContainerInterface/
into our tree and convert it to Markdown.

This also incldues some minor fixes and other changes.

sd-netlink: use uint8_t* for non-character data

testsuite: drop "systemctl is-system-running --wait" invocation

We wait for "basic.target" being reached in the user instance anyway
before allowing the user's session to start, hence doing such a wait is
unnecessary, since that would just mean we'd wait for "default.target"
on top of "basic.target", but we shouldn#t need anything of that...

Hence, let's simplify this, reduce explicit sync points.

test: don't rely on "nobody" user for TEST-43

The name is not as universal as we want, still, hence let's use our own
user we create with sysusers.d/. That should yield same behaviour
everywhere (and also test sysusers a bit as side effect).

test: hardcode shell to use

let's make sure we always invoke our commands through /bin/sh, since
on some distros su will use /bin/nologin (or whatever is listed in
/etc/passwd) as shell otherwise and we don#t want that.

systemd-sleep: always attempt hibernation if configured

When calculation of swap file offset is unsupported, rely on the
/sys/power/resume & /sys/power/resume_offset values if configured
rather than requiring a matching swap entry to be identified.

Refactor to use dev_t for comparison of resume= device instead of string.

dbus-execute: avoid extra strdup()

bind_mount_add does the strdup(), so we can avoid
strdup()ing the strings.

test: use symlinks for Makefiles

for some reason the newer tests used file copyies instead of symlinks.
let's fix that.

job: Don't mark as redundant if deps are relevant

In the steps given in #13850, the resulting graph looks like:

    C (Anchor) -> B -> A

Since B is inactive, it will be flagged as redundant and removed from
the transaction, causing A to get garbage collected. The proposed fix is
to not mark nodes as redundant if doing so causes a relevant node to be
garbage collected.

Fixes #13850

Merge pull request #14194 from yuwata/network-multipath-routing-12541

network: introduce multipath routing

Merge pull request #14469 from aburch/man-tmpfiles.d-minor-improvements

man: tmpfiles.d: minor improvements

nspawn: Make a custom mount on root imply --read-only.

nspawn: Don't mount read-only if we have a custom mount on root.

Merge pull request #14401 from DaanDeMeyer/nspawn-move-veth-back-to-host

nspawn: move virtual interfaces added with --network-interface back to the host

man: tmpfiles.d: only list "v" once