journalctl: Correctly handle combination of --reverse and --lines (fixes #1596)

journalctl: Correctly handle --show-cursor in combination with --until or --since and --reverse

Merge pull request #14532 from poettering/namespace-dynamic-user-fix

Make DynamicUser=1 work in a userns container

Merge pull request #14553 from poettering/man-mkdir

man: small man page fixes

Merge pull request #14549 from keszybz/portability-and-stability

Portability and stability

man: we support bind mounting regular files too

Let's be precise here: we accept non-directories here too, even though
we create things as directories if we find the Where= not to exist.

man: document that we mkdir() on What= in .mount units too

As suggested here:

https://lists.freedesktop.org/archives/systemd-devel/2020-January/043914.html

docs: say that various cli progs are independent of pid1

docs: say that dbus api is stable (but list various caveats)

I removed the part about sysv compat, because that has already been removed and
we don't make any use of conditional dbus interfaces afaict.

docs: say that all documented programs in $PATH are stable

docs: import "interface stability promise"

In the wiki, this was a separate page. I don't think this split is useful,
since the information about what is stable and what not seems randomly split
between the two pages.

Links are adjusted for our own pages. Some external links to gentoo and other
projects seem to be broken, but it's a chore to fix them.

man: XxxRate= are in bps

docs/stability: relax the stance on accepting patches a bit

Instead of saying that patches for portability are not accepted, say that this
is decided case-by-case. This is what happens in practice, and we tend to
discuss each patch on its own merits.

Some sentences are reworded a bit where they sound awkward.

docs: import stability chart from wiki

nspawn: Correct "container" to "host" MAC setting message

Merge pull request #14533 from poettering/swap-prio-fixes

Fix Priority= parsing in .swap units

Merge pull request #14508 from poettering/namespace-ro-fix

core: be nicer to read-only images

Merge pull request #14538 from yuwata/xyzctl-full

use table_set_width(table, 0) if --full is specified

hwdb: make comment more precise

Based on https://github.com/systemd/systemd/pull/14296#issuecomment-567159538.

machinectl: do not truncate addresses when --full is specified

tree-wide: use table_log_add_error()

portablectl: optimize table creation

machinectl: optimize table creation

analyze: optimize table creation by using table_add_many()

format-table: add table_log_add_error()

initctl: (void)ify epoll_ctl()
CID 996298

Merge pull request #14534 from poettering/cgroup-sibling-fix

core: fix re-realization of cgroup siblings

Merge pull request #13927 from ddstreet/ll_no

networkd: set addr_gen_mode and check for tentative ipv6ll before dro…

bash-completion: do not ellipsize machine name

machinectl: do not ellipsize table when --full is specified

bash-completion: busctrl: support --full command line option

busctl: introduce --full command line option

bash-completion: networkctl: do not show ellipsized link name

networkctl: set table width 0 when --full is specified

systemd-mount: add --full command line option

format-table: allow forcing arbitrary width tables

Useful for implementing systemctl's --full.

See #14470

Merge pull request #14527 from poettering/socket-state-fix

core: propagate service state to socket in more load states

test-network: simplify wait_online() by calling wait_operstate()

The wait_operstate() function now rechecks the condition for a timeout,
so the wait_online() function can simply call it to check for the
setup_state.

test-network: convert wait_operstate() to recheck condition for timeout seconds

Failing after a single check leads to extra sleeps scattered through
test cases, and can also lead to false failures.  Instead perform a
recheck for a number of seconds until the state matches, and fail only
if the timeout is exceeded.

This allows removing all the manual sleeps in the testcases.

test-network: rename check_operstate() to wait_operstate()

Rename only, no functional change; this makes following patches easier
to read.

network: drop foreign config after addr_gen_mode has been set

Interfaces may come up at any time, even during our initialization of
them, for various reasons; e.g. the kernel will raise VLAN when its
parent is raised; or we will raise an interface if configured with
BindCarrier and its associated interfaces come up.

When LinkLocalAddressing has been disabled for ipv6, we disable
addr_gen_mode in the kernel, so it will not automatically create a
ipv6ll address when the interface is raised.  However, we currently
drop all foreign addresses before disabling addr_gen_mode.

If the link has been up for a long time, then its kernel-created ipv6ll
address will be correctly dropped.  If the link is down, and stays
down until we raise it after finishing configuration, the addr_gen_mode
setting will be disabled when the interface is raised and the kernel
will not create any ipv6ll address.

However, if the interface is raised after dropping foreign config,
but before we have disabled addr_gen_mode, the kernel will create a
ipv6ll tentative address that will eventually finish DAD and become a
working ipv6ll address, even though we have been configured to disable
ipv6ll.

Moving our call to drop foreign addresses to after we have successfully
set addr_gen_mode closes this window; after we disable addr_gen_mode,
we can safely remove foreign ipv6ll addresses (including tentative ones)
and be sure that the kernel will not create any more.

Fixes: #13882.

network: if ipv6ll is disabled, enumerate tentative ipv6 addrs before dropping foreign addrs

The kernel will create an ipv6ll tentative address immediately when an
interface is raised if addr_gen_mode is not disabled; and, the kernel does
not notify netlink listeners about any tentative addresses.  So it's
possible for an interface to contain tentative ipv6 link-local address(es)
that networkd doesn't know about when all foreign addresses are dropped.

In this case, networkd is later notified about the new ipv6ll address(es)
after they finish DAD and are no longer tentative; but since that's after
networkd has already dropped foreign addresses, they are incorrectly left
on the interface.

network: add link->setting_genmode flag

Similar to the link->setting_mtu flag, this delays continued configuration
until after the genmode has been successfully set; this is important
because we do not want networkd to raise the interface before the genmode
has been set, as if we're disabling the genmode, raising the interface
before we have successfully disabled the genmode will result in the kernel
creating a ipv6ll address, even though we don't want that.

network: rename linux_configure_after_setting_mtu() to linux_configure_continue()

This is a simple rename to make the function name more generic;
the next commit expands its usage to more than only the mtu handler.

man: describe "symlink" and "systemctl link" explicitly in UNIT FILE LOAD PATH

There are sometimes users who put unit files in a location that is inaccessible
when systemd starts although they are not found and thus not started because
the corresponding mount units have not activated yet.

There is already a warning for such issue in man 8 systemctl:

     link PATH...
         ...<snip>...
         The file system where
         the linked unit files are located must be accessible
         when systemd is started (e.g. anything underneath /home
         or /var is not allowed, unless those directories are
         located on the root file system).

However, it looks that it's difficult to find the warning because introductory
users typically doesn't know systemctl link.

Although there is a description in UNIT FILE LOAD PATH pointing to systemctl
link, symlink is now not explicitly mentioned there and thus users doesn't
easily get aware of they should read it.

To deal with this, let's describe "symlink" and "systemctl link" more
explicitly in UNIT FILE LOAD PATH.

core: fix re-realization of cgroup siblings

This is a fix-up for eef85c4a3f8054d29383a176f6cebd1ef3a15b9a which
broke this.

Tracked down by @w-simon

Fixes: #14453

core: set error value correctly

core: use unit-based logging instead of generic logging where appropriate

core: initialize priority_set when parsing swap unit files

Fixes: #14524

core: no need to initialize swap structure fields if all zeroes anyway

core: expose swap priority value via dbus only if it is set

Merge pull request #14525 from yuwata/mount-use-format-table

systemd-mount: use format-table.[ch]

bash-completion: networkctl: support --full and --lines

core: be more restrictive on the dependency types we allow to be created transiently

We should allow the ones that the [Unit] section of regular unit files
may accet, but no other, in particular not the internal deps we
synthesize as reverse of explicitly configured ones, such was WantedBy=.

Fixes: #14251

timedatectl: use format-table.[ch]

core: make sure we use the correct mount flag when re-mounting bind mounts

When in a userns environment we cannot take away per-mount point flags
set on a mount point that was passed to us. Hence we need to be careful
to always check the actual mount flags in place and manipulate only
those flags of them that we actually want to change and not reset more
as side-effect.

We mostly got this right already in
bind_remount_recursive_with_mountinfo(), but didn't in the simpler
bind_remount_one_with_mountinfo(). Catch up.

(The old code assumed that the MountEntry.flags field contained the
right flag settings, but it actually doesn't for new mounts we just
established as for those mount() establishes the initial flags for us,
and we have to read them back to figure out which ones the kernel
picked.)

Fixes: #13622

mount-util: line break overly long function prototypes

mount-util: clean up get_mount_flags()

This cleans up the function in multiple ways:

- change order of parameters to follow our usualy system of putting
  return parameters last
- rename return parameter "ret" as we usually do
- don't initialize local variables we override immediately anyway
- downgrade log messages to LOG_DEBUG (since we don't log about any
  other errors here above LOG_DEBUG, as this is mostly an "API"-style
  function)
- handle that mnt_fs_get_vfs_options() may return NULL (according to
  docs)
- manually map the ST_xyz to MS_xyz flags on statvfs(), because while
  they are mostly the same, they aren't entirely the same, MS_RELATIME and
  ST_RELATIME are defined differently (sad!)

mount-util: don't mask away MS_RDONLY twice

We have the flags mask for that, and if callers really wanted us to mask
this away, then they should pass the correct mask.

mount-util: rename cleaned → simplified, because that's what we actually did here

systemd-mount: add --no-legend command line option

systemd-mount: use format-table.[ch]

format-table: introduce TABLE_PATH

core: propagate service state to socket in more load states

It makes sense to filter state changes for some load states that
shouldn't happen, but the common cases should be accepted, because they
might happen during runtime when "systemctl daemon-reload" is issued and
unit files changed state in between. Otherwise we lose events.

Fixes: #4708

udev: don't import parent ID_FS_ data on partitions

When probing partitions, we inherit important information from the parent
disk device such as ID_MODEL, and usage of such properties is seen to
be acceptable and well established.

However, we need to exclude filesystem information from the properties
that get inherited. Information about the device content should not be
passed on in this way.

For example, Linux distro install media commonly uses an ISO filesystem
plus a partition table. The ISO filesystem is detected on the main disk
device, but we should not pass down those details to the partitions,
some or all of which may be pointing at storage areas completely distinct
from the ISO filesystem.

This is particularly problematic when adding new partitions on media
set up in this way (since the new partitions are then reported to contain
the parent device's ISO filesystem), or when dealing with more unusual
hybrid ISO layouts. The inaccuracy of information here inversely affects
users of blkid and udev's persistent storage symlinks.

Exclude ID_FS_* properties from the inheritance chain to avoid these
problems.

Fixes: #14408

core: when we cannot open an image file for write, try read-only

Closes: #14442

namespace: tweak checks whether we can mount image read-only

So far we set up a loopback file read-only iff ProtectSystem= and
ProtectHome= both where set to values that mark these dirs read-only.
Let's extend that and also be happy if /home and the root dir are marked
read-only by some other means.

Fixes: #14442

install: use path_strv_contains() where appropriate

path-util: express PATH_IN_SET() through path_strv_contains()

path-util: introduce path_strv_contains() helper

it's like strv_contains() but uses path_equal() rather than streq() to
compare strings.

Merge pull request #14523 from keszybz/refactorings

Refactorings inspired by recent pull requests

sd-event: use _cleanup_ in one more place

sd-event: use RAII for struct epoll_event

Inspired by #14353.

network: use automatic stack allocation and structured init

network: do not require ethtool_get_permanent_macaddr() to get an fd

test: minor typo fix

As pointed out on: https://github.com/systemd/systemd/pull/14465#discussion_r364152064

Merge pull request #14448 from yuwata/network-permanent-mac-address

network, udev: support permanent mac address

Merge pull request #14518 from keszybz/interface-text

doc: tweak grammar in CONTAINER_INTERFACE description

Merge pull request #14511 from keszybz/sleep-check-rework

Sleep check rework

Merge pull request #14512 from poettering/root-image-devices

Make RootImage= work reliable with DeviceAllow= in the mix

test: pin meson to 0.52.1 for fuzzit/fuzzbuzz

Latest meson doesn't work with older python 3.5, which is present on
Ubuntu 16.04. Let's pin in to the latest working version (0.52.1) until
we properly bump all necessary Ubuntu images to 18.04.

See: https://github.com/mesonbuild/meson/issues/6427

network: rename *fd to *ethtool_fd

man: use xi:include to avoid duplication

... and fix some unwarranted discrepancies between the two man pages.

Merge pull request #14465 from poettering/setprio-rework

When Nice= is used, clamp to RLIMIT_NICE

Merge pull request #14488 from yuwata/networkctl-show-logs

networkctl: status command also shows logs of networkd

man: fix option name

doc: tweak grammar in CONTAINER_INTERFACE description

The only non-stylistic change is to replace descriptions of how we are
encouraging people to use PrivateTmp= and such, because now they are widely
used.

Merge pull request #14494 from poettering/container-interface

Let's import the container interface description text from the fdo wiki

networkctl: show permanent mac address if it is not used now

network, udev: introduce PermanentMACAddress= setting in [Match] section

Closes #13983.

Support Plugable UD-PRO8 dock

Add support for Plugable Pro8 docking station for auto-configuring seat

ethtool: introduce ethtool_get_permanent_macaddr()

Will be used in later commits.

gpt-auto: don't assume XBOOTLDR is vfat

Let's not assume "umask=" is a valid mount option for XBOOTLDR
partitions unconditionally.

Fixes: #14165

network, meson: allow statically linked build

Build option "link-networkd-shared" to build a statically linked
systemd-networkd by using

  -Dlink-udev-shared=false -Dlink-networkd-shared=false

on systems with full systemd stack except systemd-networkd, such
as RHEL/CentOS 8.

Merge pull request #14510 from poettering/net-naming-scheme-fixlets

some net naming scheme documentation fixes

zsh: Complete systemctl subcommands in separate tags

Fixes #14422

shared/sleep-config: do not ignore resume_offset when resume not set

This is most likely a user error, let's make it easier to diagnose.

shared/sleep-config: make swap detection stricter again

To make this easier to understand, let's always log (at debug level)
when we accept or reject each device:
/swapfile: detection of swap file offset on Btrfs is not supported
/swapfile: is a candidate device.
/dev/zram0: ignoring zram swap
/dev/vdb: ignoring device with lower priority
/dev/vdc: ignoring device with lower usable space
...

If we know that hibernation will fail, refuse. This includes cases where
/sys/power/resume is set and doesn't match any device, or
/sys/power/resume_offset is set and we're not on btrfs and it doesn't match.
If /sys/power/resume is not set at all, we still accept the device with the
highest priority (see 6d176522f5480ea9e9a83de5ef5ea5e0d95b79cb and
88bc86fcf895da0d51ddaf93d17b4280f4e60d74)

Tested cases:
1. no swap active → refuse
2. just zram swap active → refuse
3. swapfile on btrfs with /sys/power/resume{,_offset} set → OK
4. swapfile on btrfs with /sys/power/resume set, offset not set → refuse
5. swapfile on btrfs with /sys/power/resume set to nonexistent device, offset set → refuse
6. /sys/power/resume not set, offset set, candidate exists → OK (*)
7. /sys/power/resume not set, offset not set, candidate exists → OK

(*) I think this should fail, but I'm leaving that for the next commit.

Merge pull request #14423 from danielshahaf/zsh-add-missing-completions

zsh: Add missing completions

boot: fix osrel parser

let's check VERSION instead of VERSION_ID where appropriate.

Fixes: #14493