homework: correct error passed into log message

homework: sync everything to disk before we rename LUKS loopback file into place

This how this works on Linux: when atomically creating a file we need to
fully populate it under a temporary name and then when we are fully
done, sync it and the directory it is contained in, before renaming it
to the final name.

homed: downgrade quota message in containers

quota syscalls and operations are typically prohibited in containers.
Let's not make noise about that, needlessly.

log: don't explicitly re-open log for failed assertions

This was needed before commit 16e4fd87c5be06d2b7a3b368205c8c5bab9df32a added a
mode that opens the log fds for every single log message. This mode is used in
execute.c since then making the explicit call to log_open unnecessary.

This basically reverts ea89a119cda917a17bd186b3c13197acfd655b12.

resolve: lift limits on search domains count or length

glibc 2.26 lifted restrictions on search domains count or length to
unlimited. This has also been backported to 2.17 in some distributions (RHEL 7
and derivatives). Other softwares may have their own limits for search domains,
but we should not restrict what is written out any more.

https://sourceware.org/legacy-ml/libc-announce/2017/msg00001.html

Merge pull request #16761 from keszybz/missing-syscall-cleanup

Missing syscall cleanup

missing_syscall: do not use function name that may conflict with glibc

This was done for all replacements back in 5187dd2c403caf92d09f3491e41f1ceb3f10491f,
but some newer stuff didn't do this.

missing_syscall: fix pidfd_{send_signal,open} numbers for alpha

Also order the syscalls by syscall number for easier comparisons with the
kernel headers.

Fixup for 5f152f43d04e5aad6a3f98f45f020a66e3aac717.

missing_syscall: add forgotten check for __NR_get_mempolicy nonnegativity

We do it in other cases, we should here too.

Fixup for b070c7c0e13.

test: accept that char device 0/0 can now be created witout privileges

Fixes: #16721

hwdb: ACCEL_MOUNT_MATRIX quirk for Acer SP111-32*

socket-netlink: make address argument const

man: move 'files' module in NSS 'hosts:' line before myhostname

I am pretty sure /etc/hosts (i.e. an explicitly configured, local,
trusted database) should be useful for overriding the automatic
myhostname logic.

resolved's internal logic handles it that way and hence we should
suggest it in the NSS fallback line, too.

Let's also bring the factory file back into sync with what the docs say.

And update the prose a bit too, to actually match what we recommend.

tools/make-man-index: fix purpose text that contains tags

test-fs-util: skip encrypted path test if we get EACCES

Unprivileged test-fs-util fails on my system since /sys/dev/block is
inaccessible for unprivileged users, so let's skip encrypted path test if we
get EACCES or similar.

README: fix indentation

All paragraphs are indented to 8 spaces, but one. Fix that.

update TODO

Newer Glibc use faccessat2 to implement faccessat

cf https://repo.or.cz/glibc.git/commit/3d3ab573a5f3071992cbc4f57d50d1d29d55bde2

This cause breakage on Fedora Rawhide: https://bugzilla.redhat.com/show_bug.cgi?id=1869030

Merge pull request #16705 from bluca/verity_udev_wait

Verity: use udev to wait for symlink creation on concurrent activations

shared/udev-util: fix sd_device leak in device_wait_for_initialization

If the caller doesn't pass a return pointer, or if sd_event_loop fails
after the device was found and referenced, it never gets dereferenced.

tree-wide: enable/disable libcrypsetup debug output depending on our level

Avoid always setting to debug, as it will incur in many more callbacks from
libcrypsetup that then get discarded, wasting resources.

dissect: yield for 2ms when a verity device cannot be opened before retrying

If we don't succeed on the first try it's because another process is
opening the same device. Do a microsleep for 2ms to increase the
chances it has completed the next time around the loop.

dissect: account for EBUSY when verity device already exists

In some cases, libdevmapper/libcrypsetup might return EBUSY instead of
EEXIST when opening a shared device. Treat it in the same way.

dissect: wait for udev event if verity device not yet available

The symlink /dev/mapper/dm_name is created by udev after a mapper
device is set up. So libdevmapper/libcrypsetup might tell us that
a verity device exists, but the symlink we use as the source for
the mount operation might not be there yet.
Instead of falling back to a new unique device set up, wait for
the udev event matching on the expected devlink for at least 100ms
(after which the benefits of sharing a device in terms of setup
time start to disappear - on my production machines, opening a new
verity device seems to take between 150ms and 300ms)

udev-util: add device_wait_for_devlink

Allows to wait for an event by matching on the devlink that gets
created.

namespace: fix minor memory leak

Merge pull request #16612 from poettering/dissect-copy

teach systemd-dissect file copying, and make it officially supported, move to /usr/bin + man page

update TODO

test: update tests to use new JSON output instead of human readable output

dissect: add support for outputting JSON

json: add helpers for dealing with id128 + strv

man: document systemd-dissect

meson: move systemd-dissect to /usr/bin

dissect: show proper error strings for more errors

Also, make inability to decrypt and EBUSY a non-fatal issue, since we
still are able to display the mount table then.

dissect: introduce new helper dissected_image_mount_and_warn() and use it everywhere

dissect: use recognizable error if we are supposed to mount an encrypted fs

Also, document EBUSY

dissect: immediately close pipes when we determined we have no data for them

This effectively makes little difference because we exit soon later
anyway, which will close the fds, too. However, it's still useful since
it means the parent will get EOF events on them in the order we process
things and isn't delayed to process the data from the pipes until the
child dies.

dissect: properly propagate some relevant dissection errors

Let's send some specific error codes from helper process to parent via
the return value, and convert them back there.

dissect: beef up dissection output

Let's use a proper table for outputting partition information. Let's
also put the general information about the image first, and the table
after that.

Moreover, dissect the image before showing any output, so that we can
early on return an error if the image is not valid.

dissect: load verity metadata earlier

That way we can turn off kernel partition scanning if verity data is
available (as we don't support verity for full GPT images, only for
simple file system images).

dissect: show more information in output

Let's show size and image filename.

dissect: add support for copying files in/out of image

copy: add copy_access() helper for copying access mode

dissect: optionally mkdir directory to overmount

mkdir: handle mkdir_p() of simple filename gracefully

dissect: support --discard=list

firstboot: move --image= logic into common code

That way we can reuse it in tmpfiles/sysusers/journalctl and so on.

Merge pull request #16678 from poettering/loop-configure

loop-util: use new LOOP_CONFIGURE ioctl added in kernel 5.8

man: fix incorrectly placed full stop

update TODO

loop-util: use new LOOP_CONFIGURE ioctl

LOOP_CONFIGURE allows us to configure a loopback device in one ioctl
instead of two, which is not just faster but also removes the race that
udev might start probing the device before we adjusted things properly.

Unfortunately LOOP_CONFIGURE is broken in regards to LO_FLAGS_PARTSCAN
as of kernel 5.8.0. This patch contains a work-around for that, to
fallback to old behaviour if partition scanning is requested but does
not work. Sucks a bit.

Proposed upstream fix for that issue:

https://lkml.org/lkml/2020/8/6/97

dissect: use new blockdev_partscan_enabled() API where appropriate

blockdev-util: add correct API for detecting if block device has partition scanning enabled

Instead of checking the loopback ioctls, let's check sysfs, so that we
catch all kinds of block devices, not just loopback block devices.

Merge pull request #16690 from poettering/userdb-group-desc

description field for group records

units: order volatile-root after repart

Let's make sure systemd-repart can still see the real device before we
replace its mount with an overlay mount, and thus order repart before
volatile-root.

See: https://lists.freedesktop.org/archives/systemd-devel/2020-July/044896.html

Merge pull request #16697 from yuwata/network-fix-suspend-issue

network: fix suspend issue

Merge pull request #16684 from keszybz/assorted-cleanups

Assorted cleanups

hwdb: Add ACCEL_MOUNT_MATRIX quirk for Asus M80TA

network: wait for previous address removal before configuring static addresses

Fixes #16696.

network: drop unnecessary bracket

network: only process non-error message

Merge pull request #16682 from poettering/userdb-gecos-fix

userdb: mangle GECOS field if necessary

user-record: deal with invalid GECOS fields gracefully

Let's fix up invalid GECOS fields both when we convert from NSS to JSON
and the other way round.

Kinda sucks we have to do that, but NSS does it when writing data to
/etc/passwd, so let's do the same.

Fixes: #16668

user-util: add mangle_gecos() call for turning strings into fields suitable as GECOS fields

fix typo in systemctl help

Merge pull request #16604 from poettering/tmpfiles-image

add --image= switch to tmpfiles, sysusers, journalctl

journalctl: in "-o cat" mode show color

Let's provide a modicum of niceness, even in this barebones mode.

Fixes: #16232

units: order systemd-user-sessions.service after home.mount

This should make /home as automount work reasonably well.

If /home is an automount this has little effect at boot, because if the
automount is not triggered it doesn't matter how the associated mount is
ordered.

It does matter at shutdown however, where home.mount is likely active
now. There the ordering means we'll end sessions first, and only then
deactivate home.mount.

Fixes: #16291

update TODO

docs: document new description field

Also, explain GECOS syntax requirements.

core,home,machined: generate description fields for all groups we synthesize

userdb: add "description" field to group records

User records have the realname/gecos fields, groups never had that, but
it would really be useful to have it, hence let's add it with similar
semantics.

We enforce the same syntax as for GECOS, since it's better to start with
strict rules and losen them later instead of the opposite.

update TODO

man: clarify that LogNamespace= is for system services only

Fixes: #16638

Merge pull request #16321 from bluca/mount_images

core: new feature MountImages

_sd-common.h: avoid parsing errors with Coverity

The commit 1070d271fa8fa553d57dd5f74dd1e3f60732d0b9 which was supposed
too fix this does not seem to take effect any more.  We get again 34%
compilation success rate while scanning systemd itself.  Moreover, the
installed header file breaks compilation of programs that include it:

"/usr/include/systemd/_sd-common.h", line 23: error #35: #error directive: "Do
          not include _sd-common.h directly; it is a private header."
  #  error "Do not include _sd-common.h directly; it is a private header."
     ^

update TODO

core: new feature MountImages

Follows the same pattern and features as RootImage, but allows an
arbitrary mount point under / to be specified by the user, and
multiple values - like BindPaths.

Original implementation by @topimiettinen at:
https://github.com/systemd/systemd/pull/14451
Reworked to use dissect's logic instead of bare libmount() calls
and other review comments.
Thanks Topi for the initial work to come up with and implement
this useful feature.

strv: add strv_split_colon_pairs function

Given a string in the format 'one:two three four:five', returns a string
vector with each word. If the second element of the tuple is not
present, an empty string is returned in its place, so that the vector
can be processed in pairs.

[zjs: use EXTRACT_UNESCAPE_SEPARATORS instead of EXTRACT_CUNESCAPE_RELAX.
This way we do escaping exactly once and in normal strict mode.]

basic/extract-word: add EXTRACT_UNESCAPE_SEPARATORS mode

This allows separators to be escaped, for example to allow
"a\:b:c", to be treated as "a:b", "c" with ":" as the separator.

update TODO

man: document the new --image= switches in journalctl/sysusers/tmpfiles

journalctl: add --image= switch

sysusers: add support for a --image= switch

tmpfiles: support --image= similar to --root=

firstboot: move --image= logic into common code

That way we can reuse it in tmpfiles/sysusers/journalctl and so on.

test: add another test case for extract_many_words

Covers some functionality that we want to use for config tuples

tmpfiles: properly prefix paths in debug outputs

This is otherwise very confusing...

tmpfiles: we don't support the combination of --root and --user, hence refuse it

--user only really works with certain env vars such as XDG_RUNTIME_DIR
set, but that's just weird if --root= is used.

tmpfiles: add new switch -E for quickly excluding /proc, /dev, /sys and /run

analyze: fix 'cat-config systemd/zram-generator.conf'

Also makes this work for various systemd config files that support .d.

selinux: improve comment about getcon_raw semantics

This code was changed in this pull request:
https://github.com/systemd/systemd/pull/16571

After some discussion and more investigation, we better understand
what's going on. So, update the comment, so things are more clear
to future readers.

Update DISCOVERABLE_PARTITIONS.md

This patch fixes a typo in the link to the systemd-id128 documentation.

man: fix typo

docs: rework awkward sentence in AUTOMATIC_BOOT_ASSESSMENT

bless-boot: add missing verb to --help

There is also "help" verb which duplicates the --help option. I don't
think we should advertise it.

test-nss: do not assume all symbols are defined

It is OK for some symbols to be missing. With this change, "test-nss sss" can
be used to test nss-sss without crashing.

$ build-rawhide/test-nss sss fedoraproject.org
======== sss ========
_nss_sss_gethostbyname4_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_INET) → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_INET6) → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", *) → status=NSS_STATUS_UNAVAIL
                   errno=97/EAFNOSUPPORT h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_UNIX) → status=NSS_STATUS_UNAVAIL
                   errno=97/EAFNOSUPPORT h_errno=-1/Resolver internal error

_nss_sss_gethostbyname_r("fedoraproject.org") → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

test-seccomp: minor simpification

test-nss: modernize a bit and print path to the loaded so file

This makes it easier to figure out if we're looking at the right
module.

journalctl: reshuffle console message about fss keys

We talked about the verification key, then about sealing keys, and then
about the verification key again. Let's shorten things a bit, and divide
the output in three paragraphs: one about the machine, one about the sealing
keys, and one about verification keys and the qr code with them.