man: document systemd-dissect

meson: move systemd-dissect to /usr/bin

dissect: show proper error strings for more errors

Also, make inability to decrypt and EBUSY a non-fatal issue, since we
still are able to display the mount table then.

dissect: introduce new helper dissected_image_mount_and_warn() and use it everywhere

dissect: use recognizable error if we are supposed to mount an encrypted fs

Also, document EBUSY

dissect: immediately close pipes when we determined we have no data for them

This effectively makes little difference because we exit soon later
anyway, which will close the fds, too. However, it's still useful since
it means the parent will get EOF events on them in the order we process
things and isn't delayed to process the data from the pipes until the
child dies.

dissect: properly propagate some relevant dissection errors

Let's send some specific error codes from helper process to parent via
the return value, and convert them back there.

dissect: beef up dissection output

Let's use a proper table for outputting partition information. Let's
also put the general information about the image first, and the table
after that.

Moreover, dissect the image before showing any output, so that we can
early on return an error if the image is not valid.

dissect: load verity metadata earlier

That way we can turn off kernel partition scanning if verity data is
available (as we don't support verity for full GPT images, only for
simple file system images).

dissect: show more information in output

Let's show size and image filename.

dissect: add support for copying files in/out of image

copy: add copy_access() helper for copying access mode

dissect: optionally mkdir directory to overmount

mkdir: handle mkdir_p() of simple filename gracefully

dissect: support --discard=list

firstboot: move --image= logic into common code

That way we can reuse it in tmpfiles/sysusers/journalctl and so on.

Merge pull request #16678 from poettering/loop-configure

loop-util: use new LOOP_CONFIGURE ioctl added in kernel 5.8

man: fix incorrectly placed full stop

update TODO

loop-util: use new LOOP_CONFIGURE ioctl

LOOP_CONFIGURE allows us to configure a loopback device in one ioctl
instead of two, which is not just faster but also removes the race that
udev might start probing the device before we adjusted things properly.

Unfortunately LOOP_CONFIGURE is broken in regards to LO_FLAGS_PARTSCAN
as of kernel 5.8.0. This patch contains a work-around for that, to
fallback to old behaviour if partition scanning is requested but does
not work. Sucks a bit.

Proposed upstream fix for that issue:

https://lkml.org/lkml/2020/8/6/97

dissect: use new blockdev_partscan_enabled() API where appropriate

blockdev-util: add correct API for detecting if block device has partition scanning enabled

Instead of checking the loopback ioctls, let's check sysfs, so that we
catch all kinds of block devices, not just loopback block devices.

Merge pull request #16690 from poettering/userdb-group-desc

description field for group records

units: order volatile-root after repart

Let's make sure systemd-repart can still see the real device before we
replace its mount with an overlay mount, and thus order repart before
volatile-root.

See: https://lists.freedesktop.org/archives/systemd-devel/2020-July/044896.html

Merge pull request #16697 from yuwata/network-fix-suspend-issue

network: fix suspend issue

Merge pull request #16684 from keszybz/assorted-cleanups

Assorted cleanups

hwdb: Add ACCEL_MOUNT_MATRIX quirk for Asus M80TA

network: wait for previous address removal before configuring static addresses

Fixes #16696.

network: drop unnecessary bracket

network: only process non-error message

Merge pull request #16682 from poettering/userdb-gecos-fix

userdb: mangle GECOS field if necessary

user-record: deal with invalid GECOS fields gracefully

Let's fix up invalid GECOS fields both when we convert from NSS to JSON
and the other way round.

Kinda sucks we have to do that, but NSS does it when writing data to
/etc/passwd, so let's do the same.

Fixes: #16668

user-util: add mangle_gecos() call for turning strings into fields suitable as GECOS fields

fix typo in systemctl help

Merge pull request #16604 from poettering/tmpfiles-image

add --image= switch to tmpfiles, sysusers, journalctl

journalctl: in "-o cat" mode show color

Let's provide a modicum of niceness, even in this barebones mode.

Fixes: #16232

units: order systemd-user-sessions.service after home.mount

This should make /home as automount work reasonably well.

If /home is an automount this has little effect at boot, because if the
automount is not triggered it doesn't matter how the associated mount is
ordered.

It does matter at shutdown however, where home.mount is likely active
now. There the ordering means we'll end sessions first, and only then
deactivate home.mount.

Fixes: #16291

update TODO

docs: document new description field

Also, explain GECOS syntax requirements.

core,home,machined: generate description fields for all groups we synthesize

userdb: add "description" field to group records

User records have the realname/gecos fields, groups never had that, but
it would really be useful to have it, hence let's add it with similar
semantics.

We enforce the same syntax as for GECOS, since it's better to start with
strict rules and losen them later instead of the opposite.

update TODO

man: clarify that LogNamespace= is for system services only

Fixes: #16638

Merge pull request #16321 from bluca/mount_images

core: new feature MountImages

_sd-common.h: avoid parsing errors with Coverity

The commit 1070d271fa8fa553d57dd5f74dd1e3f60732d0b9 which was supposed
too fix this does not seem to take effect any more.  We get again 34%
compilation success rate while scanning systemd itself.  Moreover, the
installed header file breaks compilation of programs that include it:

"/usr/include/systemd/_sd-common.h", line 23: error #35: #error directive: "Do
          not include _sd-common.h directly; it is a private header."
  #  error "Do not include _sd-common.h directly; it is a private header."
     ^

update TODO

core: new feature MountImages

Follows the same pattern and features as RootImage, but allows an
arbitrary mount point under / to be specified by the user, and
multiple values - like BindPaths.

Original implementation by @topimiettinen at:
https://github.com/systemd/systemd/pull/14451
Reworked to use dissect's logic instead of bare libmount() calls
and other review comments.
Thanks Topi for the initial work to come up with and implement
this useful feature.

strv: add strv_split_colon_pairs function

Given a string in the format 'one:two three four:five', returns a string
vector with each word. If the second element of the tuple is not
present, an empty string is returned in its place, so that the vector
can be processed in pairs.

[zjs: use EXTRACT_UNESCAPE_SEPARATORS instead of EXTRACT_CUNESCAPE_RELAX.
This way we do escaping exactly once and in normal strict mode.]

basic/extract-word: add EXTRACT_UNESCAPE_SEPARATORS mode

This allows separators to be escaped, for example to allow
"a\:b:c", to be treated as "a:b", "c" with ":" as the separator.

update TODO

man: document the new --image= switches in journalctl/sysusers/tmpfiles

journalctl: add --image= switch

sysusers: add support for a --image= switch

tmpfiles: support --image= similar to --root=

firstboot: move --image= logic into common code

That way we can reuse it in tmpfiles/sysusers/journalctl and so on.

test: add another test case for extract_many_words

Covers some functionality that we want to use for config tuples

tmpfiles: properly prefix paths in debug outputs

This is otherwise very confusing...

tmpfiles: we don't support the combination of --root and --user, hence refuse it

--user only really works with certain env vars such as XDG_RUNTIME_DIR
set, but that's just weird if --root= is used.

tmpfiles: add new switch -E for quickly excluding /proc, /dev, /sys and /run

analyze: fix 'cat-config systemd/zram-generator.conf'

Also makes this work for various systemd config files that support .d.

selinux: improve comment about getcon_raw semantics

This code was changed in this pull request:
https://github.com/systemd/systemd/pull/16571

After some discussion and more investigation, we better understand
what's going on. So, update the comment, so things are more clear
to future readers.

Update DISCOVERABLE_PARTITIONS.md

This patch fixes a typo in the link to the systemd-id128 documentation.

man: fix typo

docs: rework awkward sentence in AUTOMATIC_BOOT_ASSESSMENT

bless-boot: add missing verb to --help

There is also "help" verb which duplicates the --help option. I don't
think we should advertise it.

test-nss: do not assume all symbols are defined

It is OK for some symbols to be missing. With this change, "test-nss sss" can
be used to test nss-sss without crashing.

$ build-rawhide/test-nss sss fedoraproject.org
======== sss ========
_nss_sss_gethostbyname4_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname3_r not defined

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_INET) → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_INET6) → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", *) → status=NSS_STATUS_UNAVAIL
                   errno=97/EAFNOSUPPORT h_errno=-1/Resolver internal error

_nss_sss_gethostbyname2_r("fedoraproject.org", AF_UNIX) → status=NSS_STATUS_UNAVAIL
                   errno=97/EAFNOSUPPORT h_errno=-1/Resolver internal error

_nss_sss_gethostbyname_r("fedoraproject.org") → status=NSS_STATUS_NOTFOUND
                   errno=0/--- h_errno=-1/Resolver internal error

test-seccomp: minor simpification

test-nss: modernize a bit and print path to the loaded so file

This makes it easier to figure out if we're looking at the right
module.

journalctl: reshuffle console message about fss keys

We talked about the verification key, then about sealing keys, and then
about the verification key again. Let's shorten things a bit, and divide
the output in three paragraphs: one about the machine, one about the sealing
keys, and one about verification keys and the qr code with them.

Merge pull request #16556 from keszybz/test-terminal-colors

Test terminal colors

Merge pull request #16650 from keszybz/two-doc-updates

Two doc updates

Merge pull request #16652 from eliroca/adapt-tests-for-SUSE

Adapt tests to work on SUSE

update TODO

Merge pull request #16596 from  poettering/event-time-rel

Conflict in src/libsystemd-network/test-ndisc-rs.c fixed manually.

Merge pull request #16260 from poettering/pcre2-dlopen

turn pcre2 dependency into dlopen() dependency

Merge pull request #16145 from poettering/qrcode-dlopen

journalctl: make libqrencode a weak (dlopen() style) dependency

home: use ID128_UUID_STRING_MAX where appropriate

docs: spelling fixes

update TODO

core: reset bus error before reuse

From a report in https://bugzilla.redhat.com/show_bug.cgi?id=1861463:
usb-gadget.target: Failed to load configuration: No such file or directory
usb-gadget.target: Failed to load configuration: No such file or directory
usb-gadget.target: Trying to enqueue job usb-gadget.target/start/fail
usb-gadget.target: Failed to load configuration: No such file or directory
Assertion '!bus_error_is_dirty(e)' failed at src/libsystemd/sd-bus/bus-error.c:239, function bus_error_setfv(). Ignoring.
sys-devices-platform-soc-2100000.bus-2184000.usb-ci_hdrc.0-udc-ci_hdrc.0.device: Failed to enqueue SYSTEMD_WANTS= job, ignoring: Unit usb-gadget.target not found.

I *think* this is the place where the reuse occurs: we call
bus_unit_validate_load_state(unit, e) twice in a row.

test: adapt TEST-13-NSPAWN-SMOKE for SUSE

test: adapt TEST-21-SYSUSERS for SUSE

Merge pull request #16595 from bengal/bg/dhcpv6-fqdn

dhcp6: parse the FQDN option

doc: Put proot under "container" section

Missed in #15426. Otherwise, it ends up only taking the first two rows
of the table, in no section.

docs: reword intro in DISCOVERABLE PARTITIONS

This specification is useful independently of UEFI, so avoid making assertions
about UEFI. Also reword the intro to say what this is about in the very first
sentence. Closes #16570.

man: describe that changing Storage= does not move existing data

Fixes #16384.

Merge pull request #16258 from hunger/master

systemd-repart: Add an option to generate a JSON report

Merge pull request #16308 from bluca/root_image_options

service: add new RootImageOptions feature

machine: Pass machine, user, program values to polkit on OpenMachineShell

This allows more granular access control in PolicyKit rules, similar to
/etc/sudoers, for polkit actions:
* org.freedesktop.machine1.host-shell
* org.freedesktop.machine1.shell

Example configuration, place in /etc/polkit-1/rules.d/

polkit.addRule(function(action, subject) {
    if (action.id == "org.freedesktop.machine1.host-shell"
        && subject.user == "my-user"
        && action.lookup("user") == "target-user") {
            return polkit.Result.YES;
    }
});

Merge pull request #16609 from poettering/initrd-unit-fixes

units: some initrd unit fixes

kernel-install/90-loaderentry: fix when /boot is not mountpoint

I happen to have a machine where /boot is not a separate mountpoint,
but rather just a directory under /. After upgrade to recent Fedora,
I found out that grub2 can't find any new kernels.

This happens because loadentry script generates kernel and initrd file
paths relative to /boot, while grub2 expects path to be relative to the
root of filesystem on which they are residing.

This commit fixes this issue by using stat's %m to find the mount point
of a partition holding the images, and using it as a prefix to be
removed from ENTRY_DIR_ABS.

Note that %m for stat requires coreutils 8.6, released in Oct 2010.

Signed-off-by: Kir Kolyshkin <kolyshkin@gmail.com>

nspawn: Fix incorrect usage of putenv

strv_env_get only returns the environment variable value. putenv expects
KEY=VALUE format strings. Use setenv instead to fix the use.

dhcp6: parse the FQDN option

Parse option 39 (Client Fully Qualified Domain Name, RFC 4704) from the DHCP
reply, which specifies the FQDN assigned by the server to the client.

test: convert ubuntu-ci to use deny-list

Follows #16262

man: fix typo in systemd.service

network: fix DHCPv6 Prefix Delegation example after option rename

99e015e28c8322bf714f45cd1defcf20ac2103c5 missed to update the example
below - DHCPv6.AssignAcquiredDelegatedPrefixAddress was moved to
DHCPv6PrefixDelegation.Assign.

As it already defaulted to true since it's introduction in
9efa8a3cff9948d3a78597b74dca75c805716de4, there's no need to explicitly
list it at all.

NEWS: last rites

loop-device: implicitly sync device on detach

Apparently, if IO is still in flight at the moment we invoke LOOP_CLR_FD
it is likely simply dropped (probably because yanking physical storage,
such as a USB stick would drop it too). Let's protect ourselves against
that and always sync explicitly before we invoke it.

Merge pull request #16624 from keszybz/timesync-retry-interval

Make timesyncd retry interval grow more slowly

udev: fix codesonar warnings

Fixed below systemd codesonar warning.
isprint() is invoked here with an argument of signed
type char, but only has defined behavior for int arguments that are
either representable as unsigned char or equal to the value
of macro EOF(-1).

As per codesonar report, in a number of libc implementations, isprint()
function implemented using lookup tables (arrays): passing in a
negative value can result in a read underrun.