stat-util: fix error handling of statx()

When newer glibc is used, but kernel does not support statx(), then
glibc try to fallback with fstatat(). That's quite similar to our
implementation, but the supported flags are different, and if
unsupported flags are specified, it returns EINVAL.

Let's handle the case more gracefully.

core: add IgnoreOnSoftReboot= unit option

As it says on the tin, configures the unit to survive a soft reboot.
Currently all the following options have to be set by hand:

Conflicts=reboot.target kexec.target poweroff.target halt.target
Before=reboot.target kexec.target poweroff.target halt.target
After=sysinit.target basic.target
DefaultDependencies=no
IgnoreOnIsolate=yes

This is not very user friendly. If new default dependencies are added,
or new shutdown/reboot types, they also have to be added manually.

The new option is much simpler, easy to find, and does the right thing
by default.

Merge pull request #28460 from bluca/scope_run_env

run: disable --expand-environment by default for --scope

test-ukify: use systemd-measure and bootctl in build directory

And skip tests if systemd-measure is not found.
Then, we can safely run test_ukify.py directly.

homework-luks: fix typos

udev: decrease devlink priority for iso disks

Previously, if the priority is same, devlinks are always replaced by
newer events. The commit 331aa7aa15ee5dd12b369b276f575d521435eb52 changes
that to keep the existing devlink. That should not change any behavior
when the devices that request the same symlink do not have any
dependency, e.g. when /dev/sda1 and /dev/adb1 request the same
/dev/disk/by-label symlink, as there are no guarantee that which device
is processed first.

However, when devices has dependency, e.g. /dev/sda and /dev/sda1
request the same /dev/disk/by-label symlink, previously the symlink
always pointed to the partition, as the partition is always processed
later. But, 331aa7aa15ee5dd12b369b276f575d521435eb52 makes the symlink
point to the whole disk.

The change by 331aa7aa15ee5dd12b369b276f575d521435eb52 is crucial to
improve performance of devlink handling, especially when a system has
large number of disks with same label or so. Hence, cannot and should
not be reverted.

So, let's workaround the case, as such situation should happen only when
the disk is a hybrind ISO image, I guess.

Fixes #28468.

tree-wide: fix typo found by Fossies Codespell report

repart: Set sector size of loopback devices

When an explicit sector size is set by the user it is also necessary to set the
sector size of any loopback devices. If the sector size is not set for loopback
devices then it can cause file system creation to fail or run into odd issues.

udev: downgrade log level when running without cgroup

The cgroup path is optional, hence it is not necessary to warn the
failure loudly.

Follow-up for f8371dbd56d27621932ecbe3f5c1246e925fd53a.

Closes #28469.

tree-wide: drop references to /dev/loop/by-ref

Follow-up for #28476.

Merge pull request #28476 from bluca/revert_loop_links

Revert "udev: add /dev/loop/ symlinks"

Revert "udev: add /dev/loop/ symlinks"

Turns out this causes a regression and breaks losetup. It will need to
be reworked in conjunction with util-linux changes.

Fixes https://github.com/systemd/systemd/issues/28475

This reverts commit 5ac52d1f7b7cd11cad8b5c2e9812d7ee7560a517.

Revert "test: test new systemd-dissect --attach/--detach/--loop-ref= and /dev/loop/* symlinks"

This reverts commit f5e46b9e09d4ff3f1e6ee6e3a90adc704780a661.

NEWS: note that sd-run --expand-environment will change

run: disable --expand-environment by default for --scope

The intention was to have this option enabled by default everywhere,
but unfortunately at least one case was found where it breaks
compatibility of a program using systemd-run --scopes and expecting
variables not to be expanded:

https://sources.debian.org/src/pbuilder/0.231/pbuilder-checkparams/#L400

Example run:

systemd-run --quiet --scope --description=pbuilder_build_xfce4-notes-plugin_1.10.0-1.dsc '--slice=system-pbuilder-build-xfce4\x2dnotes\x2dplugin_1.10.0\x2d1-449932.slice' chroot /var/cache/pbuilder/build/449932 dpkg-query -W '--showformat=${Version}' apt

Restore backward compatibility and make the option disabled by default
when --scope is used, and enabled by default for other types.

In case --expand-environment is not specified and a '$' character is
detected, print a warning to nudge users toward specifying the
parameter as needed. In the future we can then flip the default.

Follow-up for 2ed7a221fafb25eea937c4e86fb88ee501dba51e

test: use XDG_STATE_HOME for %S and %L

This fixes the test failure when invoked by a user.
===
Running ./systemd-tmpfiles --user on 'f /tmp/test-systemd-tmpfiles.1foag_ur/test-content.n_9r_xhm/arg - - - - %S'
expect: '/home/watanabe/.config'
actual: '/home/watanabe/.local/state'
Traceback (most recent call last):
  File "/home/watanabe/git/systemd/test/test-systemd-tmpfiles.py", line 233, in <module>
    test_valid_specifiers(user=True)
  File "/home/watanabe/git/systemd/test/test-systemd-tmpfiles.py", line 135, in test_valid_specifiers
    test_content('f {} - - - - %S',
  File "/home/watanabe/git/systemd/test/test-systemd-tmpfiles.py", line 88, in test_content
    assert content == expected
           ^^^^^^^^^^^^^^^^^^^
AssertionError
===

This also makes the test uses fallback paths.

Follow-up for b50aadaff22f9b3ad3bbcbfd2edd661456a5b4bf.

test: fix a syntax error in test-ukify

Follow-up for d7d36252e5fdc345b110f824031e20f41ee75e86.

Fixes #28464.

man: clarify DNSSEC= again

https://github.com/systemd/systemd/pull/28407#issuecomment-1640900239

locale-util: fix _() definition

The previous definition was not quite appropriate for the library code
because it relied on the message domain set by textdomain() invocation
which is not necessarily the same message domain defined in
GETTEXT_PACKAGE macro.

The only code that uses _() so far is located in pam_systemd_home.c.

Fixes: 20f56fddcd5 ("Add gettext support")

Merge pull request #28445 from bluca/run_host_release

core: copy the host's os-release for /run/host/os-release

Merge pull request #28447 from mrc0mmand/test-network

network: fix fetching link properties

kernel-install: silently ignore unexpected arguments for 'remove' command

The shell script version of kernel-install silently ignored unexpected
arguments, but C version refused that. Unfortunately, Fedora's kernel
script specifies kernel file even for 'remove' command. Let's accept
extra arguments and silently ignore them to keep backward compatibility.

Fixes #28448.
Fixes https://bugzilla.redhat.com/show_bug.cgi?id=2223794.

network: fix fetching link properties

This fixes regression introduced in 5a0c810462 with which all requests
for link properties ended up with EINVAL as we kept hitting
the signature_is_single() assert in sd_bus_get_property().

test-network: probe a couple of uncovered networkctl codepaths

test-network: validate JSON where applicable

repart: Always take --offline into account

NEWS: note that /run/host/os-release is available more broadly

man: explicitly note that units surviving soft-reboot should not pin resources

core: copy the host's os-release for /run/host/os-release

Currently for portable services we automatically add a bind mount
os-release -> /run/host/os-release. This becomes problematic for the
soft-reboot case, as it's likely that portable services will be configured
to survive it, and thus would forever keep a reference to the old host's
os-release, which would be a problem because it becomes outdated, and also
it stops the old rootfs from being garbage collected.

Create a copy when the manager starts under /run/systemd/propagate instead,
and bind mount that for all services using RootDirectory=/RootImage=, so
that on soft-reboot the content gets updated (without creating a new file,
so the existing bind mounts will see the new content too).

This expands the /run/host/os-release protocol to more services, but I
think that's a nice thing to have too.

Closes https://github.com/systemd/systemd/issues/28023

Deprecate efivar SystemdOptions

As mentioned in the NEWS entry, it seems to see very little use, but adds
complexity in our code. It was added mainly with the goal of making it easier
for people using grub2 to modify their boot configuration, but grub2 is gaining
support for BLS snippets. On the systemd side, we now have credentials. So
let's deprecate this, and if there's no outcry, remove it in a few releases.

Include in manual what DNSSEC=no means in detail

https://www.rfc-editor.org/rfc/rfc4035.html#section-3.2.1 says
security-aware recursive name server MUST set DO bit when sending
requests. systemd-resolved does not do that by design. State it more
clearly in manual page. Unlike other implementations it disables not
only validation as it stated, but complete DNSSEC awareness.

Signed-off-by: Petr Menšík <pemensik@redhat.com>

analyze: don't warn about version spec compliant versions

This commits adds version_is_valid_versionspec and uses it in
analyze-compare-version.c.

version_is_valid_versionspec differs from version_is_valid in that it acepts
empty strings and since valid characters in a version spec version are all
ASCII letters and digits as well as "-.~^", but ",_+" allowed by
version_is_valid are not.

Also give a more specific warning message on invalid characters.

Revert "packit: temporarily use older Rawhide spec"

This reverts commit f1adb4a2ea2fd1d54ff8cc17a4d10f2b502cfc69.

Merge pull request #28424 from mrc0mmand/networkd-ra-captive-portals

test-network: check for captive portals received via NDISC

test-resolved-stream: Use a random port number

Hopefully fixes #28393

test-network: check for captive portals received via NDISC

This requires fairly recent radvd that supports sending RAs with captive
portals [0].

Also, this should hopefully provide coverage for issues like:
  - https://github.com/systemd/systemd/issues/28229
  - https://github.com/systemd/systemd/issues/28231
  - https://github.com/systemd/systemd/issues/28277

[0] https://github.com/radvd-project/radvd/pull/141

test: exit early from TEST-70-TPM2 on ppc64el

There is an underlying issue that appears only on ppc64 and fails 95%
of Ubuntu runs, so exit early until it is solved.

Closes https://github.com/systemd/systemd/issues/27716

ci: drop super-linter's shellcheck

It's been a while since we introduced Differential ShellCheck and it
proved to be quite useful (and in some ways even better than the shellcheck
run by super-linter). So, to have only one linter scream at us for not
knowing how to write bash properly, let's drop the super-linter's one in
favor of Differential ShellCheck.

Follow-up for https://github.com/systemd/systemd/pull/24328#pullrequestreview-1074127504

Merge pull request #28384 from ldv-alt/ERRNO_IS

treewide: fix use of ERRNO_IS_*(r)

units: Add --graceful flag to pcrphase units

Some of the new units using systemd-pcrphase are missing the --graceful
flag which causes them to error if the tpm libraries are not installed.
Add --graceful just like in the other pcrphase units to make systemd-pcrphase
exit gracefully if the tpm libraries are missing.

Merge pull request #28425 from weblate/weblate-systemd-master

Translations update from Fedora Weblate

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: Luna Jernberg <bittin@reimu.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/sv/
Translation: systemd/main

po: Translated using Weblate (Korean)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: 김인수 <simmon@nplob.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/ko/
Translation: systemd/main

po: Translated using Weblate (Czech)

Currently translated at 93.3% (212 of 227 strings)

Co-authored-by: Pavel Borecki <pavel.borecki@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/cs/
Translation: systemd/main

test-network: correctly support running systemd-udevd from the build dir

We create the udevadm -> systemd-udevd symlink during the install phase,
so it doesn't exist in the just compiled tree. This worked in CI since
the symlink is manually created there post-build.

test: fix use of ERRNO_IS_PRIVILEGE()

Given that ERRNO_IS_PRIVILEGE() also matches positive values,
make sure this macro is not called with arguments that do not have
errno semantics.

In this case the arguments passed to ERRNO_IS_PRIVILEGE() are the values
returned by read_one_line_file() which can legitimately return positive
values without errno semantics, so fix this by moving ERRNO_IS_PRIVILEGE()
invocations to the branches where the return values are known to be negative.

test: avoid TEST-70 passphrase and password file mode complaints

Minor change, to adjust mode of /tmp/passphrase and /tmp/password test files to
avoid repeated warning logs that each file "...has 0644 mode that is too
permissive, please adjust the ownership and access mode."

resolved: fix use of ERRNO_IS_DISCONNECT()

Given that ERRNO_IS_DISCONNECT() also matches positive values,
make sure this macro is not called with arguments that do not have
errno semantics.

In this case the argument passed to ERRNO_IS_DISCONNECT() is the value
returned by manager_recv() which can legitimately return 1 without errno
semantics, so fix this by moving ERRNO_IS_DISCONNECT() invocation to the
branch where the return value is known to be negative.

sd-bus: fix use of ERRNO_IS_DISCONNECT()

Given that ERRNO_IS_DISCONNECT() also matches positive values,
make sure this macro is not called with arguments that do not have
errno semantics.

In this case the argument passed to ERRNO_IS_DISCONNECT() is the value
returned by bus_socket_process_watch_bind(), bus_socket_process_opening(),
and bus_socket_process_authenticating() which can legitimately return
positive values without errno semantics, so fix this by moving the
ERRNO_IS_DISCONNECT() invocation to the branch where the return value
is known to be negative.

socket: fix use of ERRNO_IS_DISCONNECT()

Given that ERRNO_IS_DISCONNECT() also matches positive values,
make sure this macro is not called with arguments that do not have
errno semantics.

In this case the argument passed to ERRNO_IS_DISCONNECT() is the value
returned by socket_acquire_peer() which can legitimately return 1
without errno semantics, so fix this by moving ERRNO_IS_DISCONNECT()
invocation to the branch where the return value is known to be negative.

kbd-util: fix use of ERRNO_IS_RESOURCE()

Given that ERRNO_IS_RESOURCE() also matches positive values,
make sure this macro is not called with arguments that do not have
errno semantics.

In this case the argument passed to ERRNO_IS_RESOURCE() is the value
returned by recurse_dir_at() which can legitimately return positive
values without errno semantics, so fix this by moving the ERRNO_IS_RESOURCE()
invocation to the branch where the return value is known to be negative.

tpm2: add tpm2_get_pin_auth()

Add function to calculate the hash digest for a provided pin, and also verify
that the final byte in the digest is not 0. This is required because the TPM
will always remove all trailing 0's from an auth value before using it.

Fixes: #27716

Merge pull request #28416 from bluca/gpt_mips

Two more fixes for MIPS and sd-gpt

sd-gpt: __mips__ is also defined when building __mips64

Follow-up for d75ec33ed2a1781a82f9e0d62a79244ecd1e1edc

gpt: it's __mips64, not __mips64__

But it's __mips__ not __mips, obviously

Follow-up for d75ec33ed2a1781a82f9e0d62a79244ecd1e1edc

po: Translated using Weblate (Polish)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: Piotr Drąg <piotrdrag@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/pl/
Translation: systemd/main

NEWS: fix typo

po: Translated using Weblate (Georgian)

Currently translated at 100.0% (227 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 97.3% (221 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 94.2% (214 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 90.3% (205 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 88.9% (202 of 227 strings)

Co-authored-by: Temuri Doghonadze <temuri.doghonadze@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/ka/
Translation: systemd/main

Update NEWS for v254-rc2

Liberté, égalité, releasé 🇫🇷

Merge pull request #28405 from bluca/rc2

RC2 busywork

Update NEWS with latest changes

NEWS: update contributors list

Update hwdb

po: Translated using Weblate (Georgian)

Currently translated at 94.2% (214 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 90.3% (205 of 227 strings)

po: Translated using Weblate (Georgian)

Currently translated at 88.9% (202 of 227 strings)

Co-authored-by: Temuri Doghonadze <temuri.doghonadze@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/ka/
Translation: systemd/main

Merge pull request #27867 from keszybz/vconsole-reload-again

Restore ordering between vconsole-setup and firstboot services

Merge pull request #28401 from keszybz/set-console-size

Set console size when we reset it

Merge pull request #28097 from goenkam/maanya/dissect-tool-support-for-confext

systemd-confext: image-based systemd-wide config update including dm-verity support​

Merge pull request #28387 from yuwata/network-route-table-name

network: cleanups for route table name

po: update Japanese translation

tpm2: handle older tpm enrollments without a saved pcr bank

Older code did not save the pcr bank (i.e. pcr hash algorithm), and instead let
tpm2_unseal() find the best pcr bank to use. In commit
2cd9d57548b0dadd52523df486d33aa4cf7c3b84 we changed tpm2_unseal() to no longer
handle an unset pcr bank. This adds back in the handling of an unset pcr_bank
so older sealed data should continue to work.

test: reduce the number of loops in tpm2 test_tpms_pcr_selection_mask_and_hash()

This test loops through masks, but is a relatively long test due to the
increment size between loops; this slightly increases the increment size (from
3->5) which greatly speeds up the test.

tree-wide: a bunch of Coccinelle-suggested tweaks

rc2 edition

Merge pull request #28370 from ldv-alt/cname

resolved: fix canonical names returned by hosts lookups

Merge pull request #28301 from berrange/cvm-lockdown

Avoid using SMBIOS for kernel cmdline injection in sd-stub in confidential VMs

compare: fix typo

network: refuse to override predefined route table name

network: do not append table number in TableString field in json output

The json output already contains table number, hence, it is not
necessary to include number in the string.

confext: test image wide systemd support for confext

confext: add dissect tool support for confext images

Allow image wide systemd tool support for confext images by adding dissect
tool support for these images

sysext: change the table lookup string to be more verbose

catalog: update Polish translation

Merge pull request #28355 from yuwata/unit-skip-battery-check-by-kernel-command-line

unit: skip battery check when systemd.skip-battery-check specified on boot

battery-check: allow to skip by passing systemd.battery-check=0

Merge pull request #28397 from DaanDeMeyer/python-stuff

mkosi: Stop using python3.9 on CentOS 8

efi: don't pull kernel cmdline from SMBIOS in a confidential VM

In a confidential VM, the SMBIOS data is not trusted, as it is under the
control of the host OS/admin and not covered by attestation of the machine.

Fixes: https://github.com/systemd/systemd/issues/27604
Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

efi: add helper API for detecting confidential virtualization

This helper is a simplified version of detect_confidential_virtualization()
that merely returns a boolean status flag reflecting whether we are believed
to be running inside a confidential VM.

This flag can be used for turning off features that are inappropriate to
use from a CVM, but must not be used for releasing sensitive data. The
latter must only be done in response to an attestation for the environment.

Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

resolved: fix the canonical name returned by hosts lookup by name

In etc_hosts_lookup_by_name(), return the canonical name of the resolved
address instead of the name used to obtain that address.

Resolves: #20158

Merge pull request #26365 from dtardon/multiple-polkit-calls

Allow D-Bus methods to auth. for more than one polkit action

resolved: fix the canonical name returned by hosts lookup by address

In etc_hosts_lookup_by_address(), make sure the canonical name of the given
address is returned first in the list of names that address resolves to.

Resolves: #25088

resolved: keep track of first names listed for each address in /etc/hosts

These names will be used later in responses as canonical names.

fundamental: share constants for confidential virt detection

Signed-off-by: Daniel P. Berrangé <berrange@redhat.com>

mkosi: Move settings to right sections

mkosi: Stop using python3.9 on CentOS 8

Let's get rid of all the complexity and just not build ukify on
CentOS Stream 8.

mkosi: Drop kernel command line arguments that are set by mkosi

mkosi sets these by default now so let's drop them from our
configuration.

mkosi: Update to latest

mkosi now supports CentOS SIGs natively so we drop our own definition
of that and use the mkosi builtin one. We also enable hyperscale for
both CentOS 8 and CentOS 9 for consistency and add epel-next as well
which is a requirement for Hyperscale.

elf2efi: Make compatible with python 3.6 again

CentOS 8 ships python 3.6 so let's try and stay compatible with that
since the only feature we're using that requires python 3.9 is the
streamlined type annotations which are trivial to convert back to
the older stuff to stay compatible with python 3.6.

po: Translated using Weblate (Ukrainian)

Currently translated at 100.0% (227 of 227 strings)

po: Translated using Weblate (Ukrainian)

Currently translated at 93.8% (213 of 227 strings)

Co-authored-by: Yuri Chornoivan <yurchor@ukr.net>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/uk/
Translation: systemd/main

po: Update translation files

Updated by "Update PO files to match POT (msgmerge)" hook in Weblate.

Co-authored-by: Weblate <noreply@weblate.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/
Translation: systemd/main

packit: temporarily use older Rawhide spec

Until [0] is deployed to production.

[0] https://github.com/packit/specfile/commit/2bdcec3db5cbee5e1f61fd578edd6a3393afd787

kernel-install: Avoid reopening file descriptor via /proc

kernel-install used to work without /proc mounted before the rewrite
in C. Let's restore that property by making sure we don't reopen
file descriptors via /proc. In this case, parse_env_file_fdv() calls
fdopen_independent() to get a FILE * for the given file descriptor
(which itself calls fd_reopen()). Let's avoid the call to
fdopen_independent() by using chase_and_fopenat_unlocked() which
gives us a FILE * immediately without having to reopen any file
descriptors.