shutdown: set always_reopen_console

Back in v232 systemd-shutdown would log to /dev/console. However after
the addition of always_reopen_console (v233) it would log to STDERR.
This caused some debugging issues as container systemd-shutdown logs
weren't being logged to console as the arg `--log-target=console` suggested.

Since it appears that always_reopen_console was intended for pid1, set
it in systemd-shutdown as well so logs will go to /dev/console.

rules: Move ID_SMARTCARD_READER definition to a <70 configuration.

70-uaccess.rules sets the uaccess tag on devices with ID_SMARTCARD_READER
set, but it is set in 99-systemd.rules .
Move this to a 60-*.rules which already matches USB CCID class, factorising
the matching, so 70-uaccess.rules sets up these devices as expected.

fstab-generator: add new root=tmpfs option

It's useful to be able to combine a regular /usr/ file system with a
tmpfs as root, for an OS that boots up in volatile mode on every single
boot.  Let's add explicit support for this via root=tmpfs.

Note the relationship to the existing systemd.volatile= option:

1. The kernel command line "root=/dev/… systemd.volatile=yes" will mount
   the specified root fs, and then hide everything at the top by
   overmounting it with a tmpfs, except for the /usr subtree.

2. The kernel command line "root=tmpfs mount.usr=/dev/…" otoh will mount
   a toot fs at the top (just like the case above), but will then mount
   the top-level dir of the fs specified in mount.usr= directly below
   it.

Or to say this differently: in the first case /usr/ from the physical
storage fs is going to become /usr/ of the hierarchy ultimately booted,
while in the second case / from the physical storage fs is going to
become /usr of the hierarchy booted.

Philosophically I figure systemd.volatile= is more an option for
"one-off" boots, while root=tmpfs is something to have as default mode
of operation for suitable images.

This is currently hard to test reasonably, since Dracut refuses to
accept root=tmpfs. This needs to be addressed separately though.

time-util: simplify overflow check

And don't rely on 2s complement.

Merge pull request #18834 from poettering/path-extract

Beef up path_extract_filename() a bit, and introduce path_extract_directory()

util: add helpers for generating colored check mark glyphs from bools

tmpfile: port tempfn_*() to path_extract_*()

machinectl: make sure of path_extract_filename() returning O_DIRECTORY

path-util: return O_DIRECTORY from path_extract_filename() when path ends in slash

Let's fine-tune the path_extract_filename() interface: on succes return
O_DIRECTORY as indicator that the input path was slash-suffixed, and
regular 0 otherwise. This is useful since in many cases it is useful to
filter out paths that must refer to dirs early on.

I opted for O_DIRECTORY instead of the following other ideas:

1. return -EISDIR: I think the function should return an extracted
   filename even when referring to an obvious dir, so this is not an
   option.

2. S_ISDIR, this was a strong contender, but I think O_DIRECTORY is a
   tiny bit nicer since quite likely we will go on and open the thing,
   maybe with openat(), and hence it's quite nice to be able to OR in
   the return value into the flags argument of openat().

3. A new enum defined with two values "dont-know" and
   "definitely-directory". But I figured this was unnecessary, given we
   have other options too, that reuse existing definitions for very
   similar purposes.

path-util: add path_extract_directory(), to match path_extract_filename()

These two together are a lot like dirname() + basename() but have the
benefit that they return clear errors when one passes a special case
path to them where the extraction doesn't make sense, i.e. "", "/",
"foo", "foo/" and so on.

Sooner or later we should probably port all our uses of
dirname()/basename() over to this, to catch these special cases more
safely.

man: document usage of SD_BUS_CREDS_AUGMENT

Merge pull request #18841 from keszybz/a-bunch-of-man-page-updates

Two minor small man page updates

udev: add i2c to 60-persistent-input.rules for by-path (#18808)

Add the i2c subsystem to those that create by-path links.
i2c devices may not have IDs so we can't rely on the by-id links
but they (or some of them) should at least have a path that we can use.

sd-device: don't use BPF filtering for kernel monitors

BPF filtering accesses fields in the netlink header that are
only filled in by libudev, never by the kernel. Therefore adding
BPF filters for kernel monitors is pointless. Even false filtering
of kernel events might be possible; at least it's hard to prove that
it can't occur.

tree-wide: fix typo

man: reword sentence about lone coredumps

Let's make it clear that they are not as useful as the full thing.

man: add note about "SIG" prefix

Merge pull request #18832 from keszybz/resolved-stop-sources

Always stop sd-event sources in resolved when unreffing them

fs-util: use ERRNO_IS_NOT_SUPPORTED() at two more places where we can't be sure of the backing implementation

btrfs-util: add helper that abstracts "might be btrfs subvol?" check

Let#s not hardcode inode nr 256 everywhere, but abstract this check
slightly.

test-signal-util: add test for signal_is_blocked()

resolved: disable event sources before unreffing them

We generally operate on the assumption that a source is "gone" as soon
as we unref it. This is generally true because we have the only reference.
But if something else holds the reference, our unref doesn't really stop
the source and it could fire again.

In particular, on_query_timeout() is called with DnsQuery* as userdata, and
it calls dns_query_stop() which invalidates that pointer. If it was ever
called again, we'd be accessing already-freed memory.

I don't see what would hold the reference. sd-event takes a temporary reference,
but on the sd_event object, not on the individual sources. And our sources
are non-floating, so there is no reference from the sd_event object to the
sources.

For #18427.

resolved: unref event object after the sources

It shouldn't matter because of all the refcounting, but it looks unclean.

Merge pull request #18831 from keszybz/a-bunch-of-man-page-updates

A bunch of man page updates

man: document \u and \U, say that utf-8 is allowed

man: move two sysv-specific variables to docs

https://github.com/systemd/systemd/pull/18827#discussion_r584807684

man: clarify what is inside/outside the container in coredump info

man: update link to systemd-coredump-python

This got moved under the systemd umbrella a long time ago.
Github redirects from the old path, so the link worked, but it's
nicer to use the real location.

Merge pull request #18827 from keszybz/a-bunch-of-man-page-updates

A bunch of man page updates

Merge pull request #18828 from keszybz/three-fixes

Three small fixes

man: say that machine-info doesn't have to exist

Esp. CHASSIS is only useful as an override. Make that clear in the description.

Fixes #3496.

man: tweak descriptions of how tmpfiles should be started

We shouldn't imply that invocation without any parameters is OK.
Also, mention that the service can be restarted.

Fixes #8684.

man: describe quoting and specifiers in Environment=

Fixes #10604.

man: move quoting description to systemd.syntax

We use very similar quoting rules in many places. Let's move this
lengthy text out of systemd.service page.

man: explain how to invoke tmpfiles for debugging

Fixes #11914.

man: mention that != matches nonexistent keys too

Fixes #15984.

man: reorder match types in udev rules

The plural version should always be adjacent to the singular one.
And the plural should not be explained before the singular one…

man: add footnote explaining why "localhost" query is sent out to the network

I tried to make the explanation brief, but this isn't so easy. It seems better
to push this out to a footnote instead of the main text.

Fixes #16584.

man: move motivational explanation to footnote

man: describe the syntax for {Job,}{Running,}TimeoutSec=

Fixes #16644.

Also break the text into paragraphs to make it a bit easier to read.

man: move description of $SYSTEMD_SYSVINIT_PATH to the only user

man: reuse common-variables in systemd(1)

This requires a bit of gimnastics, but I think it's still better than
status quo ante, and better than duplicating the text.

basic/log: align tables

man: describe various logging configuration variables

Fixes #17484.

This patch affects systemctl(1), as well as all man pages that include
all of common-variables.xml, i.e. most of our command line tools.

man: rename less-variables→common-variables

Some are not about less, e.g. $SYSTEMD_URLIFY.

coredump: indent comment

man: describe coredump fields

We save a wealth of information about the process, but this might not be
immediately obvious.

udev rules: add rule to create /dev/ptp_hyperv

As for the KVM case, necessary for network cards with
PTP devices when running a guest on HyperV

test-socket-util: fix test for address parsing w/o IPv6 support

sockaddr_pretty() is the function that is ultimately called to print
the address, and afaics, it'll always use 0.0.0.0 if family==AF_INET.
So the test must have always been broken on systems with IPv6 support.

Fixes a failure in semaphore debian autopkgtest ci:
"65535" → ✓ 0 → "0.0.0.0:65535" (expect 0 / "[::]:65535") 15:15
Assertion 'streq(out, expected ?: in)' failed at src/test/test-socket-netlink.c:32, function test_socket_address_parse_one(). Aborting. 15:15

NEWS: fix path

Follow-up for 57733518817c1217b9f442ca790ff3f50705b1c8.

core: change confusing parameter name

fixup_output() is used for both stdout and stderr.

Skip TEST-50 on ubuntu ci

This test is flaky, and requires updates to the kernel to fix, so
disable it for now.

https://github.com/systemd/systemd/issues/17469

remove the default value of CPUAffinity

"1 2" is not the default value systemd used to set CPUAffinity. Let's remove it to avoid confusing users.

po: Translated using Weblate (Chinese (Simplified) (zh_CN))

Currently translated at 100.0% (189 of 189 strings)

Co-authored-by: Charles Lee <lchopn@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/zh_CN/
Translation: systemd/main

Fix path typo in systemd.unit

/etc/systemd/systemd/ => /etc/systemd/system/

man: make systemd-coredump and coredumpctl descriptions more accessible

Fixes #17910: we didn't clearly explain that coredumps may exist without
journal entries, and vice versa.

Also, make the examples more concrete, and use '$' instead of '#' to avoid
suggesting that running as root is required. The text is extended a bit in
various places. In the description of systemd-coredump, the details of executor
separation are split out to a separate subsection, since they are rather
detailed and not necessary to understand for normal use.

Translated using Weblate (Kabyle)

Currently translated at 1.5% (3 of 189 strings)

Added translation using Weblate (Kabyle)

Co-authored-by: Slimane Selyan Amiri <selyan.kab@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/kab/
Translation: systemd/main

core: do not set noexec on sysfs/procfs

It causes a regression in certain running environments (networkd under LXC),
so avoid enabling for now.

Fixes #18795

Suggested-by: Topi Miettinen <toiwoton@gmail.com>

Merge pull request #18516 from systemd/revert-18515-temporarily-pin-arch-repos

Revert "ci: temporarily pin Arch repositories to glibc 2.32-5"

copy: handle copy_file_range() weirdness on procfs/sysfs

This addresses the issue described in https://lwn.net/Articles/846403/
and makes sure we will be able to stream bytes from procfs/sysfs via
copy_bytes() if people ask us to.

ci: build an upstream version of systemd-nspawn

Ubuntu's systemd-nspawn doesn't support faccessat2() syscall, which is
required, since current Arch's glibc implements faccessat() via
faccessat2().

Revert "ci: temporarily pin Arch repositories to glibc 2.32-5"

This reverts commit 67c972c610de61789d1b6560d28340f70d4b1196.

udev: when btrfs.ko is not available consider btrfs filesystems not ready

Let's add a special tweak to the btrfs builtin: if /dev/btrfs-control is
not there, let's consider all btrfs file systems as SYSTEMD_READY=0.
This is useful in initrds, where btrfs.ko might be missing. After the
initrd → host transition we can then retigger the device and undo the
SYSTEMD_READY=0 marking.

Merge pull request #18804 from poettering/epoll-wait2

sd-event: make use of kernel 5.11 epoll_pwait2() if available

Merge pull request #18806 from weblate/weblate-systemd-master

Translations update from Weblate

json: rename json_dispatch_{integer,unsigned} -> json_dispatch_{intmax,uintmax}

Prompted by https://bugzilla.redhat.com/show_bug.cgi?id=1930875 in which
I had previously used json_dispatch_unsigned and passed a return variable of
type unsigned when json_dispatch_unsigned writes a uintmax_t.

Merge pull request #18800 from poettering/network-target-more-doc

some improvements regarding network.target docs

Merge pull request #18801 from keszybz/small-documentation-updates

Small documentation updates

man: say explicitly that network.target should give the guarantee that synthetic network interfaces have been created

Prompted by: #18793

man: be more explicit about network-online.target and consuming services of other hosts

Let's make things a tiny bit more explicit.

man: fix indentation of example

The man page otherwise looks very weirdly aligned.

update TODO

sd-event: make use of epoll_pwait2() for greater time accuracy

missing_syscall: add epoll_pwait2() wrapper

Merge pull request #18797 from keszybz/trivial-cleanups

Trivial cleanups

man: remove details of ManagedOOMPreference implementation

man: advertise shared drop-ins more

systemd.unit(5) is a wall of text. And this particular feature can be very useful
in the context of resource control. Let's avertise this cool feature a bit more.

Fixes #17900.

man: fix two issues in udev(7)

Fixed #18050.

man: say that hostname must can be a fqdn or not

Fixes #18426

timesync: rename variable to match config name

PollIntervalMinSec and PollIntervalMaxSec use the same pattern, but
RootDistanceMaxSec had switched orderd in the code.

man: explain settings in timesyncd.conf(5)

Fixes #18508.

man: drop misplaced spaces and parenthesization

man: use markup more in description of ManagedOOMPreference=

Follow-up for d8a4d64bc37ad21381f584b6c25792995584c7a2.

Translated using Weblate (Portuguese (Brazil))

Currently translated at 100.0% (189 of 189 strings)

Co-authored-by: Gustavo Costa <xfgusta@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/pt_BR/
Translation: systemd/main

Added translation using Weblate (Kabyle)

Co-authored-by: Slimane Selyan Amiri <selyan.kab@gmail.com>

Merge pull request #18798 from poettering/getenv-list-fixes

various follow-ups for ExtensionImages= PR

update TODO

man: fix grammaro

NEWS: mention ExtensionImages

libudev: fix typo in docstring

shared/dissect-image: inline iterator variables

core/namespace: inline more iterator variable declarations

resolved: inline trivial function

bus-unit-util: generate proper log message when we fail to parse properties

bus-unit-util: don't validate partition designator client side

When we parse properties set via "systemctl set-property" we should
validate to the point where the data we pass over the bus makes rough
sense, but we shouldn't needlessly check whether specified enum values
are among the known enum values. The server side checks that anyway
again, and it's kinda nice if an older systemctl can be used to talk to
a newer systemd.

namespace: return correct error code

env-util: fix parameter handling of parse_env_extension_hierarchies() + getenv_path_list()

Our coding style dictates we should not clobber return parameters on
failure, and always initialize them on success. Do so here.

This changes getenv_path_list() to return ENXIO if the env var is not
set, which is similar to how we handle this in getenv_bool().

This drops debug logging from parse_env_extension_hierarchies(), since
it's done anyway in getenv_path_list()

Follow-up for: #18018

signal-util: make -1 termination of ignore_signals() argument list unnecessary

Clean up ignore_signals() + default_signals() + sigaction_many() a bit:
make it unnecessary to explicitly terminate the signal list with -1.
Merge all three calls into a single function that is just called with
slightly different parameters. And eliminate an unnecessary extra
iteration in its inner for() loop.

No change in behaviour.

Merge pull request #18018 from bluca/mount_images_overlay

Add ExtensionImages directive to form overlays

meson: refuse when prefix is not a child of rootprefix

This is most likely to happen when setting one but not the other.

Note that we already warn when rootprefixdir != rootprefix_default,
at the very end.